MENÚ
¡Feliz sábado, malditas y malditos! Si eres una de las cientos, miles, millones de personas que utiliza la red de Cercanías de Renfe, el tema que vamos a analizar hoy te interesa. El ferrocarril de proximidad de esta compañía es el más usado de España - en 2024 viajaron en este tipo de trenes más de 442 millones de viajeros. Pues desde 2020 se está implantando un sistema de videovigilancia que utiliza inteligencia artificial, del que te explicamos detalles y riesgos.
También te contamos cómo hay quien, con malas intenciones, trata de alterar las respuestas de los chatbots de IA para que cuelen la desinformación que les interesa, y cómo estos chatbots están programados para no mojarse en según qué cuestiones. O sea, mucha IA, que es lo que nos gusta.
IA para detectar delitos en el Cercanías
Renfe terminará de implantar el año que viene un sistema de cámaras de seguridad, llamado Renfe Smart Security Station (RS3), que desde 2020 ya se está probando y que utiliza inteligencia artificial para detectar delitos en las estaciones de la red de Cercanías.
¿Qué delitos? Robos, agresiones, posesión de armas, pintadas de grafitis, si alguien rompe el mobiliario, comportamientos violentos… También pueden detectar si hay un incendio, objetos abandonados, si alguien cruza las vías o si alguien entra por los tornos con un billete con descuento que no le corresponde por su edad.
Este mes ha comenzado la segunda fase de instalación del proyecto y hemos aprovechado para preguntarnos… ¿Hay riesgos? ¿Puede equivocarse? ¿Qué datos usa? ¿Y si, como usuario, aunque su objetivo sea protegerme, no me hace gracia? Hemos hablado con Renfe y con expertos (aquí tienes todo), y esto es lo que sabemos.
Claro que puede equivocarse, como cualquier IA. Por eso, cuando se generan alertas a partir del sistema de detección con IA, las imágenes grabadas con las cámaras tradicionales pasan al centro de emergencias de Renfe y las revisan profesionales para identificar si se producen falsos positivos.
Pero uno de los riesgos es que se equivoque en base a sus sesgos. Renfe no especifica qué comportamientos ha categorizado como “sospechosos” a la hora de hacer saltar una alarma o de identificar situaciones potenciales de suponer un riesgo o ser un delito (los pliegos técnicos del funcionamiento de estas cámaras “son confidenciales”). Es en esa categorización y diseño del sistema donde se pueden colar los sesgos de los algoritmos de IA.
Imagina que dos personas se chocan, y que el sistema identifica que en realidad se trata de un hurto porque tienen la piel oscura… No estamos diciendo que vaya a pasar, pero podría pasar (como con otros sistemas de IA). Hay precedentes de casos de racismo e inteligencia artificial. Los expertos nos explican más casuísticas, riesgos y soluciones.
También hemos investigado sobre otra movida que sería peliaguda: la de los datos biométricos y el reconocimiento facial, que Renfe asegura que no usa (de hecho, está prohibido por la Ley Europea de Inteligencia Artificial). Nosotros hemos indagado; tú, como usuario o usuaria, también puedes solicitar acceso a esta información y preguntar dudas, pedir que Renfe la elimine o limite su uso, y ver qué estaciones tienen este sistema de videovigilancia potenciado con inteligencia artificial.
Manipular a chatbots para desinformar
¿Se pueden manipular las respuestas de los chatbots de IA (ya sabes, ChatGPT, Gemini, Grok) para que difundan desinformación? Es lo que busca la técnica ‘LLM grooming’, que ha utilizado la red de desinformación prorrusa Pravda. Consiste en saturar los resultados en buscadores y rastreadores web con contenido automatizado y desinformador, para que este acabe siendo parte de la base de datos de internet con la que se entrenan los chatbots.
Reportes de NewsGuard y de la agencia francesa Viginum indican que Pravda usó estrategias de SEO y publicó en distintos idiomas y regiones para aumentar la visibilidad y credibilidad de sus contenidos desinformadores. ¿El objetivo? Que fueran usados por los sistemas de IA. Con este tipo de manipulación se fuerza que un chatbot difunda desinformación.
En cualquier caso, los chatbots de IA no son fuentes fiables de información y pueden cometer errores (entre otras cosas, porque puede que los propios datos usados para su entrenamiento contengan errores o desinformación). Ya te lo decimos siempre, no te fíes a ciegas de las respuestas de ChatGPT ni de Grok… Aquí y aquí te lo contamos en imágenes.
ChatGPT, mójate un poco
¿Qué opinan DeepSeek, Grok o ChatGPT del feminismo o del ecologismo? Más allá de que los chatbots puedan contestar con desinformación o datos erróneos, también pueden esquivar preguntas, no dar respuestas contundentes y, básicamente, tratar de ser neutrales.
Esto se debe a que los chatbots de IA pueden estar programados para evitar posicionarse sobre temas controvertidos, incluso si hay suficiente evidencia para defender una posición sobre otra. Por eso, puede que sus respuestas sobre este tipo de temas nos parezcan un poco tibias y que citen argumentos generales para sostener diversas posturas. Eso se conoce como sesgo de equidistancia artificial, neutralidad forzada o falso balance.
Y volvemos a lo de antes: este esfuerzo por alcanzar la neutralidad puede provocar resultados sesgados, inexactos o irrelevantes. Estas respuestas también pueden distorsionar la realidad y desinformar sobre temas respaldados por evidencia que no son popularmente aceptados, como el cambio climático. De nuevo, sí, sesgos y desinformación. Aquí lo analizamos.
En tres bits
Armas en Telegram. En Telegram, la app de mensajería instantánea, hay canales públicos donde se venden armas. Sí sí, armas, o eso dicen ofrecer. El bajo nivel de moderación de contenidos de la aplicación, el anonimato que ofrece y su supuesta privacidad y libertad de expresión ha hecho que Telegram se convierta en un refugio para los ciberdelincuentes, en concreto, para los estafadores del odio. Este artículo es la tercera entrega de las tres que componen la investigación desarrollada por Maldita.es 'Los estafadores del odio: cómo cuentas en Telegram ofrecen armas en chats antimigración', en la que hablamos de qué temáticas se aprovechan para promocionar estos canales, cómo estafan y por qué eligen Telegram.
El falso "bono" para mujeres que circula en WhatsApp. Hablando de estafar, en España y en países latinoamericanos se ha difundido un mensaje idéntico en el que se ofrece un supuesto bono económico del Gobierno dirigido a mujeres y se invita a los usuarios a pinchar en un enlace. Autoridades gubernamentales de diferentes países de habla hispana han alertado de que se trata de una práctica fraudulenta. El objetivo podría ser que los usuarios visualicen publicidad o hacerse con sus datos personales. Mucho ojo para no caer, aquí te contamos todo (y, si nos ayudas a compartirlo para que nadie caiga, te estaremos agradecidas).
Meta AI llega a Europa. Puede que aún no tengas acceso a ella en WhatsApp (está en despliegue progresivo), pero la IA de Meta ya ha llegado a Europa. Este asistente de IA está integrado de forma gratuita en las aplicaciones de Instagram, Facebook y WhatsApp. Bueno, gratuita, ya sabes: damos nuestros datos. En Europa, si usamos el asistente aceptamos automáticamente los Términos y Condiciones de la IA de Meta. Cuidado con compartir datos sensibles si no queremos que se conserven, utilicen y compartan con socios de Meta, y ten en cuenta que no se puede desactivar el chat una vez activado ni eliminar el asistente de las plataformas.
¿Tienes dudas sobre el día a día online? ¿Hay algún tema del mundo de la tecnología que te genere curiosidad y sobre el que te gustaría que ampliáramos información? ¿Quieres compartir algún tema interesante con la comunidad maldita? ¡Escríbenos a [email protected]! Y no olvides suscribirte.
