Hay una forma bastante cómoda de hablar de inteligencia artificial: como si fuera apenas una novedad técnica, una herramienta más veloz, un atajo para hacer mejor o más rápido lo que ya hacíamos. Flavia Costa propone salir de esa comodidad. Profesora de la UBA, integrante de TecnocenoLab y autora de
Tecnoceno. Algoritmos, biohackers y nuevas formas de vida, Costa viene pensando la IA no como un simple avance tecnológico, sino como un acontecimiento político, económico y civilizatorio.
Para Flavia Costa, la IA no se juega solamente en el futuro: se juega ahora, en un presente atravesado por desigualdad, caos informativo, competencia corporativa y una disputa abierta por el sentido del mundo que viene.
–En el debate sobre la posibilidad de una “superinteligencia” se mezclan fascinación, temor, marketing y preocupación genuina. ¿Hay una amenaza real o esa preocupación desplaza del centro riesgos más inmediatos, como la desigualdad, la desinformación, el costo energético o la pérdida de control democrático?
–Creo que la controversia es genuina; aun dentro de estas corporaciones no hay una sola posición. Por un lado, autoras como Kate Crawford, investigadora principal en Microsoft Research, o Meredith Whittaker, ex Google y actual presidenta de la fundación Signal, sostienen que la discusión más publicitada sobre el llamado “riesgo existencial” tapa problemas mucho más urgentes e inmediatos: el desempleo, la disrupción de la IA en el mundo del trabajo, los costos ambientales, la desigualdad y los impactos sobre la democracia. Ese argumento circula con fuerza y tiene sentido. Pero no es lo único que ocurre. Personalmente me interesa lo que dice Anca Dragan, de Google DeepMind, quien sostiene que los dos tipos de riesgo existen, solo que desplazados en el tiempo: hay un primer riesgo, más inmediato, que es social, económico, sociotécnico y político, y un segundo riesgo, más lejano, ligado a la IA de agentes y formas más avanzadas de cognición maquínica. Porque hay que tener en cuenta que las inteligencias artificiales no son una sola: hay muchos tipos de IA. De la que hoy más hablamos es la IA lingüística: los grandes modelos de lenguaje, las generativas. Pero estamos asistiendo a una expansión de la investigación, empujada por grandes financiamientos, donde por ejemplo los agentes de IA más avanzados están mostrando comportamientos opacos, que no son los esperables. Ahí aparece un tipo de riesgo que podría escalar.
–¿Cómo entender hoy el riesgo existencial?
–Cuando hoy se habla de riesgos sistémicos o catastróficos, incluso existenciales, no necesariamente se piensa en una IA rebelde tipo Skynet. Las taxonomías de riesgo establecen escenarios bastante más concretos y plausibles: usos maliciosos, armamentismo intensificado por IA, hackeos, riesgos ambientales, e incluso el propio riesgo sistémico de una meta-tecnología que intensifica y acelera procesos en industrias tan diversas como la minería, el petróleo, la industria química, la logística, la gestión pública o la educación. Antes que una IA maliciosa hay, además, otro riesgo mucho más inmediato, que es la competencia corporativa sin cuidado por la seguridad, que es el escenario actual. Entonces, volviendo a tu pregunta anterior, no lo pensaría como opciones excluyentes. Los dos riesgos van juntos. El primero, el más inmediato, es la disrupción en el mundo del trabajo, de la educación y de las instituciones políticas. Y a eso le sumaría un cuarto tema, que algunos autores nombran como desempoderamiento humano o debilitamiento cognitivo. Con esos cuatro frentes ya tenemos motivos suficientes para preocuparnos, incluso antes de entrar en escenarios más extremos.
–En esa discusión aparece también una paradoja: cuanto más se trabaja en alinear la IA para volverla útil, segura y comercializable, más rápido parece acelerarse su expansión. ¿Cómo se gobierna una tecnología cuya solución técnica puede, al mismo tiempo, profundizar el problema político?
–Dos cosas llaman la atención. Una la señala bien Noortje Marres, cuando dice que, a diferencia de otras controversias ligadas a riesgos catastróficos —como la nuclear o la ambiental—, esta quedó capturada por las propias corporaciones. Las empresas dicen “esto puede ser un riesgo existencial”, pero al mismo tiempo sostienen “de esto nos ocupamos nosotros”. La controversia se securitiza y vuelve a la industria, en lugar de convertirse en una discusión pública. La otra cuestión es: ¿qué significa que los CEOs y expertos de una industria salgan a decir que la tecnología que están desarrollando es catastróficamente riesgosa? Desde mi punto de vista buscan imponer una voz de mando; no sólo afirman una posibilidad: ordenan una configuración del mundo basada en esa amenaza. Al mismo tiempo aparecen signos de preocupación real: investigadores de seguridad que se van de las empresas, algunos para crear sus propias compañías de seguridad de la IA, como Ilya Sutskever; otros porque dicen que ya no pueden sostener sus convicciones dentro de esas organizaciones. En Anthropic, por ejemplo, se publicó a fines de enero un estudio muy relevante, donde analizaron 1,5 millones de interacciones con Claude, y observaron un potencial de desempoderamiento a lo largo del tiempo, es decir, que notaron que la IA comenzó a influir en las creencias, valores o acciones de los usuarios. El autor de ese estudio, Mrinank Sharma, director de seguridad, renunció a la empresa en febrero diciendo que “el mundo está en peligro” y que se retiraba a “escribir poesía”.
–El de Anthropic no es el único caso, ¿verdad?
–No. En los últimos meses varios investigadores de OpenAI se fueron de la compañía a crear otros laboratorios más orientados a la educación, como Andrej Karpathy, por ejemplo, que fundó Eureka Labs preocupado por la posibilidad de que la IA favorezca el debilitamiento cognitivo. O Mira Murati, una de las creadoras directas del ChatGPT, que se fue en septiembre de 2024 y creó Thinking Machines Lab, para desarrollar sistemas más orientados a la colaboración humano-máquina. El propio Yoshua Bengio, uno de los tres Premio Turing 2018 junto con Geoffrey Hinton y Yann LeCun, escribió en 2023 una entrada en su blog donde decía que durante décadas había investigado la inteligencia sin pensar que eso pudiera tener un impacto social, y que en esos meses se había dado cuenta de que no somos capaces de controlar lo que estamos desarrollando. Si uno mira el proceso completo, hay signos de que la aceleración por la competencia descontrolada está escalando los riesgos. Aquí hay una convergencia entre tres factores: una tecnología que busca responder a la exigencia de innovación del capital después de la crisis de 2008, un conjunto de intereses corporativos muy específicos entramados con las llamadas ultraderechas, y una disputa geopolítica hemisférica. Por eso no estamos hablando solamente de un acontecimiento tecnológico o económico, sino de un modelo político y civilizatorio. De ahí también que el manifiesto de Palantir que se conoció días atrás, atribuido a Alex Karp, el socio de Peter Thiel, recupera la imagen de Samuel Huntington del “choque de civilizaciones”.
–Vos insistís en distinguir seguridad como safety y protección como security, una diferencia que en castellano suele perderse pero que define dos enfoques distintos: una orientada a prevenir accidentes sistémicos y otra a responder ante delitos o ataques; ¿por qué esa distinción es clave para pensar la regulación de IA en la Argentina?
–Veamos: hasta ahora las tecnologías infocomunicacionales no habían sido pensadas como tecnologías de riesgo. Con la IA, y a partir del ejemplo de la ley europea, esto cambia. Y cambia en buena medida porque estas tecnologías, que en principio son ideales para procesar grandes volúmenes de información, se capilarizan y llegan a las PC y los celulares de cientos de millones de personas. Entonces la pregunta por la IA comienza a ser una pregunta por la educación, por la información pública, por el impacto en los trabajos y en la vida social. En ese marco aparece esta distinción de la que hablás. Por un lado está la security o protección, relacionada con amenazas externas al sistema: hackeos, sabotajes, delitos, daños intencionales. Por otro lado está la safety, referida a la seguridad operacional o sistémica: la seguridad ante un fallo técnico, que pueda producir un daño al operador, o a terceros, como se piensa en la aviación, en la industria nuclear o la química. Con la IA empieza a pasar algo parecido, porque entra de lleno en el mundo del trabajo, en la gestión pública, en el acceso a la justicia, la salud, la educación. Y esos usos abren riesgos que no se resuelven solo mejorando internamente el sistema informático. Son sistemas sociotécnicos, y cuando se incorporan en organizaciones, es necesario analizar las tramas concretas de uso a lo largo de todo el ciclo de vida. Todavía más cuando sabemos que los sistemas que hoy están más a la mano —ChatGPT, Gemini, Claude— presentan resultados no fiables por defecto: alucinaciones, sesgos, resultados imprecisos. Y sin embargo ya están funcionando en áreas sensibles. Por eso la distinción es importante. Las prioridades son dos: por un lado, formar equipos expertos interdisciplinarios y, por el otro, reforzar la soberanía tecnológica para decidir dónde impulsar la IA, que sin dudas es útil en muchos ámbitos, y dónde conviene ser más prudentes, hasta contar con mecanismos de seguridad adecuados. Ese es un ejercicio que cada país, cada sociedad tiene que hacer.
–En el relevamiento del TecnocenoLab aparece que en la Argentina hay muchos proyectos de ley sobre IA, pero con enfoques heterogéneos y todavía sin una arquitectura robusta de gobernanza; ¿qué falta hoy para pasar del furor normativo a una política pública realmente capaz de anticipar riesgos y proteger derechos?
–Si se admite, como hacen desde la OCDE hasta la Rand Corporation, que esta es una tecnología de riesgo, el modelo de referencia sigue siendo el europeo, que fue el primero y el más completo, aunque hoy también está en discusión. Proyectos en distintos países copiaron su pirámide de riesgo, donde hay usos considerados de riesgo inaceptable —la manipulación maliciosa del comportamiento, la vigilancia masiva. En el relevamiento que hicimos en la Argentina, vimos proyectos heterogéneos, algunos más exhaustivos y otros mucho más acotados. Es cierto que regular la IA no es simple, porque cualquier modelo legislativo importado tiene que ponerse en coherencia con la legislación local. Y porque estamos legislando sobre un fenómeno muy dinámico, que seguramente obligará a revisar cualquier norma en poco tiempo. Aun así, una diferencia clave está entre una regulación reactiva y una proactiva. La reactiva llega después del daño; la proactiva intenta gestionar el riesgo antes, con normas de calidad, auditorías, transparencia, monitoreos, investigación de incidentes. Para eso necesitás una autoridad de aplicación autónoma o autárquica, e incluso podría pensarse una junta de investigación para casos de alto riesgo, como existe en otras industrias. Pero, sobre todo, necesitás una discusión seria sobre qué derechos fundamentales querés proteger: salud, justicia, educación, empleo. Hacer depender el acceso a estos derechos de sistemas de IA requiere saber cómo se detecta un fallo y cómo se lo enfrenta. No es tan complejo en términos técnicos, se requiere voluntad política. Hoy en la Argentina eso aparece bastante bloqueado, porque el Gobierno dice abiertamente que no quiere una ley. En Estados Unidos sucede hoy algo parecido: en la segunda presidencia de Trump le fueron recortando al Instituto Nacional de Estándares y Tecnología (NIST) todos los criterios ligados a safety, a confiabilidad, para dejar solo la ciberseguridad. Pero lo que vemos es que, más allá de la coyuntura específica, los Estados son actores centrales. Por eso sigue siendo importante pensar una ley robusta y coherente, con definiciones claras sobre qué son los sistemas de IA, qué significa protección, qué significa seguridad y qué áreas van a recibir cuidado prioritario. Y también una ley que incentive investigación propia, porque estas IA corporativas no son el único camino posible y cada país puede decidir orientar desarrollos específicos.
–El concepto de “gubernamentalidad algorítmica” indica que los algoritmos no solo ordenan información, sino que moldean conductas, decisiones e identidades; ¿hasta qué punto el marketing digital dejó de ser solo una herramienta comercial para convertirse en una tecnología de gobierno de las poblaciones?
–La idea de gubernamentalidad algorítmica que trabajan Rouvroy y Berns ya en 2013 está muy ligada a la plataformización. Y en efecto, estas IA generativas y lingüísticas que hoy conocemos no se explican sólo por la historia de la investigación en IA o por la industria de los microprocesadores: hay un tercer elemento decisivo para el funcionamiento de estos sistemas, que es nuestra vida en plataformas. Los grandes datos no son algo externo, un input y un output: son parte de la máquina. Vienen de miles de bibliotecas digitalizadas, de editoriales que cedieron sus datos y a veces sus fondos para estar en Google Books, y también de nuestras interacciones en redes, de YouTube… en fin, de nuestra vida digital. Ahí es clave lo que muestra Shoshana Zuboff en su libro ¿Capitalismo de la vigilancia o democracia?: internet comercial encuentra su modelo de negocios cuando Google logra mercantilizar el comportamiento y la atención, ordenando la información algorítmicamente y vendiendo posiciones privilegiadas dentro de ese ordenamiento. Después, esas empresas concentran verticalmente su posición en la industria: no son solo buscadores, también son aplicaciones, contenidos, nube, cables submarinos. Y a partir de ahí el marketing digital deja de ser solo comercial. Ya para 2016 o 2017 esas plataformas podían intervenir no solo en consumos, sino también en comportamientos políticos de grandes audiencias. Cambridge Analytica es el caso más conocido, que se inspira en una investigación de Michal Kosinski, un estudiante de doctorado en psicometría: a partir de una encuesta psicométrica, Kosinski accede a datos personales y a toda la red de “me gusta” de casi 70 mil usuarios, y ve que se pueden construir patrones de correlación inimaginables para un investigador pero muy potentes para incidir en la gestión emocional de grandes cantidades de población, en particular los “inestables emocionales”. Eso es, justamente, un modelo de gubernamentalidad algorítmica. Después, esa idea se complejiza, porque algunos autores empiezan a decir que ya no estamos solo ante una forma de gobierno, sino también ante un desgobierno o un caos algorítmico. Y eso sirve mucho para pensar lo que vivimos hoy: un sistema de información atravesado por ansiedad, desinformación, incomunicación pública, violencia verbal y una producción bastante sistemática de caos. No es raro hipotetizar que hay una verdadera ingeniería del caos detrás de esto. Por eso, cuando digo que la IA es también “sociedad artificial”, me refiero a que estos sistemas operan desde y sobre el mundo social. Se nutren de relaciones sociales y procesan, aceleran, sintetizan relaciones sociales maquínicamente.
–Frente a la expansión de contenidos sintéticos, desinformación y automatización, proponés la idea de “alfabetismos expandidos”; ¿qué tendría que aprender hoy una ciudadanía democrática para no quedar reducida a usuaria obediente de sistemas que no entiende ni controla?
–La idea de alfabetismos expandidos parte de reconocer el grado de complejidad en el que estamos. Hoy pasan dos cosas al mismo tiempo: por un lado, se están minando instituciones centrales de la democracia —la escuela, la universidad, las instituciones científicas, los organismos de certificación y de calidad—; y por otro, estas tecnologías exigen usuarios cada vez más formados, más reflexivos. Las IA son muy buenas para un usuario exigente. Si vos sabés qué buscar, mirás el resultado con ojo crítico y seguís interrogando al sistema, te ahorran muchísimo tiempo y te pueden dar información muy valiosa. Pero justamente por eso también refuerzan una lógica elitista: son tecnologías especialmente potentes para quienes ya tienen herramientas. Ahí entra la cuestión de los alfabetismos expandidos. Nuestra capacidad es limitada, pero es mucho más potente de lo que a veces creemos. Y digo “nuestra” en un sentido amplio: capacidad crítica, científica, pedagógica. En la Argentina, incluso con el desfinanciamiento actual, hay más de tres décadas de acumulación en el sistema universitario y, al menos, dos en el científico. Eso no es nada menor. En términos educativos, alfabetizar hoy no es solo enseñar a usar herramientas, sino enseñar a entender qué hacen. Sobre todo en el caso de las IA lingüísticas, hay que saber que no se puede confiar en sus resultados, pero sí se puede trabajar críticamente con ellos. Por ejemplo, pedirle lo mismo a distintos modelos y comparar respuestas. Hay ejercicios muy concretos para eso, incluso en la escuela secundaria. Y al mismo tiempo hay que sostener algunas áreas de formación que siguen siendo irremplazables: lengua y literatura, historia, filosofía y matemática son básicas. Muchas otras pueden articularse con la IA, pero eso exige compatibilizar enseñanza, evaluación y formación docente. Yo no creo que esto sea imposible. Estamos en un momento de transformación, y nuestra tarea es conducir ese proceso, o al menos acompañarlo activamente, sin pensar que es unilineal ni irreversible.
–También proponés pensar esta etapa como un tiempo “entre accidentes”, desde la pandemia hasta los riesgos sistémicos de la IA, y al mismo tiempo advertís sobre costos materiales y energéticos que muchas veces quedan fuera del relato celebratorio sobre la innovación; ¿cuáles te parecen hoy los accidentes más probables de esta fase y por qué cuesta tanto incorporarlos al debate público?
–Muchas veces los investigadores trabajamos con imágenes o diagnósticos que ayudan a captar en qué momento estamos. Y la imagen con la que trabajo desde la pandemia es esa: estamos en un momento de mutación. La industria la llama disrupción; los schumpeterianos hablan de destrucción creativa. Pero más allá del nombre, la pandemia fue un accidente sistémico, un accidente normal del sistema planetario, que nos hizo dar cuenta de que ya vivíamos en una escala planetaria: un virus que aparece en las antípodas altera durante meses, casi dos años, la vida de una parte enorme de la población global y desacomoda sistemas de salud, educación, transporte, producción. A partir de ahí, aparece con claridad que, por la escala que estamos desplegando, hay nuevos riesgos sistémicos. Esos riesgos ya están siendo estudiados tanto por organismos internacionales como por las propias corporaciones.
–¿Cuáles son hoy los problemas a la vista?
–Por un lado los riesgos asociados a los cuellos de botella, como la demanda energética: no sabemos bien cómo se va a sostener el consumo creciente que exigen estos sistemas de IA, y eso puede generar apagones, black outs. El otro cuello de botella son los microprocesadores: la producción está muy concentrada, hay vulnerabilidades geopolíticas y la demanda crece mucho más rápido que la oferta. Tercero, el problema ambiental: agua para centros de datos, necesidad de minerales, nuevas infraestructuras energéticas. Por el otro, están los riesgos propios del funcionamiento de un sistema sociotécnico complejo: interacciones inesperadas. Y también riesgos externos: usos maliciosos, hackeos, conflictos más o menos abiertos. Entonces, cuando digo “entre accidentes”, quiero marcar que estamos en un escenario inestable, pero también abierto. Junto con fuerzas muy destructivas y voces de mando, también se abren zonas de creatividad tecnológica, social y política. Y me interesa poner esa idea en la discusión pública.
–¿Por qué cuesta incorporarlo al debate público?
–Por varios motivos. Nuestras conversaciones públicas, en la región, están muy insularizadas, muy encerradas en la dinámica local. Nos costó en Argentina aprender del caso de Brasil; les costó en Chile aprender de Brasil y de Argentina, y así. Nos cuesta integrar lo que pasa en la región y en el mundo. Segundo, porque para ver esa figura más amplia necesitás tener un mapa de actores, de infraestructuras, de teorías que se vienen discutiendo en diferentes espacios, y nuestras dirigencias no solo políticas sino también económicas y académicas, no lo tienen a mano. Y esto, en parte, porque sigue primando el tecnosolucionismo: la idea de que las tecnologías son simplemente herramientas. Esta semana escuché a un directivo decir que la IA es como un pizarrón. Y sí, son herramientas, pero no solo herramientas. Finalmente hay un problema de mayor densidad, que es que estamos atravesando un salto de complejidad. El sistema humano se volvió planetario y los actores, individuales y colectivos, no tienen idea clara de cómo acoplarse u operar en esa nueva escala. Las generaciones de tecnologías evolucionan cada tres a siete años y los humanos cada veinte años comenzamos a explicar todo de cero: desde leer y escribir hasta contar nuestra historia. Ese desfase, que Paul Virilio llamaba “el accidente del tiempo”, se vuelve enorme. Por eso las elites tecnológicas apuestan incluso a soluciones de integración hombre-máquina, como si una salida técnica pudiera resolver esa diferencia de temporalidades entre máquina y humano. La foto de hoy es fascinante y perturbadora a la vez: una cognición maquínica que absorbió una parte enorme del intelecto colectivo, pero que hoy está en manos de muy pocas corporaciones. Pero esto recién empieza.