Desde que el pasado 28 de octubre se produjo el trágico accidente de ferrocarril en Urda (Toledo), en los análisis de técnicos ferroviarios, ingenieros y especialistas en seguridad se ha repetido una idea: la brutal colisión entre los dos trenes no puede explicarse únicamente por un error humano, sino que fueron toda una serie de deficiencias estructurales –como la caída del sistema LZB, que supervisa la circulación y transmite al tren las indicaciones de velocidad y frenado–, las que desencadenaron la catástrofe, al obligar a recurrir a un sistema alternativo de señalización lateral y, en última instancia, a depender de procedimientos menos automatizados y de las instrucciones del centro de control. En definitiva, de las personas.
Como señaló este pasado 3 de noviembre, recogiendo este mismo espíritu, la Asociación de Ingenieros de Caminos, Canales y Puertos y de la Ingeniería Civil, además de aumentar la inversión en tecnología y mantenimiento, empezando por reforzar «los sistemas y escenarios más vulnerables según análisis de riesgos detallados», la tragedia obligaría a examinar las infraestructuras, los sistemas de señalización, los protocolos de actuación, el mantenimiento y la organización del trabajo, evitando que la búsqueda de un error individual impida «corregir lo que de verdad hay que corregir».
Todo esto parece sumamente razonable. Pero reconozco que, a pesar de la aparente sensatez de este tipo de consideraciones que fueron aflorando en los días posteriores a la catástrofe, esta insistencia en sustituir el juicio humano como fuente de error en cualquier circunstancia me ha llevado a preguntarme si, con independencia de la desgracia concreta a la que estos análisis han intentado dar respuesta, no estaremos de algún modo alimentando un peligroso espejismo. Me explico.
El sueño de un mundo sin errores
Del mismo modo que nadie defendería que un cirujano cometiese un error que un robot pudiese evitar, es evidente que nadie puede oponerse a que un sistema impida que un tren colisione con otro. La pregunta que debemos hacernos es, sin embargo, qué significa exactamente eliminar el error humano. ¿Estamos hablando de reducir el riesgo o más bien de aspirar a una sociedad en la que la intervención humana, indefectiblemente asociada con el peligro, sea cada vez menos necesaria?
La pregunta sobre la delegación de decisiones a sistemas técnicos no es ni mucho menos reciente. Hannah Arendt ya nos mostró que actuar era algo más que ejecutar correctamente una tarea. En La condición humana (1958), la filósofa distinguió tres actividades fundamentales de la vita activa: la «labor», que comprendía las actividades necesarias para mantener la vida; el «trabajo», esto es, la fabricación de objetos dirigidos a la construcción de un mundo relativamente estable; y la «acción», entendiendo por tal la capacidad de iniciar algo nuevo, actuar entre otros y revelar quiénes somos.
De las tres la última era especialmente importante al estar vinculada a la pluralidad, la libertad y la imprevisibilidad, consistiendo no en ejecutar un comando de acuerdo con un procedimiento previamente establecido, sino en intervenir en un mundo compartido cuyo curso no podemos controlar por completo. En este sentido, aunque es indudable que una máquina puede ejecutar una función con una precisión extraordinaria, para nuestro caso es útil preguntarnos qué sucede cuando empezamos a concebir la totalidad de la actividad humana bajo el modelo de una tarea que debe ser ejecutada correctamente. Es decir, cuando el médico deja de ser alguien que interpreta una situación singular y pasa a ser un operador que supervisa un procedimiento; cuando el profesor se limita a ser alguien que administra un sistema de aprendizaje; o cuando un artista es medido únicamente por su capacidad de generar resultados.
El problema, desde esta óptica, no sería tanto que las máquinas hiciesen determinadas cosas mejor que nosotros, sino que, ante la progresiva elevación de la utilidad y la eficiencia a criterios dominantes de la vida humana, terminemos interpretando nuestra propia existencia como un conjunto de funciones susceptibles de ser optimizadas y, por tanto, sustituidas.
Esta idea estaba implícita en «La pregunta por la técnica», célebre conferencia en el que el gran mentor de Arendt, Martin Heidegger, planteaba que la técnica moderna no era solamente un conjunto de instrumentos que utilizamos para conseguir determinados fines sino un modo de revelar (o «desocultar») el mundo. Para el profesor de Friburgo la técnica moderna tiende a presentar la realidad como algo disponible, calculable, ordenable y susceptible de ser explotado, lo que denominó Gestell, traducido habitualmente como «lo dispuesto» o «el emplazamiento». La naturaleza aparecería así como reserva de energía; los objetos, como recursos; y los seres humanos como elementos disponibles dentro de un sistema que corre el riesgo de terminar adoptando la lógica técnica como único criterio de racionalidad.
El problema no es que las máquinas hagan ciertas cosas mejor que nosotros, sino que terminemos interpretando nuestra existencia como un conjunto de funciones susceptibles de ser sustituidas
Si consideramos que la finalidad de un sistema ferroviario es exclusivamente transportar el mayor número de pasajeros en el menor tiempo posible, tiene sentido que la seguridad, el trabajo humano y la experiencia de los viajeros queden subordinados a esa finalidad. Pero al igual que cuando consideramos que la finalidad de un hospital es optimizar sus indicadores podemos terminar confundiendo la mejora de los resultados cuantificables con la mejora de la atención médica, corremos el riesgo de que esos criterios, valiosos, qué duda cabe, especialmente cuando se trata de prevenir accidentes potencialmente mortales, se conviertan en los únicos criterios.
Heidegger, en este sentido, no propone simplemente regresar a un mundo pretecnológico. Su reflexión es más radical: se trata de sostener una relación libre con la técnica, una relación en la que no seamos incapaces de pensar fuera de sus propias categorías, teniendo claro qué cosas no estamos dispuestos a sacrificar en su nombre. Desde esta perspectiva, volviendo a Arendt, el ideal de una sociedad sin errores, en la que todo comportamiento se ajustaría a una previsión técnica, en el que todo «proceso», lejos de ser la «causa de nuevos procesos impredecibles» quedara restringido a «un marco de circunstancias controlable», como si pudiéramos introducir «todo el material pertinente en un ordenador gigante», podría ser también el ideal de una sociedad en que la libertad fuese cada vez más residual.
El error como fuente de conocimiento
La insistencia en eliminar el error humano parece apoyarse en una premisa indiscutible: si una decisión humana puede provocar una catástrofe, lo razonable es que esa decisión deje de depender de un ser humano. Pero esta premisa contiene una dificultad. Los sistemas técnicos también fallan y los seres humanos, lejos de ser únicamente los responsables de los errores, son también quienes pueden reconocerlos, interpretarlos y aprender de ellos para evitar su repetición.
Como diría Karl Popper, quien puede aportar aquí una interesante perspectiva epistemológica, aprender es reconocer que podemos equivocarnos. Para el autor de Alles Leben ist Problemlösen –aunque publicado en español como La responsabilidad de vivir este verdadero testamento intelectual podría ser traducido con mayor fidelidad como Toda la vida es resolución de problemas– la filosofía de la ciencia se construye sobre la idea de que nuestro conocimiento es falible, esto es, de que no podemos garantizar que nuestras teorías sean definitivamente verdaderas.
La racionalidad, en este sentido, no consistiría en alcanzar una certeza absoluta, sino en mantener abierta la posibilidad de rectificación, lo que nos plantea la cuestión de qué sucede cuando diseñamos sistemas que pretenden anticipar y resolver todos los errores posibles. Al fin y al cabo, un sistema automatizado puede corregir una desviación con extraordinaria precisión, pero también puede incorporar un error de diseño, una premisa equivocada o una interpretación insuficiente de la realidad. Y si se considera infalible, puede resultar más difícil cuestionarlo.
La capacidad de reconocer el error no es, por lo tanto, una debilidad que debamos eliminar, sino una de las condiciones de nuestra racionalidad. Lo que trasladado a los estudios sobre seguridad y factores humanos nos obliga a tener en cuenta –es la base de la llamada Safety-II teorizada por Erik Hollnagel–, no solo por qué se producen los fallos, sino también cómo consiguen los profesionales que los sistemas funcionen correctamente en condiciones variables e imperfectas, desarrollando la capacidad de responder a circunstancias que no estaban previstas.
Obviar lo anterior implicaría correr el riesgo de darle la razón a la psicóloga e ingeniera británica Lisanne Bainbridge, quien en «Ironies of Automation» llegó a la conclusión de que cuanto más automatizamos, más difícil puede resultar intervenir cuando la automatización falla. Publicado en 1983 en la revista Automatica Bainbridge sostenía en este artículo ya clásico que al eliminar las tareas rutinarias y sencillas que antes realizaba el operador humano para pasar este a asumir las otras más complejas, como detectar cuándo el sistema falla, interpretar una anomalía o tomar el control en una situación excepcional, la automatización podía a la larga resultar altamente problemática. Trasladada esta intuición al ferrocarril, la aviación, la medicina o cualquier sistema complejo tendríamos que la automatización no solo puede ocultar anomalías que antes resultaban perceptibles, sino que, al deteriorarse el conocimiento del funcionamiento real del sistema por parte del operador, en caso de producirse una situación excepcional, su falta de experiencia podría llevarle a incurrir en errores. Y es que como el pharmakon, –dirá Bernard Stiegler en La técnica y el tiempo inspirándose en la lectura que Jacques Derrida hace de Platón–, que es a la vez remedio y veneno, esas mismas herramientas que amplían nuestras capacidades –pensemos en una memoria externa, por ejemplo, capaz de liberarnos y, al mismo tiempo, de erosionar nuestra memoria propia–, también pueden debilitarlas cuando delegamos en ellas facultades que dejamos de ejercitar.
La fantasía tecnoutópica
Desde que Evgeny Morozov aplicó en 2013 la etiqueta «solucionismo tecnológico» a la tendencia a interpretar cualquier problema humano, social o político como un problema técnico susceptible de optimización, muchos han sido los pensadores –la crítica a la premisa de que los algoritmos y la conectividad digital pueden resolver problemas estructurales y políticos estaba en el centro de otro importante ensayo de aquel año: Sociofobia de César Rendueles– que han advertido del peligro de confundir la capacidad de resolver problemas técnicos con la capacidad de construir una sociedad mejor.
Esa concepción puramente instrumental de la existencia capaz de imponer una idea de progreso basada en la aceleración, la eficiencia y la eliminación de cualquier fricción ya estaba ahí. La irrupción de la inteligencia artificial lo que ha hecho es volver más urgente este debate. Porque ya no hablamos únicamente de automatizar tareas mecánicas o de evitar que un operador ferroviario cometa un error. Hablamos de delegar decisiones que afectan a nuestra vida, nuestros derechos, nuestras oportunidades y, en último término, nuestra capacidad para intervenir en un mundo, en el que, como reivindicaba John Stuart Mill ya en el siglo XIX, podamos experimentar, equivocarnos y aprender.
El problema no sería, de este modo, que una máquina nos impidiera cometer errores, sino que empezáramos a aceptar que, para evitarlos, debemos renunciar a decidir. Aquí el accidente ferroviario ofrece una analogía especialmente fértil. ¿Pues qué ocurriría si fuese una inteligencia artificial, en base a su capacidad para procesar ingentes cantidades de datos y a su rapidez de respuesta, la que decidiese qué tren debe continuar circulando cuando falla la señalización? En caso de accidente, ¿quién debería responder? ¿El ingeniero que diseñó el sistema? ¿La empresa que lo desarrolló? ¿La compañía ferroviaria que lo implantó? ¿El responsable que decidió confiar en él? ¿El organismo que certificó su funcionamiento?
Tanto la OCDE como la UNESCO han advertido en fechas recientes de los problemas de la dependencia excesiva del determinismo tecnológico, el sesgo de automatización y la dificultad de explicar decisiones tomadas por sistemas opacos que pueden convertirse en una especie de autoridad sin rostro. Una autoridad que, además, no puede ser interpelada moralmente. Una paradoja especialmente inquietante es que cuanto más automatizamos nuestras decisiones porque confiamos en la capacidad de las máquinas –Stiegler utiliza el concepto de «proletarización» para describir cómo perdemos progresivamente conocimientos, habilidades y saberes cuando los transferimos a dispositivos técnicos–, menos capaces podemos llegar a ser de supervisarlas cuando dejan de funcionar correctamente.
La IA, en este sentido, no necesita prohibirnos nada para reducir nuestra libertad. Puede hacerlo –este es un terreno en el que resulta útil recuperar a Michel Foucault y su reflexión sobre el poder– de una manera mucho más sutil: anticipándose a nuestros deseos, seleccionando las opciones disponibles y orientando nuestras decisiones hacia aquello que considera más conveniente. Los sistemas de IA, como advertía Shannon Vallor en The AI Mirror (2024), no son espejos neutrales de la inteligencia humana: reproducen determinadas representaciones del mundo y pueden terminar condicionando nuestra manera de pensar y actuar. Y esto, como fácilmente se comprenderá, dista de ser políticamente inocuo desde el momento en que notamos que la libertad no consiste solamente en poder elegir entre varias opciones, sino en participar en la definición de esas opciones, comprender por qué se nos ofrecen unas y no otras, y poder cuestionar los criterios que las organizan. La cuestión no es si la IA nos permitirá seguir eligiendo. Probablemente lo hará. La cuestión es si seguiremos teniendo capacidad para intervenir en la construcción del mundo sobre el que elegimos.
La IA no necesita prohibirnos nada para reducir nuestra libertad. Puede hacerlo de una manera mucho más sutil: anticipándose a nuestros deseos
De modo que, evitando tanto el tecnofetichismo de considerar que todo aquello que una máquina puede hacer mejor que una persona debe ser necesariamente automatizado como, del otro lado, el rechazo indiscriminado de la tecnología y la vuelta a la sociedad preindustrial, la cuestión pasa por establecer una distinción entre delegar la ejecución de una tarea y delegar la autoridad para decidir sobre sus fines y consecuencias, aplicando límites estrictos ante aquellas decisiones que afectan a derechos fundamentales o implican daños irreversibles (como el uso de fuerza letal, privación de libertad o actuaciones que puedan poner en peligro vidas humanas).
La inteligencia artificial puede ayudarnos a ampliar extraordinariamente nuestra capacidad de comprender el mundo. Puede liberar tiempo, reducir sufrimiento, mejorar la seguridad y hacer accesible un conocimiento que antes estaba reservado a unos pocos. Pero para que eso suceda, debemos evitar –como advirtieron Shannon Vallor y Tillmann Vierkant en «Find the Gap: AI, Responsible Agency and Vulnerability» (2024)– que los sistemas autónomos puedan crear situaciones en las que las personas conserven formalmente la responsabilidad, pero pierdan el conocimiento o el control necesarios para ejercerla efectivamente.
¿Podemos permitirnos seguir siendo humanos?
Así las cosas, no se trata de «aceptar el error» sin más ni de relativizar las consecuencias de una negligencia, especialmente cuando esta es capaz de generar tanto sufrimiento, sino, teniendo presente que aprender es reconocer también que podemos equivocarnos, saber que la seguridad debe contemplar tanto la automatización como la capacidad humana de intervenir, alcanzando la responsabilidad en caso de accidente tanto a quienes diseñan, mantienen, organizan y supervisan el sistema como a los responsables políticos últimos.
Dicho de otro modo: la automatización no es necesariamente una amenaza. Puede ser una forma de ampliar nuestras capacidades, reducir riesgos y liberarnos de tareas penosas. Pero, como advertía John Danaher en Automation and Utopia (2019) al abordar las consecuencias de una sociedad en la que las máquinas asumen cada vez más tareas humanas, también puede convertirse en una forma de renuncia a la posibilidad de encontrar significado en aquello que hacemos.
La pregunta decisiva, por tanto, no sería si debemos permitir que las máquinas hagan cosas por nosotros. Eso ya sucede y seguirá sucediendo. La pregunta sería si, al delegar en ellas cada vez más funciones, estamos delegando también la capacidad de decidir qué merece la pena hacer, qué riesgos estamos dispuestos a asumir y qué clase de seres humanos queremos seguir siendo. Porque quizá el mundo más inquietante no sea aquel en el que las máquinas cometen errores, sino aquel en el que los seres humanos ya no tienen ocasión de ejercer las capacidades que les permitirían reconocerlos.
En este sentido, la verdadera obsolescencia humana –por utilizar el concepto que el filósofo Gunter Anders acuñó a mediados del pasado siglo para analizar la creciente desproporción («desnivel prometeico») entre las capacidades humanas y el poder de los artefactos que producimos– no sería tanto una condición impuesta por las máquinas como una disposición nuestra a considerar prescindibles determinadas facultades. No porque hayamos dejado de ser capaces de ejercerlas, sino porque hemos dejado de encontrar razones para hacerlo.
Por eso el trágico accidente de Urda, además de poner en primer plano que la seguridad depende de sistemas complejos en los que la responsabilidad no puede desaparecer, no debiera inducirnos a pensar que es lo mismo reducir el error humano que reducir al ser humano a una fuente de error. Más útil sería introducir una perspectiva de la que apenas si se ha hablado en estos días pese a su innegable centralidad, esto es, cómo las sociedades modernas se encuentran sometidas a una dinámica de aceleración que no depende exclusivamente de la voluntad individual. Que la tecnología permite hacer las cosas más rápido sin que esa ganancia de tiempo se traduzca necesariamente en una vida más reposada o, en otras palabras, que la aceleración tecnológica no solo no nos libera del tiempo, sino que contribuye a que experimentemos una creciente escasez de él se ha convertido, por decirlo con Hartmut Rosa, en una «característica universal de la modernidad», una característica, me atrevo a añadir, sufrida, aunque no siempre percibida de un modo plenamente consciente por el sujeto de la contemporaneidad.
En textos como «Alienación y aceleración» Rosa señala a la competencia capitalista, el imperativo del crecimiento y la lógica de la aceleración como fin en sí mismo como los motores de esa dinámica que al posibilitar que un tren llegue más rápido termina favoreciendo la distancia respecto al puesto de trabajo y el número de los desplazamientos cotidianos, convirtiéndose la ganancia de velocidad en una nueva exigencia.
Quizá, llegados a este punto, la respuesta no consista en perfeccionar indefinidamente los mecanismos que nos permitirían desplazarnos a 350 kilómetros por hora o en anticipar mediante algoritmos cada contingencia de nuestra existencia. Quizá –acompañando en la reflexión al marido de aquella víctima que con herida lucidez apuntaba como culpable del desastre al «capitalismo sin prisas»– debamos preguntarnos por qué necesitamos ir tan deprisa, qué modelo de vida exige esa aceleración permanente, qué economía se alimenta de ella y qué clase de sujetos produce. Porque si la técnica nos permite ahorrar tiempo, pero el sistema se encarga de convertir ese ahorro en una nueva exigencia de productividad; si automatizamos las decisiones para reducir el error, pero terminamos perdiendo la capacidad de juzgar; si hacemos más eficiente la máquina mientras nuestras vidas se vuelven más precarias, estresantes y dependientes, entonces quizá no estemos ante un problema de velocidad, sino ante una determinada concepción del progreso, una concepción depredadora de recursos y devoradora de almas.
Tal vez resulte ingenuo, hay quien dirá incluso que frívolo. Pero tal vez la verdadera conquista no consista en llegar cada vez más rápido, sino en dejar de vivir como si siempre llegáramos tarde.
