Preguntas frecuentes sobre los sistemas de armas autónomos

Los sistemas de armas autónomos, también denominados comúnmente "robots asesinos" o slaughterbots, son armas que, una vez activadas, son capaces de seleccionar y aplicar fuerza contra los objetivos sin intervención humana adicional.

"Sin intervención humana" significa que, a partir del momento en que una persona activa el arma, esta funciona por sí sola. Utiliza sensores para detectar fenómenos como el calor, la luz, el movimiento, la forma o la velocidad, y emplea estos datos para buscar coincidencias de objetivos potenciales con un "perfil de objetivo" general. Por ejemplo, un perfil puede incluir la forma, la velocidad o la firma térmica o radárica de un vehículo militar.  Si el arma determina que el objeto detectado coincide con estas características predefinidas, puede iniciar un ataque por sí misma, sin que una persona seleccione ese objetivo específico en el momento del ataque.

Sí, los sistemas de armas autónomos ya son una realidad.  Algunos ejemplos son los siguientes: 

• Sistemas de defensa aérea y contra misiles –incluidos los sistemas de armas de corto alcance en buques de guerra y los sistemas terrestres de protección de bases– que detectan, rastrean e interceptan de forma autónoma misiles, cohetes o proyectiles de mortero entrantes, a una velocidad superior a la que podría hacerlo un ser humano.
• Sistemas de protección activa en tanques, que detectan y atacan automáticamente proyectiles o misiles entrantes antes de que impacten contra el vehículo.
• Algunas municiones con sensores integrados, que liberan submuniciones equipadas con sensores capaces de buscar y atacar ciertos tipos de objetivos –como vehículos blindados– sin que un operador humano seleccione cada objetivo individual.
• Algunas municiones merodeadoras que, según se informa, pueden rastrear una zona y atacar objetivos –como radares– que coincidan con un perfil preprogramado. 

Actualmente, estos sistemas son, en gran medida, sistemas "basados en normas" o "determinísticos", y suelen operar en entornos controlados contra una gama limitada de objetivos militares, como misiles enemigos u otros proyectiles, radares militares o buques de guerra. Sin embargo, al CICR le preocupa la clara tendencia hacia la incorporación de inteligencia artificial (IA) cada vez más compleja en estos sistemas de armas autónomos, y el evidente interés militar en flexibilizar las restricciones respecto de dónde o contra qué usar ese tipo de armas, lo cual puede exacerbar la imprevisibilidad de sus efectos. En un conflicto armado, esto crearía graves riesgos para las personas civiles y los bienes de carácter civil.  

Los sistemas de armas autónomos generan graves preocupaciones de índole humanitaria, jurídica y ética, porque son capaces de seleccionar y atacar objetivos sin intervención humana adicional. Estas preocupaciones no se relacionan solo con la tecnología en sí, por lo cual no necesariamente se pueden resolver mediante ajustes de ingeniería o decisiones de diseño.

1. Riesgos humanitarios: riesgos de proliferación y de escalada de conflictos. Al igual que otras armas, las armas autónomas proliferarán y se emplearán en violación del DIH, incluso por parte de grupos armados no estatales y organizaciones delictivas. De hecho, son particularmente vulnerables a la proliferación, a medida que los sensores, el software y otros componentes disponibles en el mercado se vuelven más baratos y accesibles.  También existe el riesgo de que el uso de armas autónomas impulse la escalada de los conflictos, puesto que aceleran drásticamente el proceso de selección y ataque de objetivos, lo que aumenta el riesgo de errores de cálculo y reduce el espacio para la intervención humana y la desescalada. 
    

2. Problemas jurídicos: dificultades para garantizar el respeto del derecho internacional humanitario y del derecho de los derechos humanos. Como los sistemas autónomos seleccionan y atacan objetivos sin intervención humana, resulta difícil para los operadores humanos predecir las circunstancias de un ataque y evaluar de antemano si el ataque respetará las normas del DIH.  Esto resulta particularmente problemático a medida que las armas autónomas se vuelven más complejas (y, por lo tanto, menos predecibles) y cuando se despliegan en contextos poblados o cambiantes. 

   Esta situación aumenta el riesgo de que se produzcan ataques que violen las normas de distinción, proporcionalidad y precauciones en el ataque establecidas en el DIH. Dichas normas requieren evaluaciones que dependen del contexto, en las circunstancias imperantes en el momento; no pueden simplemente "programarse" de antemano ni reducirse a indicadores técnicos.  Para determinar si una persona es un civil que participa directamente en las hostilidades, si un combatiente se está rindiendo o goza de otra protección, o si el daño civil previsto sería excesivo, se requiere una comprensión cualitativa de factores tales como la intención, la conducta y el contexto, que un cálculo automatizado no puede ofrecer. 

   Los sistemas impredecibles u opacos agravan estos problemas: si los usuarios no pueden comprender, predecir y explicar adecuadamente cómo se comportará un arma y qué efectos puede causar, no les será posible evaluar la licitud de su uso. Esos sistemas también pueden complicar las cuestiones relativas a la responsabilidad y la rendición de cuentas cuando se producen daños ilícitos.
    

3. Dilema ético: delegar efectivamente en las máquinas decisiones que conllevan consecuencias de vida o muerte. Más allá de los riesgos humanitarios y jurídicos, hay una pregunta ética fundamental: ¿se debe alguna vez permitir que una máquina determine si un ser humano vive o muere? Solo los seres humanos pueden reconocer el valor intrínseco de la vida humana y ejercer el juicio moral y la moderación. Cuando una máquina ataca a una persona guiándose por los datos de los sensores y por un perfil de objetivo, esa persona corre el riesgo de quedar reducida a un conjunto de datos, lo que elimina el criterio humano de la decisión de aplicar la fuerza letal. Esta preocupación no desaparece simplemente porque la tecnología se vuelva más precisa. Para el CICR, conservar un control humano significativo sobre las decisiones de vida o muerte es un imperativo moral.

El derecho internacional humanitario ya se aplica a las armas autónomas. Pero el CICR considera que las normas actuales no encaran adecuadamente todos los riesgos humanitarios, jurídicos y éticos específicos que plantea el uso de esas armas. Por esta razón, exhortamos a adoptar normas internacionales nuevas y jurídicamente vinculantes que prohíban las armas autónomas inaceptables y fijen límites estrictos para todas las demás.

Las armas autónomas no son necesariamente ilegales. El DIH vigente se aplica al uso de las armas autónomas al igual que a cualquier otra arma. 

Las normas del DIH prohíben ciertos tipos de armas, como las que son intrínsecamente indiscriminadas. Esto es particularmente relevante para las armas autónomas que funcionan de manera opaca (el problema de la "caja negra"), lo que puede impedir a los seres humanos comprender, predecir o explicar los resultados del sistema. Esto impide que el usuario apunte el arma contra un objetivo militar concreto, lo cual, en la práctica, se traduce en la falta de control sobre los efectos del arma, volviéndola indiscriminada por su propia naturaleza.

Todo ataque con cualquier arma debe cumplir también con las normas del DIH sobre la conducción de hostilidades: solo pueden dirigirse contra un objetivo militar específico, no se puede esperar que causen daños civiles incidentales excesivos, y se deben tomar todas las precauciones factibles para evitar los daños civiles. Sin embargo, con las armas autónomas, puede resultar difícil evaluar y garantizar esas acciones por adelantado, dado que el usuario no elige, ni sabe siquiera, qué persona u objeto puntuales activarán el ataque del sistema de armas autónomo, ni sabe con precisión dónde ni cuándo se producirá ese ataque. Esos detalles dependerán de los procesos automatizados (sensores, software y actuadores) del sistema de armas y de los datos sensoriales recibidos del entorno operacional. 

Entonces, ¿cómo puede el usuario asegurar que un ataque del sistema de armas solo se lanzará contra un objetivo militar lícito, y no contra un civil o una persona que está herida o que se está rindiendo? ¿Cómo puede evaluar de antemano que los daños incidentales no serán excesivos, cuando la situación en el terreno puede cambiar entre la activación del arma y su impacto? ¿Y qué sucede si se hace evidente que el objetivo no es un objetivo militar? El DIH establece que se debe hacer todo lo posible para cancelar o suspender el ataque, pero con un arma autónoma esto puede resultar imposible.

Es probable que el cumplimiento de estas obligaciones jurídicas con un arma autónoma sea posible únicamente si ciertos tipos de armas autónomas se descartan por completo y si se imponen restricciones estrictas al entorno operacional de otras, a fin de limitar el número de resultados posibles.

Por estos motivos, el CICR y muchos otros instan a adoptar normas nuevas y jurídicamente vinculantes que prohíban las armas autónomas impredecibles y antipersonal e impongan restricciones claras para todas las otras.

No todos los drones armados son armas autónomas. 

Un dron armado piloteado a distancia por un operador humano, que identifica el objetivo y decide cuándo disparar, no es un arma autónoma. Pero un dron puede convertirse en un arma autónoma si, una vez activado, selecciona y aplica fuerza contra un objetivo sin que un ser humano haya elegido ese objetivo puntual. 

La prueba clave no es si el arma vuela en forma autónoma, sino si posee autonomía para ejecutar las funciones críticas: seleccionar y aplicar fuerza contra los objetivos.

No todos los sistemas de armas autónomos incorporan inteligencia artificial (IA). 

La autonomía en las armas puede abarcar desde sistemas sencillos hasta sistemas altamente complejos y puede emplear o no la IA, incluido el aprendizaje automático (cuando el sistema aprende patrones a partir de datos y utiliza esos patrones para ejecutar una tarea específica). Por ejemplo, los sistemas de defensa aérea pueden ser autónomos, pero por lo general utilizan software sencillo y basado en reglas, en lugar de IA. 

Otros sistemas de armas pueden incorporar la IA, pero no en sus funciones de selección de objetivos y ataque. Por consiguiente, un sistema de armas que usa IA solo para la navegación no es necesariamente un arma autónoma. 

Las armas autónomas ya son una realidad, y abarcan desde sistemas defensivos que atacan en forma automática los misiles entrantes, hasta algunas municiones merodeadoras y armas con sensores integrados. Al CICR le preocupan las tendencias hacia el diseño de sistemas que funcionen en zonas más extensas, por períodos más prolongados y contra una gama de objetivos más amplia, a la vez que integran formas de inteligencia artificial cada vez más complejas. 

Esos avances militares y técnicos conllevan una imprevisibilidad adicional, tanto en lo que respecta al funcionamiento de esas armas autónomas como a su interacción con el entorno operacional, lo que crea graves riesgos para las poblaciones civiles y los bienes de carácter civil en los conflictos armados. 

Aunque los promotores de las nuevas tecnologías armamentísticas suelen afirmar que esas armas tienen el potencial de mejorar el cumplimiento del derecho internacional humanitario y reducir los riesgos para las personas civiles, esto no es lo que hemos visto históricamente ni lo que vemos hoy.

En muchos de los actuales conflictos del mundo en los que se emplean los medios de guerra con la tecnología más sofisticada, no hemos visto mejores resultados para la población civil, sino más bien niveles generalizados e inaceptables de daños civiles y de devastación. Las cualidades de las nuevas tecnologías que se pregonan no han conducido a la precisión, la distinción y la precaución, sino a la aceleración, la amplificación y la escalada de la destrucción, con resultados atroces para las personas civiles.

Esto crea un entorno cada vez más impredecible, agrava los riesgos de daño para las personas civiles y destaca la necesidad de aplicar prohibiciones y restricciones claras a los sistemas de armas autónomos, a fin de prevenir prácticas que debiliten las protecciones que el derecho internacional humanitario debe garantizar.

Los sistemas de armas autónomos antipersonal son armas capaces de seleccionar y atacar a seres humanos en forma directa. 

Al CICR le preocupan en particular estos sistemas porque los indicadores de la situación de una persona en un conflicto armado –por ejemplo, si está rindiéndose, está herida o tiene participación directa en las hostilidades– dependen en gran parte del contexto, lo que hace que el reconocimiento por parte de un proceso automático sea extremadamente difícil. Asimismo, esa situación puede cambiar rápidamente, y las consecuencias de una mala interpretación serán, en general, trágicas.

Por lo tanto, es difícil imaginar situaciones de combate verosímiles en las que el uso de sistemas de armas autónomos contra personas no suponga un riesgo considerable de que se cometan violaciones del DIH.

Más allá de los riesgos operacionales y jurídicos, hay una pregunta más profunda: ¿se debe alguna vez permitir que una máquina determine si un ser humano vive o muere? Solo los seres humanos pueden reconocer y comprender el valor intrínseco de la vida humana. Si una máquina atacase a una persona guiándose por los datos de los sensores y por un perfil de objetivo, esa persona se vería reducida a un conjunto de datos. El espacio para el criterio humano y la restricción moral quedaría eliminado. Esta es una línea roja moral que no debemos cruzar, independientemente de cuán precisa llegue a ser la tecnología.

La experiencia con otras armas antipersonal (por ejemplo, las minas terrestres antipersonal) demuestra que, aunque teóricamente sea posible usarlas de conformidad con el DIH, la realidad indica que en la inmensa mayoría de los casos esto no es así. Por lo tanto, la solución más práctica y eficaz es la prohibición absoluta, ya que ofrece claridad y confiabilidad a las fuerzas armadas y brinda la protección necesaria tanto para los combatientes como para las personas civiles.

Los sistemas de armas autónomos impredecibles son aquellos que no permiten que un usuario humano entienda, prediga y explique su funcionamiento y sus efectos. Así sucede, en particular, con las armas autónomas que incorporan IA de una manera que hace que funcionen de manera opaca (el problema de la "caja negra"). 

En la práctica, esta falta de previsibilidad trae consigo la falta de control sobre los efectos del arma, convirtiéndola en un arma indiscriminada por su propia naturaleza, lo cual está prohibido por el DIH.

Por lo tanto, la solución más práctica y eficaz es la prohibición absoluta, dado que proporciona la capacidad de distinción necesaria para la protección de las personas civiles y para el cumplimiento de las leyes de la guerra.

Las tendencias hacia la mayor autonomía de las armas y la flexibilización de las restricciones operacionales ya se observan claramente. La brecha entre lo que las máquinas pueden hacer y lo que se les debería permitir hacer se está ampliando. 

El 25 de agosto, Mirjana Spoljaric, presidenta del CICR, y António Guterres, secretario general de la ONU, reiteraron su llamamiento conjunto urgente a los líderes mundiales para que se adopten nuevas normas internacionales sobre los sistemas de armas autónomos, advirtiendo que nos encontramos peligrosamente cerca de cruzar una línea roja moral: el ataque autónomo de máquinas contra seres humanos. 

Mientras los propios científicos e ingenieros que desarrollan esos sistemas también están dando la voz de alarma e instando a regularlos, el mundo no puede permitirse esperar hasta que su uso se generalice ni dejar que, debido a las demoras, la tecnología y la práctica se adelanten a la reglamentación.

Sin una acción internacional oportuna que fije límites jurídicos y éticos claros, existe el riesgo de que se desarrollen y multipliquen sistemas de armas autónomos inaceptables. Una vez que esas armas se desplieguen de manera generalizada, los peligros para las poblaciones civiles y la seguridad mundial serán mucho más difíciles de contener.

El año 2026 es decisivo. La Séptima Conferencia de Examen de la Convención sobre ciertas armas convencionales, que tendrá lugar del 16 al 20 de noviembre de 2026, ofrece a los Estados una oportunidad crucial para pasar del debate a la negociación sobre nuevas normas internacionales para reglamentar los sistemas de armas autónomos. Los principios vigentes del derecho internacional humanitario se aplican a las armas autónomas, pero las normas nuevas pueden aclarar los límites antes de que se arraiguen prácticas problemáticas.

El CICR insta a los Estados a negociar un instrumento internacional jurídicamente vinculante que incluya: 

• la prohibición de dos tipos de sistemas de armas autónomos: 
  • los que tienen efectos impredecibles, los cuales pueden ocurrir cuando los sistemas incorporan formas de IA que pueden producir resultados diferentes en las mismas circunstancias;
  • los que se diseñan para atacar directamente a seres humanos (sistemas de armas autónomos antipersonal);
     
• y restricciones para todas las otras armas autónomas, incluso limitando los tipos de objetivos a objetivos militares por su naturaleza, restringiendo el alcance geográfico, la duración, las situaciones y la escala de su uso, e incorporando medios de neutralización, desactivación o destrucción eficaces.

El CICR considera que estas normas son esenciales para encarar los riesgos humanitarios, jurídicos y éticos que plantean los sistemas de armas autónomos. No pedimos que se prohíban todos los sistemas de armas autónomos ni el uso de IA en los sistemas de armas en general, dado que reconocemos que la IA puede ser útil en algunas funciones, como la navegación de las armas, para mejorar su precisión.