Armas letales autónomas a la luz del derecho interna ... · Armas letales autónomas a la luz del...

177

Capítulo quinto

Armas letales autónomas a la luz del derecho interna-cional humanitario: legitimidad y responsabilidad

Alfonso López-Casamayor Justicia

Resumen

Los vertiginosos avances efectuados en el ámbito de la inteligencia artificial han dado lugar a encendidos debates en el ámbito internacional respecto a su posible aplicación al ámbito militar, especialmente en lo referente al desarrollo, despliegue y uso de los denominados sistemas de armas com-pletamente autónomos.

El presente documento tiene por objeto el estudio de los interrogantes que presentan estas tecnologías desde el punto de vista de su legalidad y ade-cuación a los principios y normas del derecho internacional humanitario, la suficiencia de este para responder a las particularidades de los sistemas de armas autónomos y los criterios para la imputación de responsabilidad de-rivada de su empleo, con el fin de evitar situaciones de impunidad derivadas de la falta de una regulación específica.

Con este fin, se atiende especialmente los trabajos realizados bajo el auspi-cio de Naciones Unidas a través del grupo de expertos constituido en el seno del Convenio sobre Ciertas Armas Convencionales, prestando especial aten-ción a la postura manifestada al respecto por España y la Unión Europea.


178

Palabras clave

Tecnologías emergentes, sistemas de armas letales autónomas, SAAL, in-tervención humana significativa, mecanismos de revisión de armas, derecho internacional humanitario, DIH, conflictos armados, Naciones Unidas, Conve-nio sobre Ciertas Armas Convencionales, Unión Europea.

Abstract

Vertiginous advances in Artificial Intelligence technologies have recently given rise to intensive discussions worldwide about its potential military applications, specially concerning the development, deployment and use of the so-called au-tonomous weapons systems.

The purpose of this paper is the study of the issues raised by these technologies from the point of view of its legality according to the principles and rules of In-ternational Humanitarian law, the sufficiency of the current legal framework to address the specificities of autonomous weapons systems and the criteria for the attribution of liability arising from its use to avoid impunity caused by the current lack of specific regulation.

To this end, special attention is paid to the work conducted, under the auspices of the United Nations, by the Group of Governmental Experts constituted within the framework of the Convention on Certain Conventional Weapons, as well as the position expressed by Spain and the European Union on the matter.

Keywords

Emerging technologies, lethal autonomous weapons systems, LAWS, significant human intervention, weapons review procedures, International Humanitarian Law, IHL, Armed Conflicts, United Nations, Convention on Certain Conventional Weapons, European Union.

Armas letales autónomas a la luz del derecho internacional ...

179

Introducción

La incorporación al ámbito militar de sistemas no tripulados controlados a distancia o dotados de cierto grado de autonomía constituye a la vez una rea-lidad incontestable y una revolución en la forma de conducción de los con-flictos armados, habiendo experimentado un crecimiento exponencial. Por contra, supone un auténtico desafío para el derecho internacional al carecer de una normativa específica que los regule, habiendo dado lugar desde las más altas instancias internacionales1 a reacciones frontalmente contrarias al desarrollo de sistemas de armas plenamente autónomos y generando cuestiones jurídicas que sin duda se incrementarán a medida que tales sis-temas sean objeto de desarrollo y adquieran mayor difusión y complejidad.

La aplicación militar de sistemas operados a distancia no es nueva, pero su empleo se ha intensificado de forma paralela a los avances tecnológicos, manifestándose fundamentalmente a través del empleo de drones en opera-ciones, sean de reconocimiento o armados, y más recientemente, mediante sistemas dotados progresivamente de mayor autonomía de actuación.

Estos sistemas presentan indudables ventajas, tanto reales como potencia-les, reduciendo costes, minimizando el margen de error humano en la toma de decisiones como consecuencia de su superior capacidad de recogida y análisis de datos en tiempo real y facilitando, al menos en teoría, una mayor exactitud en el cumplimiento de los principios del DIH mediante la reducción de los eventuales daños colaterales. Sin embargo, las limitaciones tecnoló-gicas, unidas a las dudas que presenta desde el punto de vista ético y filo-sófico, son variables que han supuesto un freno manifiesto a su desarrollo.

En relación con el uso de drones (también denominados UAS2 por sus siglas en inglés), es preciso destacar que estos se configuran como vehículos aé-reos no tripulados, controlados a distancia y por tanto objeto de intervención humana directa. Esta nota tiene un carácter esencial, diferenciándolos así de los sistemas de armas autónomos, que actúan de acuerdo con una progra-mación preestablecida, aunque sujetos en mayor o menor medida a super-visión, como quedará expuesto a lo largo del presente estudio. No obstante,

1 Así, el secretario general de Naciones Unidas, Antonio Guterres, en su discurso en el Web Summit, celebrado en Lisboa el 5 de noviembre de 2018, manifestó que: «La militarización de la inteligencia artificial representa un grave peligro, y la perspectiva de máquinas con capacidad para seleccionar y destruir objetivos por sí mismas está crean-do enormes dificultades, o creará enormes dificultades, y hará muy difícil evitar la escalada de conflictos y garantizar el respeto del derecho internacional humanitario en los campos de batalla. Para mí hay un mensaje muy claro: las máquinas que tienen el poder y la discreción de quitar vidas humanas son políticamente inaceptables, son moralmente repugnantes y de-ben ser prohibidas por el derecho internacional». https://www.un.org/sg/en/content/sg/speeches/2018-11-05/remarks-web-summit.2 Unmanned Aerial Systems.


180

tal distinción tiende a difuminarse en tanto que, con el fin de potenciar su eficacia, tales vehículos sean progresivamente dotados de un mayor grado de autonomía.

Su uso se ha generalizado en los últimos años3 al extender sus capacidades a misiones de vigilancia, obtención de información e identificación y neutra-lización de objetivos, habiendo sido ampliamente utilizados por los Estados Unidos en la lucha contra el terrorismo. Sin embargo, las ventajas que im-plica como elemento multiplicador de fuerzas no están exentas de contro-versia, no tanto en relación con su adecuación a los principios de distinción, proporcionalidad, necesidad y precaución propios del DIH y que se plantean esencialmente respecto de los sistemas de armas autónomos, como por su empleo en el territorio de otro Estado sin autorización de este.

Frente a la existencia ya aceptada de armas activadas y dirigidas a distancia, los sistemas de funcionamiento autónomo que se han venido desarrollando paralelamente a los avances en el campo de la inteligencia artificial, plan-tean según Liu4 dos problemáticas fundamentales: el desplazamiento del hombre a la máquina, por primera vez en la historia, de la decisión sobre el empleo de la fuerza en el campo de batalla, y a resultas de lo anterior, la eventual consideración de los sistemas de armas autónomos como una categoría intermedia entre el combatiente y el arma o medio de guerra, con las consecuencias legales que ello conlleva.

A la vista de los antecedentes anteriores, el presente documento comienza con un análisis de las principales notas características que definen los sis-temas de armas autónomos y las ventajas e inconvenientes que presentan, para continuar analizando su legalidad desde el punto de vista de su propia naturaleza, características, y su modo de empleo. Todo ello a la luz de los principios y normas del DIH y, en concreto, de las disposiciones recogidas en el Protocolo I adicional a los Convenios de Ginebra de 1977, relativo a la protec-ción de las víctimas de los conflictos armados internacionales.

Asimismo, se presta especial atención a los mecanismos de revisión de ar-mas previstos en el artículo 36 del mencionado Protocolo I adicional, como

3 MARTÍN IBÁÑEZ, Eva. «La autonomía en robótica y el uso de la fuerza». Documento de opinión 27/2017. Madrid: IEEE, 2017. http://www.ieee.es/Galerias/fichero/docs_opi-nion/2017/DIEEEO27-2017_Robotica_UsoFuerza_EvaMartinIbanez.pdf.4 LIU, Hin-Yan. «Categorization and legality of autonomous and remote weapons sys-tems». International Review of the Red Cross. Vol. 94, n.º 886, pp. 628-629.«Throughout history, from the arrow to the ballistic missile, weapons have been the passive implements and inert tools that human agents have directly manipulated in order to inflict violence, damage, and injury. With the advent of autonomous, and to a lesser extent remote, weapons systems, however, the application of force and ensuing military destructiveness may require minimal, if any, human decision making or oversight. Autonomous and remote weapons systems appear to subsist between the existing legal categories of ‘weapons’ and ‘combatants’».


181

medio para verificar que tales principios son plenamente aplicables a los sistemas de armas autónomos con carácter previo a su adquisición, desa-rrollo, despliegue y uso.

A continuación, se explorará la problemática derivada de la atribución de responsabilidad dimanante de su uso, que es objeto de consideración desde la perspectiva de la responsabilidad internacional de Estados, el derecho penal internacional y el derecho penal y disciplinario, así como la eventual exigencia de responsabilidad civil resultante del daño ocasionado.

Por último, debido a el papel protagonista que ha ostentado desde un primer momento y sigue ejerciendo en la actualidad en el debate sobre el surgi-miento y desarrollo de sistemas de armas autónomos, se lleva a cabo un examen pormenorizado de las cuestiones planteadas y los consensos alcan-zados dentro del grupo de expertos gubernamentales creado al amparo de las Naciones Unidas en el marco del Convenio sobre Ciertas Armas Conven-cionales de 10 de octubre de 1980, así como la posición manifestada sobre la materia por España y la Unión Europea en este y otros foros, con especial mención a los principales movimientos nacidos en el ámbito de la sociedad civil respecto a la existencia de tales sistemas de armas.

Delimitación del concepto de sistema de armas autónomo

Uno de los principales problemas que ofrece el objeto del presente estudio es la inexistencia de un concepto generalmente aceptado acerca de qué debe entenderse por sistema de armas autónomo letal (SAAL o LAWS/FLAWS5 por sus siglas en inglés).

Dicha dificultad obedece, por un lado, a que el establecimiento de un concep-to de SAAL en una fase temprana del debate supone una limitación al objeto de este que no resulta aconsejable a la vista de su complejidad técnica, y por otro, a la dificultad de alcanzar un acuerdo entre diferentes Estados que mantienen posturas en ocasiones muy alejadas sobre estos sistemas y el tratamiento que deben recibir en el ámbito del derecho internacional. Sin embargo, ello no significa que no se hayan planteado propuestas de trabajo en este sentido. Así, Estados Unidos, a través de la Directiva del Departa-mento de Defensa de 21 de noviembre de 20126, es el primer país que expo-ne su postura oficial acerca de los SAAL, que define como aquellos sistemas de armas que, una vez activados, pueden seleccionar y atacar objetivos sin necesidad de intervención posterior por un operador humano, incluyendo los sistemas de armas autónomos supervisados que permiten al operador anular la operación una vez iniciada.

5 Lethal Autonomous Weapon System/Fully Lethal Autonomous Weapon System.6 Department of Defense Directive Number 3000.09. 21 de noviembre de 2012.


182

Como señala Meza7, a esta le siguen otras propuestas, como las expuestas por el Reino Unido, Francia, Suiza o Canadá en el seno del grupo de expertos constituido al amparo del Convenio sobre Ciertas Armas Convencionales de Naciones Unidas.

Destaca asimismo la definición de trabajo presentada por Holanda8 para fa-cilitar el debate, que, concretando las anteriores y referida a los sistemas de armas completamente autónomos, considera como tales aquellas armas que, sin intervención humana, seleccionan y atacan objetivos que reúnan de-terminados criterios prefijados, siguiendo una decisión humana de desple-gar el arma sobre el presupuesto de que, una vez lanzado el ataque, este no puede ser detenido mediante una intervención humana.

En cualquier caso, dada la dificultad para alcanzar un acuerdo acerca de una definición de arma letal autónoma, el debate se ha dirigido desde una fase muy temprana al estudio de sus características, con el fin de centrar el ob-jeto de estudio. Sin embargo, también en relación con estas es conveniente hacer una serie de matizaciones, destacando como rasgos definitorios de los SAAL los siguientes:

A. Autonomía

El mismo término «sistema de armas letal autónomo» ofrece una aproxima-ción de lo que debe entenderse como tal. Sin embargo, la expresión «autóno-mo» puede dar lugar a cierta confusión, especialmente en lo que se atiende a la diferenciación entre los términos de automatización y autonomía.

En este sentido, se considera un sistema automático aquel que incorpora respuestas prefijadas ante determinadas situaciones, de modo que su gra-do de previsibilidad es elevado. Sin embargo, el hecho de que su forma de actuar depende siempre de su programación previa limita su empleo a con-textos de escasa complejidad.

Por su parte, la autonomía va un paso más allá, entendiendo esta como la capacidad para organizar y desarrollar sus tareas de manera autosuficiente, incluyendo la fase de planificación de estas, aunque siempre dentro de los límites previstos en su programación. A diferencia de los sistemas automá-ticos, puede desenvolverse en escenarios más complejos debido a su mayor capacidad de adaptación, pero el resultado carece de la previsibilidad propia de aquellos.

7 MEZA RIVAS, Milton. «Los sistemas de armas completamente autónomos: un desafío para la comunidad internacional en el seno de Naciones Unidas». Documento de opinión 85/2016. Madrid: IEEE, 2016.8 Documento de trabajo presentado por Holanda ante la «Conferencia de desarme en la reunión del grupo de expertos gubernamentales sobre sistemas de armas autónomos letales». Ginebra, octubre 2017.


183

En cualquier caso, la distinción entre uno y otro sistema es hasta cierto pun-to difusa, siendo imputable a ambos un cierto grado de imprevisibilidad.

B. Intervención humana

La conformidad del empleo de sistemas de armas autónomos con los prin-cipios del DIH exige ineludiblemente la concurrencia de un control humano significativo como garantía de su cumplimiento y como vínculo que permita la atribución de responsabilidad en caso de vulneración.

La forma e intensidad de dicha intervención dependerán esencialmente de la naturaleza del arma y el contexto en que vaya a ser utilizada, de modo que cuanto menor sea la participación del operador humano una vez activada, mayor habrá de ser la diligencia empleada, dado que la responsabilidad de-rivada del resultado será imputable en última instancia a este y la autoridad que hubiera ordenado su utilización.

El control humano puede tener lugar en diferentes momentos y llevarse a cabo a través de una pluralidad de vías, pero en todo caso se exige que tenga lugar con carácter previo a su despliegue, asegurándose de que el SAAL opera de conformidad con la legislación aplicable.

En particular, deberá verificarse por el mando y el operador directo, previa evaluación del riesgo, que el sistema está capacitado para la ejecución de la misión confiada y que el empleo de la fuerza autorizada es adecuado y proporcionado a la naturaleza de aquella. Estos extremos tienen especial re-levancia en cuanto a la toma de decisión sobre su empleo, la determinación de los criterios aplicables para la fijación de objetivos y la evaluación de los posibles daños colaterales, pero no requiere necesariamente la atribución de la facultad de abortar el ataque una vez iniciado9.

C. Letalidad

Finalmente, esta nota, entendida como la capacidad de un sistema de armas de emplear fuerza letal, parece inherente al mismo concepto de SAAL. Ello se debe en parte a que solo el uso letal de estos sistemas de armas plantea verdaderos conflictos desde la perspectiva del DIH.

Sin embargo, esta postura no es unánime, dado que la letalidad no se con-figura como un elemento esencial de ningún arma o sistema de armas, sea de funcionamiento autónomo o no. Un arma no pierde este carácter por el hecho de que el resultado de su empleo no tenga un resultado letal, inte-grándose también dentro de esta categoría aquellas otras cuya potencia o intensidad se encuentran en un escalón inferior, dirigiéndose solo a causar

9 Documento de trabajo presentado por Estonia y Finlandia ante la «Conferencia de desarme en la reunión del grupo de expertos gubernamentales sobre sistemas de armas autónomos letales». Ginebra, agosto 2018.


184

daños en personas o bienes sin que ello conlleve necesariamente el causar la muerte.

Es por ello, que algunos Estados defienden una definición más amplia de SAAL, estableciendo como nota definitoria el empleo de la fuerza, sea esta letal o no.

Clases de sistemas de armas autónomos

Con independencia de la inexistencia de una definición técnica consensuada acerca de qué debe entenderse por sistema de armas autónomo, es posible establecer una clasificación entre ellos, atendiendo al grado de autonomía que tienen atribuido.

Si bien pueden establecerse tantas categorías como posibles perspectivas ofrece su estudio, resulta especialmente útil la recogida en la Directiva del Departamento de Defensa de los Estados Unidos de 2012 antes citada, que distingue entre:

• Sistema de armas autónomo, definido como aquel que, una vez activado, está habilitado para seleccionar y atacar un objetivo sin ulterior inter-vención humana.

• Sistema de armas supervisado. Esta clase de sistema de armas se di-ferencia del anterior en que, si bien una vez activado identifica y ataca objetivos conforme a los criterios fijados en su programación, faculta al operador humano a intervenir, incluso abortando el ataque antes de que este se produzca dentro de un margen de tiempo desde la activación. De este modo, el elemento humano autoriza el ataque y lo monitoriza, evitando que se produzcan daños innecesarios o inaceptables por fallos imputables al sistema o su programación, facilitando a su vez la atribu-ción de la responsabilidad resultante.

• Sistema de armas semiautónomo. Finalmente, esta clase de sistemas de armas gozan de un grado de automatización limitado a, una vez activa-dos, atacar objetivos o grupos de objetivos que han sido seleccionados por un operador humano dentro de un área determinada.

Como puede apreciarse, de estos tres tipos de sistemas de armas, el que presenta mayores problemas es obviamente el primero, en tanto que la in-tervención humana queda circunscrita al momento de activación del arma, dejando a su arbitrio cualquier decisión posterior relativa al empleo de fuer-za letal. No obstante, los sistemas con mayor grado de autonomía existentes en la actualidad se limitan al ámbito puramente defensivo, con funciones y objetivos claramente delimitados. La atribución a esta clase de sistemas de un grado mayor de autonomía que permita su empleo en escenarios de ma-yor complejidad requiere el desarrollo de tecnologías todavía inexistentes, si


185

bien objeto de desarrollo por algunos países, planteándose hasta el momen-to la discusión sobre ellos en términos puramente teóricos.

Ventajas e inconvenientes

Desde que comenzó el debate acerca de la posibilidad de desarrollo de sis-temas de armas autónomos, son muchos los argumentos que se han esgri-mido a favor y en contra de su existencia.

Es cierto, en primer lugar, que atribuir a una máquina la autoridad para dis-poner sobre la vida y la muerte de un individuo, aun cuando en el proceso exista un elemento de control humano significativo, plantea serios proble-mas desde una perspectiva ética. Un sistema de armas autónomo carece, por su propia esencia, de caracteres como la humanidad o la clemencia, que a la postre resultan esenciales para llevar a cabo un juicio adecuado en el campo de batalla.

Los SAAL están igualmente sujetos a limitaciones y vulnerabilidades deriva-das del estado de la técnica, que plantean dudas acerca de su previsibilidad, su capacidad de actuación en escenarios complejos, la posibilidad de ser objeto de ciberataques o su aptitud para cumplir con las exigencias estable-cidas por los preceptos del DICA, en particular los principios de proporcio-nalidad y distinción.

Asimismo, el desarrollo de los SAAL y su aplicación al ámbito militar plantea riesgos reales, tanto de dar lugar al inicio de una carrera armamentística en-tre Estados con el fin de no quedar desprotegidos frente a un ataque de estas características, como de que esta tecnología sea objeto de un uso indebido por actores no estatales, con el consiguiente peligro para la paz y seguridad internacional.

Finalmente, se plantea el problema de la atribución de responsabilidad por las eventuales vulneraciones del DIH cometidas a través de sistemas de ar-mas autónomos, así como la posibilidad de exigirla frente a Estados o suje-tos determinados, evitando así escenarios de vacío de responsabilidad.

Sin embargo, es innegable que estos sistemas presentan indiscutibles ven-tajas, que tienen su reflejo en el nivel estratégico, operacional y táctico. So-bre todas ellas destaca la drástica reducción del número de bajas, no solo en el desarrollo de un conflicto armado, sino también en el desarrollo de actividades peligrosas u operaciones de rescate.

A lo anterior se une la reducción de costes, cuestión de máxima importancia para las fuerzas armadas, que tratan de mantener su operatividad en un escenario de presupuestos no expansivos.

No obstante, estas no son las únicas mejoras que ofrecen los SAAL. Estos sistemas, dotados de capacidades y sensores capaces de recoger y analizar


186

grandes cantidades de información en un tiempo reducido, podrían consti-tuir un elemento multiplicador de la fuerza de gran valor, incrementando la precisión de los ataques y reduciendo el riesgo de error humano y la posibi-lidad de causar daños colaterales.

A la vista de lo anterior, cabe preguntarse si las ventajas que ofrecen los SAAL superan la imprevisibilidad y riesgos potenciales que llevan apareja-dos, cuestión controvertida en la actualidad y probablemente seguirá sién-dolo en los próximos años.

Examen desde el punto de vista del DIH

Constituye una convicción firmemente asentada dentro de la comunidad in-ternacional que los SAAL se hallan plenamente sometidos a los postulados del DIH.

Una vez asumido lo anterior, es preciso analizar los requisitos exigidos por el DIH para avalar la utilización de dichos sistemas de armas. Tales requisi-tos se refieren tanto a la naturaleza del sistema individuamente considerado como a la legitimidad en su uso.

Desde este punto de vista, para que un sistema de armas sea considerado legitimo a la luz del DIH es preciso acudir en primer lugar a las disposi-ciones contenidas en el Protocolo I adicional a los Convenios de Ginebra de 1949 (PIACG)10. Sus disposiciones en esta materia vinculan plenamente a los Estados parte de dicho Protocolo adicional, así como al resto de Estados, en tanto que tales preceptos se consideran parte integrante del derecho inter-nacional consuetudinario.

En concreto, el Protocolo I adicional recoge una serie de principios aplicables en caso de conflicto armado que han de respetarse con independencia del medio o método de guerra empleado. Tales son los principios de limitación, necesidad militar, protección del medio ambiente, proporcionalidad, distin-ción, precaución y humanidad, respecto de los cuales es conveniente hacer las siguientes matizaciones en relación con los SAAL.

A. Principio de limitación

Como punto de partida, el artículo 35.1 del Protocolo I adicional recoge el principio de limitación, en virtud del cual: «En todo conflicto armado, el dere-cho de las partes en conflicto a elegir los métodos o medios de hacer la gue-rra no es ilimitado». Este principio supone una restricción general respecto de la utilización de armas o métodos de guerra que contravengan, tanto un principio general de DIH, como la prohibición expresa de un determinado tipo de arma. Dentro de estas últimas podemos incluir, entre otras, las recogidas

10 Protocolo I adicional a los Convenios de Ginebra de 1949 relativo a la protección de las víctimas de los conflictos armados internacionales, 1977.


187

en los protocolos adicionales al Convenio sobre Ciertas Armas Convenciona-les de 10 de octubre de 198011. En la actualidad, no existe una norma general prohibitiva respecto de los SAAL, aunque son varios los Estados favorables al establecimiento de una prohibición general o preventiva de su desarrollo, despliegue o uso.

B. Principio de necesidad militar

El principio de necesidad militar se encuentra recogido en el artículo 35.2 del mencionado Protocolo I adicional, incluido dentro de su título III, relativo a los métodos y medios de guerra, estatuto de combatiente y de prisionero de guerra. Este artículo incorpora la prohibición del empleo de armas, proyec-tiles, materias y métodos de hacer la guerra de tal índole que causen males superfluos o sufrimientos innecesarios.

Ello supone que un sistema de armas autónomo será legítimo, al igual que cualquier otro medio de guerra, siempre que los medios empleados por aquel sean los estrictamente necesarios para el cumplimiento de su fin, no presentando especialidad alguna derivada de su funcionamiento autónomo.

C. Principio de protección del medio ambiente

La utilización de medios o métodos de guerra está igualmente sometido a li-mitaciones de índole medioambiental. Así, el principio de protección del me-dio ambiente prohíbe el empleo de métodos o medios de hacer la guerra que hayan sido concebidos para causar, o de los que quepa prever que causen, daños extensos, duraderos y graves al medio ambiente natural (artículo 35.3 y 55 PIACG). Las obligaciones derivadas de dicho precepto se complemen-tan, para aquellos Estados parte de esta, con las recogidas en la Convención sobre la prohibición de utilizar técnicas de modificación ambiental con fines militares u otros fines hostiles de 10 de diciembre de 1976. En virtud del artículo 1 del mencionado tratado, cada Estado parte se compromete a no utilizar técnicas de modificación ambiental con fines militares u otros fines hostiles que tengan efectos vastos, duraderos o graves, como medios para producir destrucciones, daños o perjuicios a otro Estado parte, así como a no ayudar, alentar o incitar a ningún Estado o grupo de Estados u organización internacional a realizar actividades contrarias a sus disposiciones.

11 Dichos Protocolos son los siguientes:Protocolo I sobre fragmentos no localizables, de 10 de octubre de 1980.Protocolo II sobre prohibiciones o restricciones del empleo de minas, armas trampa y otros artefactos, de 10 de octubre de 1980, objeto de revisión el 3 de mayo de 1996.Protocolo III, sobre prohibiciones o restricciones del empleo de armas incendiarias, de 10 de octubre. Protocolo IV, sobre armas láser cegadoras, de 13 de octubre de 1995. Protocolo V, sobre los restos explosivos de guerra, de 28 de noviembre de 2003.


188

En este sentido, el empleo de sistemas de armas autónomos requerirá para su conformidad con los preceptos anteriores, según ha expuesto el Comité Internacional de la Cruz Roja12, el estudio previo de cuestiones tales como:

• Si el arma ha sido diseñada específicamente con el fin de alterar o des-truir el medio ambiente natural.

• La probabilidad de que estos daños se produzcan, su magnitud y la clase de consecuencias que su uso pueda ocasionar.

• Si el daño causado puede ser considerado reversible, así como el tiempo y recursos económicos necesarios para ello.

• El impacto, directo o indirecto, de sus efectos sobre la población civil.

D. Principio de distinción

En primer lugar, el principio de distinción se encuentra recogido en el artícu-lo 48 del Protocolo I adicional, que obliga a distinguir en el desarrollo de las operaciones los objetivos militares y combatientes de la población y bienes de carácter civil, que no podrán ser objeto de ataque o represalia, dirigiendo los ataques únicamente contra los primeros. Quedan asimismo prohibidos los actos o amenazas de violencia cuya finalidad principal sea aterrorizar a la población civil. En consecuencia, la complejidad del entorno operativo y el grado de sofisticación de la tecnología influirá decisivamente en la posi-bilidad de desplegar sistemas de armas autónomos, pues en determinados contextos, tales como zonas de combate urbano, la distinción entre unos y otros resulta en ocasiones difícil incluso para el ser humano.

Por su parte, los apartados a), b) y c) del artículo 51.4 prohíben los ataques indiscriminados, considerando como tales los que emplean métodos o me-dios de combate que no se dirigen o no pueden dirigirse contra un objetivo militar concreto o cuyos efectos no sea posible limitar conforme a lo exigido por el dicho Protocolo. Es decir, todo sistema de armas que permita distin-guir y atacar un objetivo militar legítimo se consideraría acorde a las dispo-siciones del Protocolo a estos efectos, ya sea controlado directamente por un ser humano, ya actúe de manera autónoma una vez activado.

E. Principio de proporcionalidad

El principio de proporcionalidad se halla plasmado en el artículo 51.5 b) del Protocolo I adicional. Este precepto considera indiscriminados aquellos ata-ques excesivos en relación con la ventaja militar obtenida, cuando se prevea que causarán incidentalmente muertos y heridos entre la población civil o daños a bienes de carácter civil. Este principio requiere por tanto la práctica de un juicio de valor, a efectos de establecer un equilibrio entre la intensidad

12 LAWLAND, Kathleen. Guía para el examen jurídico de las armas, los medios y los métodos de guerra nuevos. Medidas para aplicar el artículo 36 del Protocolo adicional I de 1977. Ginebra: Comité Internacional de la Cruz Roja, enero 2006.


189

y medios empleados en el ataque y valor del objetivo alcanzado, de modo que aquellos no se reputen desproporcionados. Ello supone un verdadero desafío para el programador de un sistema de armas de funcionamiento autónomo, en tanto que la calificación de la ventaja militar puede resultar cambiante en función de la etapa del conflicto y requiere, en consecuencia, una actuali-zación constante atendiendo a las circunstancias concurrentes y las reglas de enfrentamiento aplicables.

F. Principio de precaución

Por su parte, el principio de precaución exige que las operaciones militares se desarrollen, de acuerdo con los artículos 57 y 58 PIACG, con un cuidado constante para preservar a la población civil, a las personas civiles y a los bienes de carácter civil. Ello supone la necesidad de hacer lo posible para comprobar, con carácter previo y atendiendo a la información disponible, que el objeto del ataque es un objetivo militar legítimo. Asimismo, requiere la adopción de todas las medidas necesarias para evitar, o al menos, minimizar los daños colaterales.

En este contexto, la mayor capacidad de reconocimiento y análisis de datos puede suponer una ventaja para tener en cuenta a la hora de sopesar la con-veniencia del empleo de medios autónomos.

G. Principio de humanidad

Finalmente, el principio de humanidad constituye una cláusula de cierre, de modo que el actuar de las partes beligerantes no suponga en ningún caso la total desprotección de las víctimas de un conflicto armado, aun en ausen-cia de una norma específica, estableciendo un umbral mínimo de amparo para los mismos, sean civiles o combatientes.Tiene su antecedente en Con-vención II de La Haya de 1899 relativa a las Leyes y Usos de la Guerra Terres-tre y se encuentra recogido en la actualidad en el artículo 1.213 del Protocolo I adicional a los Convenios de Ginebra, si bien ha adquirido a su vez la consi-deración de norma de derecho internacional consuetudinario con fundamen-to en el artículo 3 común a los Convenios de Ginebra de 1949, siendo también aplicable, en consecuencia, a los conflictos armados no internacionales14.

En definitiva, la conformidad de los sistemas de armas autónomos con el DIH dependerá no solo de la naturaleza y características del sistema en sí, sino también de que su despliegue y utilización se lleven a cabo atendiendo a los principios que rigen el desarrollo de las hostilidades. De este modo,

13 «En los casos no previstos en el presente Protocolo o en otros acuerdos internaciona-les, las personas civiles y los combatientes quedan bajo la protección y el imperio de los principios del derecho de gentes derivados de los usos establecidos, de los principios de humanidad y de los dictados de la conciencia pública».14 HURTADO GRANADA, Martha Isabel. «Los límites del DIH a las armas autónomas». Re-vista Científica General José María Córdoba. Vol. 15, n.º 20, julio-diciembre, 2017, pp. 85-100.


190

solo aquel sistema en el que concurran ambos aspectos podrá emplearse legítimamente en el curso de un conflicto armado15.

Mecanismos de revisión de armas al amparo del artículo 36 del Protocolo I adicional a los Convenios de Ginebra de 1949

Con el fin de asegurar que un nuevo sistema de armas se adecúa a los prin-cipios del DIH, el artículo 36 del Protocolo I adicional a los Convenios de Ginebra16 establece la obligación de los Estados parte de verificar que el empleo de dichos sistemas resulta conforme con las normas del derecho internacional.

Como señala Giacca17, la realización de estos exámenes se sitúa en una pri-mera etapa, ubicada en el momento de desarrollo y/o adquisición del siste-ma de armas, y por lo tanto previa a la decisión de su despliegue y utilización en zona de operaciones. No obstante, puede resultar preciso ejecutar nuevas revisiones en una fase posterior, ya sea por la incorporación de modifica-ciones significativas a los sistemas examinados, la introducción de nuevas modalidades de uso para los mismos o la asunción por los Estados de obli-gaciones internacionales adicionales a las ya existentes.

La implementación de este tipo de procedimientos de revisión constituye, como se ha manifestado anteriormente, una obligación para los firmantes del PAIGC, pero su realización es igualmente conveniente para aquellos Es-tados que no son parte de dicho Protocolo, que son igualmente responsables de los actos de sus Fuerzas Armadas, y en consecuencia, de la legalidad de los medios empleados por ellas, de acuerdo con el IV Convenio de la Haya de 1907, relativo a las Leyes y Costumbres de la Guerra Terrestre (artículo 318).

A pesar de la existencia de dicha obligación, en la actualidad es reducido el número de Estados que cuentan con procedimientos reglados de revisión de armas, que difieren además en cuanto a su enfoque y alcance, toda vez

15 Declaración del embajador Michael Biontino sobre los aspectos legales de los SAAL. Reunión del grupo de expertos gubernamentales sobre armas letales autónomas en el marco del Convenio sobre Ciertas Armas Convencionales. Ginebra, mayo 2014.16 «Cuando una alta parte contratante estudie, desarrolle, adquiera o adopte una nueva arma, o nuevos medios o métodos de guerra, tendrá la obligación de determinar si su em-pleo, en ciertas condiciones o en todas las circunstancias, estaría prohibido por el presente Protocolo o por cualquier otra norma de derecho internacional aplicable a esa alta parte contratante».17 GIACCA, Gilles. «Legal Review of New Weapons, Means and Methods of Warfare». Co-municación ante la «Conferencia de desarme en la reunión informal de expertos guberna-mentales sobre sistemas de armas autónomos letales». Ginebra, abril 2016.18 «La parte beligerante que viole las disposiciones de dicho Reglamento estará obligada a indemnización, si fuere el caso, y será responsable de todos los actos cometidos por las personas que hagan parte de su fuerza armada».


191

que el Protocolo I adicional no recoge previsiones específicas en este sen-tido. Tan escaso éxito se explica en gran parte por razones industriales y de seguridad nacional, a lo que se une la confianza de los Estados en los controles realizados por fabricantes y por otros operadores de los sistemas examinados.

No obstante lo anterior, resulta conveniente su desarrollo progresivo en la medida en que, por limitada que sea la difusión de información por parte de los Estados, constituye una muestra fidedigna del compromiso de aquellos con la aplicación del DIH, fomenta la transparencia y confianza entre las par-tes y la fijación de criterios homogéneos para esta clase de procesos.

En cuanto a la aplicación de los procedimientos de revisión del artículo 36 PAICG a los SAAL, al excluir el juicio humano del proceso de toma de decisio-nes, la labor del examinador debe estar dirigida primordialmente a verificar, con un alto grado de confianza y seguridad, que dichos sistemas están ca-pacitados para actuar respetando las normas fundamentales del DIH. Este control tendrá necesariamente carácter genérico, en cuanto a la capacidad del sistema en sí mismo, sin perjuicio del examen posterior y concreto en el teatro de operaciones, verificado por el mando militar con la asistencia de su asesor jurídico.

Así, será necesario comprobar en primer lugar que, por su naturaleza o me-dio de empleo, dicho sistema no vulnera una prohibición expresa recogida en una norma de derecho internacional, ni es susceptible de causar daños su-perfluos o sufrimiento innecesario. Además, el sistema de armas examinado ha de ser capaz de evaluar la ventaja militar derivada de una acción militar y anticipar el posible daño colateral, así como de mantener el necesario equi-librio entre una y otro, suspendiendo el ataque en caso contrario.

De igual modo, su programación ha de ser adecuada para llevar a cabo la distinción entre objetivos civiles y militares, así como, en su interacción con objetivos humanos, diferenciar a combatientes, civiles y aquellos que hayan depuesto las armas o se hallen fuera de combate por detención, heridas o cualquier otra causa.

Debe, en último lugar, seleccionar el medio o método adecuado para alcan-zar el fin militar perseguido, causando el mínimo daño necesario para ello.

La respuesta a estas cuestiones determinará la legalidad en abstracto de los sistemas de armas autónomos, así como los supuestos en que el empleo de estos es legítimo a la luz del DIH. Este ámbito es actualmente limitado, pero no son pocas las voces autorizadas que admiten la posibilidad de desarrollar en el futuro robots capaces de realizar tales distinciones de modo análogo a como lo haría el soldado medio19.

19 SASSÒLI, Marco. «LAWS - advantages and problems compared with other weapon sys-tems from the point of view of IHL». Comunicación ante la «Conferencia de desarme en


192

Por lo tanto, será el desarrollo tecnológico el que determine en los próximos años la admisibilidad de esta clase de sistemas, siendo por ello fundamental el establecimiento de sistemas de revisión de armas fiables, minuciosos y transparentes que supongan una garantía suficiente de legalidad con carác-ter previo a su despliegue, atendiendo entre otros factores a la naturaleza de la función encomendada, el objetivo marcado y el contexto espacio-temporal de su empleo.

El problema de la atribución de responsabilidad

Una de las principales controversias que se plantean en relación con la exis-tencia de los SAAL es la atribución de la responsabilidad dimanante de su utilización en caso de vulneración de las normas del DIH.

En primer lugar, es preciso pronunciarse sobre la cuestión de si es posi-ble imputar dicha responsabilidad a uno o varios sujetos determinados. Los sistemas de responsabilidad se asientan tradicionalmente, como defiende Geiss20, en la existencia de un cierto grado de control o previsibilidad del resultado. A ello debe añadirse la presencia de un ente con personalidad jurídica propia que pueda ejercer dicho control y asumir, en consecuencia, dicha responsabilidad.

Ello excluye por su propia naturaleza a los SAAL, que no pueden responder de las eventuales vulneraciones del derecho internacional que los mismos puedan ocasionar en tanto que carecen de personalidad e intencionalidad, por lo que no pueden ser considerados responsables, ya sea a título de dolo o de culpa. Sobre esta premisa, se plantea una segunda problemática, con-sistente en la determinación del ente o entes concretos que han de asumir dicha responsabilidad, sea este el Estado, el mando militar que ordena el empleo del SAAL, el operador del sistema o incluso el fabricante, diseña-dor o programador. Esta responsabilidad será de mayor dificultad en su de-terminación cuanto mayor sea el grado de autonomía del sistema, pero no debe suponer en ningún caso un vacío legal que lleve a una situación de impunidad.

Responsabilidad internacional de los Estados

El despliegue y utilización de sistemas de armas autónomos no es, como se ha expuesto previamente, ilícita en sí misma, pero presenta en todo caso un

la reunión informal de expertos gubernamentales sobre sistemas de armas autónomos letales». Ginebra, mayo 2014. https://www.unog.ch/80256EDD006B8954/(httpAssets)/D610608F7A63339CC1257CD70061096D/$file/Sassoli_LAWS_IHL_2014.pdf.20 GEISS, Robin. «Autonomous Weapons Systems: Risk Management and State Responsi-bility». Comunicación ante la «Conferencia de desarme en la reunión informal de expertos gubernamentales sobre sistemas de armas autónomos letales». Ginebra, abril 2016.


193

grado de imprevisibilidad en cuanto a los resultados que se incrementa con la complejidad del contexto en que se emplea, lo que ha servido de funda-mento a las posturas favorables a su total prohibición. De modo que, incluso en el eventual caso de que un SAAL hubiera superado con éxito los proce-dimientos de revisión a los que hace mención artículo 36 PIACG, estos son susceptibles de error o fallo en su despliegue, cuyas consecuencias deben ser asumidas en última instancia por el Estado que los emplea como contra-partida a la ventaja estratégica que los mismos proporcionan, de modo que, a mayor riesgo, mayor será la responsabilidad.

La imputación de esta responsabilidad se fundamenta en primer lugar y con carácter genérico en el artículo 1 común a los Convenios de Ginebra, en vir-tud del cual las altas partes contratantes se comprometen a respetar y a hacer respetar sus disposiciones en todas las circunstancias. Esta obliga-ción plantea dudas en cuanto al alcance de la diligencia debida empleada, máxime cuando se trata de tecnologías nuevas y complejas como los SAAL, pero requiere en todo caso la adopción de medidas preventivas dirigidas a minimizar el riesgo, tales como el sometimiento previo a los citados proce-dimientos de revisión del artículo 36 PIACG o la limitación de los escenarios de aplicación de tales sistemas.

Por otro lado, constituye un principio general del derecho internacional que el Estado es responsable en caso de incumplimiento de una obligación in-ternacional. Así lo reconoció el Tribunal Internacional de Justicia en su sentencia del 13 de septiembre de 1928, (caso Chorzow) al dictaminar que «… es un principio de derecho internacional, incluso una concepción general de derecho, que toda violación de una obligación internacional trae consigo la obligación de reparar…».

De igual modo, el Proyecto de artículos sobre la responsabilidad del Estado por hechos internacionalmente ilícitos de 2010, elaborado por la Comisión de Derecho Internacional de Naciones Unidas establece en su artículo 1, que: «Todo hecho internacionalmente ilícito del Estado genera su responsabili-dad internacional».

Para que dicha responsabilidad sea exigible, es precisa la concurrencia de los siguientes presupuestos:

1.- En primer lugar, se requiere que la existencia de una conducta activa u omisiva sea atribuible al Estado según el derecho internacional21.

A tal efecto, se consideran imputables al Estado los actos procedentes de sus órganos, entidades o personas que estén facultadas para ejercer atri-buciones del poder público y actúen en el ejercicio de sus funciones, aun

21 La problemática de la imputación de responsabilidad internacional de un Estado por hechos ajenos es objeto de especial consideración en el ámbito del ciberespacio por De Salas Claver en el capítulo 4 de esta obra.


194

cuando se excedan en su competencia o contravengan sus instrucciones. De igual modo le son imputables aquellos otros actos que se lleven a cabo bajo su dirección o control, los que reconozca como propios y los realizados por otras personas o entidades en el ejercicio de atribuciones del poder público en ausencia o en defecto de las autoridades oficiales.

Fuera de estos supuestos, también puede existir responsabilidad del Estado por actos ilícitos llevados a cabo por otras personas cuando, a pesar de no serle directamente imputables, no hubiese adoptado las medidas necesa-rias para evitar un acto contrario al derecho internacional o perseguirlo y castigarlo una vez producido. En estos casos, será necesario acreditar que la vulneración de la norma internacional se ha debido precisamente a la falta de diligencia atribuida al Estado.

2.- En segundo lugar, es preciso que dicha conducta constituya una violación de una obligación internacional asumida por el Estado.

Esta obligación ha de hallarse vigente en el momento en que se produce el hecho, cualquiera que sea su origen (incluyendo tratados, costumbre o prin-cipios generales del derecho internacional).

Ante dicha situación, se plantean por la doctrina diferentes sistemas de atri-bución de responsabilidad a los Estados.

Por un lado, sería posible el establecimiento de un régimen, más garantista, de responsabilidad objetiva basado en la peligrosidad y riesgo inherente que supone emplear un sistema de estas características, caracterizado por su elevado grado de imprevisibilidad. Este sistema, sin embargo, es más propio del ámbito civil, donde la causación de un daño se contempla como una posi-bilidad para tener en cuenta y no como un fin en sí mismo.

Frente a este sistema, la alternativa podría residir en la inversión de la car-ga de la prueba hacia el Estado presuntamente responsable, que habría de acreditar la adopción de las medidas adecuadas para excluir o minimizar el riesgo, con fundamento en la obligación recogida en el artículo 1 común a los Convenios de Ginebra antecitado de asegurar el respeto a las normas del DICA, respondiendo en caso contrario de los daños causados en la medida que los mismos le sean imputables.

No obstante lo anterior, según señala acertadamente Marauhn22, los SAAL no quedan fuera del sistema de responsabilidad internacional de los Estados ni del derecho penal internacional mientras exista un vínculo con un ente con consideración de sujeto de derecho internacional o dotado de personalidad

22 MARAUHN, Thilo. «An Analysis of the Potential Impact of Lethal Autonomous Weapons Systems on Responsibility and Accountability for Violations of International Law». Comuni-cación ante la «Conferencia de desarme en la reunión informal de expertos gubernamenta-les sobre sistemas de armas autónomos letales». Ginebra, mayo 2014


195

jurídica propia al que quepa atribuir la decisión de su despliegue o las accio-nes ejecutadas por este.

La responsabilidad penal internacional de mandos y subordinados

Mientras exista un ser humano en la cadena de mando que ordene o controle la actuación de un SAAL, este puede ser considerado responsable por el uso indebido del mismo.

En el ámbito internacional, la principal vía para hacer efectiva esta respon-sabilidad es la Corte Penal Internacional, creada por el Estatuto de Roma de 17 de julio de 1998 (ECPI). La competencia de este tribunal se extiende al genocidio, crímenes de guerra, contra la humanidad y de agresión cometi-dos después de la entrada en vigor de su Estatuto, y se ejerce con carácter complementario respecto de las jurisdicciones penales nacionales, como así se pone de manifiesto en el preámbulo y artículo 1 del mencionado Estatuto.

Por último, la responsabilidad penal internacional es exigible ante la Corte únicamente respecto de personas naturales, cuando cometan estos críme-nes por sí solos, con otros o por conducto de otros, u ordenen, propongan o induzcan a su comisión (arts. 5 y 25 del ECPI). Por lo tanto, esta responsabi-lidad penal se extiende no solo al mando militar o supervisor civil que actúe como jefe militar con carácter efectivo, sino también a los subordinados de aquellos, con las solas excepciones previstas en su artículo 33.

En este sentido, el mando puede ser responsable penalmente por crímenes de guerra que sean cometidos por sus subordinados a través de sistemas de armas autónomos siempre que concurran los siguientes presupuestos:

• La existencia de una relación entre superior y subordinado, manifestada en el ejercicio del mando o autoridad y control efectivo.

• Que el mando militar o superior supiera o hubiese debido saber que las fuerzas bajo su autoridad estaban cometiendo tales crímenes o se pro-ponían cometerlos.

• Que, en tales circunstancias, no hubiese tomado todas las medidas razo-nables y necesarias a su alcance para prevenir, reprimir o perseguir su comisión.

• Que exista una relación de causalidad entre la falta de adopción de las medidas necesarias para evitar el delito y la comisión de este.

Ha de existir, por lo tanto, una conducta imputable al superior, ya sea a título de dolo o negligencia, que existirá siempre que en el empleo de un SAAL pueda identificarse un momento en que la intervención humana sea identi-ficable. Este momento coincidirá con la decisión de lanzar el ataque, o en su caso, la decisión de su empleo delegando su ejecución en dicho sistema si este tuviera carácter completamente autónomo.


196

En cualquier caso, según señala el artículo 25.4 ECPI, las disposiciones del Estatuto de Roma respecto de la responsabilidad penal de las personas na-turales no afectarán en ningún caso a la responsabilidad internacional del Estado, cuyo régimen ha quedado anteriormente expuesto.

Responsabilidad penal y disciplinaria en el derecho interno

Desde la perspectiva del derecho español, son diversas las normas que afir-man la responsabilidad del mando militar en el ejercicio de sus funciones, destacando entre ellas las Reales Ordenanzas para las Fuerzas Armadas (ROFAS) 23, cuyo artículo 55 establece que: «La responsabilidad en el ejer-cicio del mando militar no es renunciable ni puede ser compartida». Dicha responsabilidad implica a su vez el derecho a que se respete su autoridad y el deber de exigir obediencia a sus subordinados, no pudiendo ordenar la ejecución de actos que sean contrarios a las leyes o constitutivos de delito. La autoridad del mando militar tiene su necesario correlato en la obligación del subordinado de obedecer las órdenes legítimas que recibe de su supe-rior, asumiendo la responsabilidad que le sea imputable en caso de incum-plimiento (arts. 45 y 48 Rofas).

Esta concepción de la responsabilidad en el ejercicio del mando se refleja asimismo en la Doctrina para el empleo de las Fuerzas Armadas de 27 de fe-brero de 201824, que la define en su punto 654 como «la obligación de todo jefe de alcanzar los objetivos y cumplir los cometidos asignados, así como de asumir las consecuencias de sus decisiones, órdenes y acciones y las de sus subordinados en el correcto cumplimiento de la misión».

De los postulados anteriormente expuestos se deriva la existencia de res-ponsabilidad en caso de inobservancia de la legalidad vigente, que será exigible tanto al mando militar como al subordinado en la extensión que le corresponda a cada uno, y que se manifiesta tanto en el ámbito penal como en el disciplinario.

Desde el punto de vista del derecho penal, el título XXIV del Código Penal (CP)25, bajo la rúbrica «Delitos contra la Comunidad Internacional», incluye un capítulo tercero: «De los delitos contra las personas y bienes protegidos en caso de conflicto armado», que atribuye responsabilidad penal a quien «emplee u ordene emplear métodos o medios de combate prohibidos o des-tinados a causar sufrimientos innecesarios o males superfluos, así como aquellos concebidos para causar o de los que fundamentalmente quepa

23 Real Decreto 96/2009, de 6 de febrero, por el que se aprueban las Reales Ordenanzas para las Fuerzas Armadas.24 ESTADO MAYOR DE LA DEFENSA. PDC-01 (A) de 27 de febrero de 2018 «Doctrina para el empleo de las Fuerzas Armadas».25 Ley Orgánica 10/1995, de 23 de noviembre, del Código Penal.


197

prever que causen daños extensos, duraderos y graves al medio ambiente natural» (art. 610 CP) y a quien «realice u ordene realizar ataques indiscri-minados o excesivos» (art. 611.1.º CP).

A los preceptos anteriores se añade el artículo 614, que prevé la comisión de una conducta delictiva por parte de quien «con ocasión de un conflicto armado, realice u ordene realizar cualesquiera otras infracciones o actos contrarios a las prescripciones de los tratados internacionales en los que España fuere parte y relativos a la conducción de las hostilidades, regulación de los medios y métodos de combate».

Por su parte, la Ley Orgánica de Régimen Disciplinario de las Fuerzas Ar-madas (LORDFAS)26, también configura como infracción disciplinaria la inob-servancia de los deberes establecidos por el derecho internacional aplicable en los conflictos armados, sea por imprudencia (falta grave del artículo 7.23 Lordfas) o por imprudencia grave (falta muy grave tipificada artículo 8.10 Lordfas).

Responsabilidad de otros sujetos

A la luz de lo previamente desarrollado, resulta claro que la responsabilidad penal dimanante del uso indebido de un sistema de armas autónomo que tuviera como consecuencia una vulneración del DIH ha de recaer en primera instancia en quien adopta la orden de utilización y en el operador de este.

La posibilidad de articular la responsabilidad criminal de quienes intervie-nen en el proceso de diseño fabricación y desarrollo del sistema presenta en principio mayores dificultades. Ello se debe a que el ejercicio de facultades de mando y control, esenciales para la imputación directa del resultado, es ciertamente discutible. No obstante, se ha planteado por parte de la doctrina la posibilidad de exigir dicha responsabilidad sobre la base del artículo 25.3 del Estatuto de Roma, en virtud del cual «De conformidad con el presente Estatuto, será penalmente responsable y podrá ser penado por la Comisión de un crimen de la competencia de la Corte quien: […] c) Con el propósito de facilitar la comisión de ese crimen, sea cómplice o encubridor o colabore de algún modo en la comisión o la tentativa de comisión del crimen, incluso suministrado los medios para su comisión», si bien en el ámbito del derecho penal internacional no se ha admitido el dolo eventual como fundamento de responsabilidad criminal en este ámbito, por lo que la posibilidad de hacerla efectiva se antoja remota.

A diferencia del caso anterior, el operador o programador del sistema sí asume en diferente grado el mando y control del sistema, por lo que sería posible en teoría dirigir la acción penal también frente a estos al amparo del

26 Ley Orgánica 8/2014, de 4 de diciembre, de Régimen Disciplinario de las Fuerzas Armadas.


198

artículo 28 ECPI, sin perjuicio de la responsabilidad del mando de concurrir los presupuestos anteriormente expuestos. No obstante, también en este caso surge el inconveniente de acreditar que el mando y control ejercido es efectivo y suficiente.

Responsabilidad civil resultante del daño

Por último, en cuanto a la reclamación de responsabilidad por los daños oca-sionados por los SAAL, hemos de tener presente desde el principio, tanto la ya expuesta inexistencia de una regulación específica en este ámbito, como las innegables particularidades que presentaría la exigencia de responsabi-lidad civil en un contexto de conflicto armado, sometida a principios y nor-mas específicas cuyo estudio excede del objeto del presente documento.

Fuera de estos casos, con carácter orientativo y a fin de vislumbrar los cri-terios que podrían informar una futura regulación en la materia, puede re-sultar de utilidad acudir por analogía al régimen aplicable a otros sistemas autónomos de carácter civil, cuyo empleo se halla más extendido en ámbitos como el transporte o sanidad.

En relación con el uso de estos, la exigencia de responsabilidad penal exige la concurrencia de dolo o intencionalidad, o en su defecto, de negligencia por ausencia de la diligencia debida. Cuando dichos elementos no pueden atribuirse a un sujeto determinado, se produce un vacío de responsabilidad criminal que no se extiende, sin embargo, al ámbito civil.

En estos casos, dicho vacío puede cubrirse a través de diferentes vías, tales como el establecimiento de sistemas de responsabilidad objetiva por acti-vidades extremadamente peligrosas, la exigencia de un seguro obligatorio para el desarrollo de dichas actividades o una combinación de los anteriores.

Esta cuestión ha sido objeto de especial consideración en los últimos años en relación con los daños causados por los vehículos de conducción autóno-ma, supuesto que, por su semejanza con la naturaleza de los SAAL, resulta conveniente examinar.

De acuerdo con la legislación vigente en España: «El conductor de vehícu-los a motor es responsable, en virtud del riesgo creado por la conducción de estos, de los daños causados a las personas o en los bienes con motivo de la circulación», estando obligado además a la suscripción de un seguro de circulación obligatorio en virtud de lo dispuesto en los artículos 1 y 2 del Real Decreto Legislativo 8/2004, de 29 de octubre, por el que se aprueba el texto refundido de la Ley sobre responsabilidad civil y seguro en la circula-ción de vehículos a motor.

Dicha norma establece un sistema de responsabilidad objetiva respecto de los daños causados a las personas, exigiendo para hacerla efectiva que por acción u omisión se haya ocasionado un daño a aquellas, existiendo un nexo


199

causal entre ambos elementos. Por su parte, en caso de daños en los bienes, dicha responsabilidad es subjetiva, añadiéndose como requisito la omisión de la diligencia debida.

Sin embargo, este régimen resulta inaplicable en el supuesto de vehículos de conducción plenamente autónoma, en los que no existe conductor que intervenga en el control de dichos medios de transporte.

En estos casos, podría acudirse a lo dispuesto en el Real Decreto Legislativo 1/2007, de 16 de noviembre, por el que se aprueba el texto refundido de la Ley General para la Defensa de los Consumidores y Usuarios y otras leyes complementarias. Dicha norma permite exigir responsabilidad al fabricante por los daños causados como consecuencia del mal funcionamiento de pro-ductos defectuosos, al considerar a los productores responsables de los da-ños causados por los defectos de los productos que fabriquen o importen. De modo que, al igual que en el supuesto de daños causados a las personas en la circulación de vehículos a motor, no se exige tampoco en este caso la falta de la diligencia debida, respondiendo el fabricante en todo caso siempre que el daño se deba a un defecto del producto y exista un nexo causal entre el mismo y el daño causado (responsabilidad objetiva).

En esta misma línea se ha manifestado recientemente el fabricante sueco Volvo, que se ha comprometido a asumir la responsabilidad plena en caso de accidente causado por uno de sus vehículos en modo de conducción plena-mente autónoma, siendo la primera compañía en realizar una declaración de intenciones con este alcance27.

En cualquier caso, debe tenerse en cuenta que las disposiciones aplicables en el ámbito civil no son directamente trasladables al ámbito militar al exis-tir diferencias fundamentales entre ambos, tales como la aplicación del prin-cipio de proporcionalidad, que ofrece una justificación al daño ocasionado, o el carácter intrínseco de este en el caso de los SAAL. Por todo ello, requieren un enfoque específico, sin perjuicio de la toma en consideración de las re-flexiones anteriores a efectos de una eventual regulación futura.

Proceso de regulación internacional de los sistemas de armas autónomos

El punto de partida en relación con el análisis de la problemática derivada de la existencia de los sistemas de armas autónomos podemos encontrarlo en el informe provisional presentado ante la Asamblea General de las Naciones Unidas en cumplimiento de lo dispuesto en la Resolución 63/18228 por el

27 https://www.media.volvocars.com/global/en-gb/media/pressreleases/167975/us-urged-to-establish-nationwide-federal-guidelines-for-autonomous-driving.28 Resolución aprobada por la Asamblea General el 18 de diciembre de 2008 63/182. Ejecuciones extrajudiciales, sumarias o arbitrarias. https://www.un.org/en/ga/search/


200

relator especial del Consejo de Derechos Humanos sobre las ejecuciones extrajudiciales, sumarias o arbitrarias, Philip Alston, con fecha 23 de agosto de 201029.

En el citado informe, se analizaban cuestiones relacionadas con los asesina-tos selectivos y exigencia de responsabilidad por los mismos, el surgimiento de nuevas tecnologías, especialmente la robótica, y los derechos humanos.

A este respecto, el relator especial mostraba su preocupación en relación con los adelantos en la investigación y perfeccionamiento de estas tecnolo-gías sin que dichos progresos vayan acompañados de mecanismos de sal-vaguarda acordes con su potencial peligrosidad, así como la dificultad para individualizar la responsabilidad resultante de los daños causados en per-sonas y bienes por sistemas de armas autónomos, respecto de los cuales la responsabilidad internacional de los Estados y personal de los operadores y mandos resulta más difícil de determinar.

En este contexto, se marcan objetivos concretos consistentes en garantizar que todo SAAL actúe de conformidad con los principios y normas que rigen el DIH y el DIDH, contando con sistemas de seguridad equiparables, o inclu-so más exigentes, que cualquier otro sistema sometido a control humano directo. Estos mecanismos deberán dirigirse, tanto a asegurar la fiabilidad de estas tecnologías con carácter previo a su despliegue, como a la incorpo-ración de dispositivos de grabación que permitan la depuración de respon-sabilidades a posteriori por su uso ilícito.

A la vista de lo anterior, el relator especial formuló una serie de conclusio-nes, entre las que se encontraba la propuesta de creación por la Oficina del Alto Comisionado de las Naciones Unidas para los Derechos Humanos de un grupo de expertos, tanto civiles como militares, en materias relacionadas con la robótica, inteligencia artificial, derechos humanos, ética y filosofía. Dicho grupo tendría como propósito el estudio de los problemas emanados de la utilización de estas tecnologías, especialmente en el contexto de un conflicto armado, así como la adopción de medidas dinámicas dirigidas a garantizar que el uso de estas se lleve a cabo de la manera más fiable y segura posible.

Esta propuesta se reafirma en el informe presentado con fecha 9 de abril de 2013 por el nuevo relator especial sobre las ejecuciones extrajudiciales, sumarias o arbitrarias, Christof Heyns30.

view_doc.asp?symbol=A/RES/63/182&Lang=S.29 ALSTON, Philip. Informe provisional del relator especial del Consejo de Derechos Hu-manos sobre las ejecuciones extrajudiciales, sumarias o arbitrarias. Presentado en cum-plimiento de lo dispuesto en la resolución 63/182 de la Asamblea. https://undocs.org/pdf?symbol=es/A/65/321.30 HEYNS, Christof. Informe del relator especial sobre las ejecuciones extrajudiciales, suma-rias o arbitrarias, presentado el 9 de abril de 2013.


201

Trabajos en el seno del Convenio sobre Ciertas Armas Convencionales

Ante la situación de vacío legal existente en relación con la regulación in-ternacional en materia de armas letales autónomas, y apreciada la necesi-dad de cubrir dicho vacío, se consideró conveniente abordar esta cuestión en el marco del Convenio sobre prohibiciones o restricciones en el empleo de ciertas armas convencionales que pueden considerarse excesivamente nocivas o de efectos indiscriminados (conocido también como el Convenio sobre Ciertas Armas Convencionales o CCW31, por sus siglas en inglés).

Dicho Convenio, suscrito en Ginebra el 10 de octubre de 1980 en el marco de Naciones Unidas, se configura como un anejo a los Convenios de Ginebra de 12 de agosto de 1949 y tiene por objeto la prohibición o limitación de la utilización de determinados tipos de armas que puedan afectar a los civiles de manera indiscriminada o causar lesiones excesivas o sufrimientos inne-cesarios a los combatientes.

Para ello se basa, según expresa el preámbulo de la Convención, en los prin-cipios fundamentales del derecho internacional en virtud de los cuales, el derecho de las partes en situación de conflicto armado a elegir los medios o métodos de guerra a emplear no es ilimitado, así como la prohibición del em-pleo de armas, proyectiles o materiales que por su naturaleza o característi-cas pudieran causar lesiones o sufrimientos superfluos o innecesarios, y las que produzcan o puedan producir daños generalizados, extensos y durade-ros al medio ambiente32. Asimismo, se apoya en la salvaguarda de los usos establecidos, los principios de humanidad y las exigencias de la conciencia

Punto V. A. 114, Recomendaciones a las Naciones Unidas:«Se invita a la alta comisionada para los Derechos Humanos a que, con carácter prioritario, convoque un grupo de alto nivel sobre robots autónomos letales, integrado por expertos en distintos campos, como derecho, robótica, informática, operaciones militares, diplomacia, gestión de conflictos, ética y filosofía. El grupo deberá publicar su informe en el plazo de un año, y su mandato deberá incluir lo siguiente: a) Hacer un balance de los adelantos técnicos relacionados con los robots autónomos letales. b) Evaluar las cuestiones jurídicas, éticas y en materia de política relacionadas con los robots autónomos letales. c) Proponer un marco que permita a la comunidad internacional abordar de manera efec-tiva las cuestiones jurídicas y de política relacionadas con los robots autónomos letales, y formular recomendaciones sustantivas y de procedimiento concretas a ese respecto; en su labor, el grupo deberá tratar de facilitar un diálogo internacional de base amplia; d) Evaluar la idoneidad o las deficiencias de los marcos jurídicos internacionales y naciona-les por que se rigen actualmente los robots autónomos letales. e) Proponer medios adecuados para dar seguimiento a su labor».31 United Nations Convention on Certain Conventional Weapons.32 Protocolo I adicional a los Convenios de Ginebra de 1949 relativo a la protección de las víctimas de los conflictos armados internacionales, 1977, título III (Métodos y medios de guerra), sección I, artículo 35.


202

pública (clausula Martens) y el deseo de contribuir al cese de la carrera ar-mamentística y el fomento de la confianza entre los distintos Estados.

La CCW está integrada por la Convención propiamente dicha y cinco pro-tocolos anexos. La primera no establece prohibición alguna, limitándose a recoger principios y disposiciones de común aplicación a los protocolos, que recogen prohibiciones o restricciones de determinados tipos de armas.

En el contexto del Convenio sobre ciertas Armas Convencionales, todos los Estados parte se reúnen con carácter anual y quinquenal para inspeccionar el grado de cumplimiento de sus disposiciones y examinar los trabajos rea-lizados por el grupo de expertos nacionales, pudiendo encomendar a este último, integrado por técnicos y representantes militares, la negociación de nuevos protocolos al Convenio o el estudio de cuestiones específicas o de nuevos sistemas de armas. Dichas reuniones anuales estarán también abiertas como observadores a otros Estados firmantes de la CCW, así como a otras organizaciones internacionales y organizaciones no gubernamentales relevantes.

Es en este ámbito donde, en el año 2013, la reunión de las altas partes con-tratantes de la CCW acordó la convocatoria de un grupo informal de expertos para el estudio de las cuestiones relativas a las armas letales autónomas33.

Primera reunión informal de expertos gubernamentales de 2014

La primera reunión de expertos tuvo lugar en Ginebra los días 13 a 16 de mayo de 2014, siendo presidida por el embajador de Francia Jean-Hugues Simon-Michel, con asistencia de delegaciones de 87 Estados, así como una amplia representación de organizaciones no gubernamentales. En ella se abordaron asuntos de carácter técnico, ético y sociológico, aspectos jurídi-cos desde la perspectiva del DIH y otras ramas del derecho internacional, así como cuestiones militares y operacionales.

Desde un primer momento existió un acuerdo mayoritario acerca de que, pese a la importancia de delimitar el objeto de estudio mediante la fijación de una definición de arma letal autónoma, tratándose de la primera reunión de expertos convocada con este objeto, alcanzar un acuerdo en este sen-tido habría de considerarse necesariamente prematuro. No obstante, sí se trataron cuestiones relacionadas con aquella, tales como la capacidad de identificar, elegir y atacar un blanco sin necesidad de intervención humana

33 Informe final de la reunión de las altas partes contratantes en la CCW, celebrada en Ginebra los días 14 y 15 de noviembre de 2013, párrafo 32: «… el presidente convocará en 2014 una reunión informal de expertos de cuatro días de duración, del 13 al 16 de mayo de 2014, para examinar las cuestiones relativas a las nuevas tecnologías en el ámbito de los sistemas de armas autónomas, en el contexto de los objetivos y los propósitos de la Convención».


203

directa como nota definitoria de los SAAL, la noción de «intervención huma-na significativa» o la posibilidad de proceder a su clasificación atendiendo a su nivel de autonomía en función del nivel de control ejercido por el operador humano sobre el sistema.

Desde el punto de vista jurídico, se analizó la compatibilidad del uso de los SAAL con los principios del DIH, particularmente el principio de proporcio-nalidad y distinción, subrayando la necesidad de que, en cualquier caso, el desarrollo de este tipo de armas ha de ser conforme con los preceptos de los Convenios de Ginebra y la costumbre internacional, expresándose dudas por algunas delegaciones acerca de la compatibilidad entre el uso de dichos sistemas y los citados principios. También se trató la cuestión de la exigencia de responsabilidad derivada de la utilización de estos sistemas de armas a los Estados y a las personas, incluyendo a los subordinados, fabricantes y programadores. Finalmente, y desde el punto de vista operativo, se destacó la potencial influencia de este tipo de armas en la conducción de las opera-ciones militares, subrayando su utilidad en labores concretas concernien-tes a la protección de la fuerza, vigilancia, obtención de información, o de carácter logístico. En cambio, algunos expertos pusieron de manifiesto la dificultad de adaptación de los SAAL a funciones complejas y los riesgos que entraña su utilización, particularmente su imprevisibilidad o la posibilidad de ser objeto de ciberataques.

Segunda reunión informal de expertos gubernamentales de 2015

La segunda reunión de expertos, presidida por el embajador de Alemania, Michael Biontino, se desarrolló entre los días 13 y 17 de abril de 2015, mer-ced al mandato otorgado en la reunión anual de las altas partes contratantes de 14 de noviembre de 2014. En esta ocasión, el número de naciones asis-tentes se elevó a 90, participando, al igual que en la primera reunión, el CICR, la ONG «Campaña para detener a los robots asesinos», así como agencias especializadas de Naciones Unidas.

Los debates se organizaron en cuatro grandes grupos temáticos, que inclu-yeron aspectos técnicos y humanitarios, características de los sistemas de armas autónomos, cuestiones generales y de futuro.

Dentro del primer bloque se expusieron presentaciones relativas a las im-plicaciones de la inteligencia artificial y armas autónomas, consideraciones estratégicas, operacionales y tácticas de los SAAL, fiabilidad y vulnerabilida-des de estas o su situación actual y expectativas de futuro.

Desde la perspectiva del DIH, se planteó la necesidad de elaborar normas es-pecíficas en el ámbito internacional con relación a los SAAL y los sistemas de revisión de armas derivados del artículo 36 del Protocolo I adicional a los Convenios de Ginebra.

En el bloque dedicado a las características de los sistemas de armas autó-nomos, se ahondó en el concepto de «control humano significativo» y el pro-


204

ceso de normativización para los fines de control, evaluación y verificación. Del mismo modo, con relación el problema del doble uso de la inteligencia artificial, civil y militar, se analizó el régimen aplicable a las armas químicas y biológicas34.

Por último, fueron objeto de debate otras cuestiones tales como el derecho a la vida y la cláusula Martens35, el antropomorfismo en relación con los SAAL36 o el impacto de estos en el mantenimiento de la seguridad internacional.

Se alcanzó, en conclusión, un acuerdo general en cuanto a la necesidad de continuar las discusiones y profundizar en el debate, expresando algunas delegaciones la conveniencia de elaborar un mandato más definido, especi-ficando las materias a tratar.

Tercera reunión informal del grupo de expertos gubernamentales 2016

La tercera reunión informal del grupo de expertos gubernamentales sobre armas letales autónomas tiene lugar en Ginebra entre los días 11 y 15 de abril de 2016, siendo presidida de nuevo por el embajador alemán Michael Biontino.

En esta ocasión, los temas a tratar, siguiendo el esquema previo de expo-sición de paneles por expertos e intervención y debate sobre la materia, se clasificaron en «mapeo del concepto de autonomía», «hacia una definición de trabajo de sistema de armas autónomo», «desafíos al derecho interna-cional humanitario», «derechos humanos y cuestiones éticas» y «cuestiones de seguridad».

Con carácter general, se recoge el parecer general acerca de la inexistencia actual de sistemas de armas completamente autónomos, así como la duda de que estos puedan llegar a existir en el futuro, manifestando las delega-ciones de diferentes Estados su postura contraria a adquirir o desarrollar tales sistemas. De igual modo, se aprecia un amplio consenso respecto a la atribución de responsabilidad derivada del desarrollo, fabricación y desplie-gue de SAAL, que correspondería al Estado que los emplea, sin perjuicio de

34 MCLEISH, Caitríona. «Experiences from the CBW regime in dealing with the pro-blem of dual use». Presentación ante la «Conferencia de desarme en la reunión informal de expertos gubernamentales sobre sistemas de armas autónomos letales». Ginebra, abril 2015. https://www.unog.ch/80256EDD006B8954/(httpAssets)/E8DC11BD2774A-610C1257E28004253E4/$file/McLeish_Presentation_CCW+experts+meetingv2.pdf.35 LIN, Patrick. «The right to life and the Martens Clause». Presentación ante la «Conferencia de desarme en la reunión informal de expertos gubernamentales sobre sistemas de armas autónomos letales». Ginebra, abril 2015. https://www.unog.ch/80256EDD006B8954/(httpAs-sets)/2B52D16262272AE2C1257E2900419C50/$file/24+Patrick+Lin_Patrick+SS.pdf.36 ZAWIESKA, Karolina. «Do robots equal humans? Anthropomorphic terminology in LAWS». Presentación ante la «Conferencia de desarme en la reunión informal de exper-tos gubernamentales sobre sistemas de armas autónomos letales». Ginebra, abril 2015. https://www.unog.ch/80256EDD006B8954/(httpAssets)/BA93E017841619C2C1257E-290041C0B9/$file/K+Zawieska_CCW2015.pdf.


205

que individuos concretos puedan ser considerados asimismo responsables de conformidad con el derecho internacional.

Finalmente, algunos Estados proponen la adopción de un enfoque preventi-vo, mediante el establecimiento de una prohibición al desarrollo, fabricación, venta, despliegue y utilización de SAAL, mientras que otros abogan por el establecimiento de una moratoria hasta el establecimiento de un marco le-gal adecuado.

En la primera sesión, relativa al mapeo del concepto de autonomía, se puso de manifestó la naturaleza y uso dual, civil y militar, de estas tecnologías. De este modo, las presentaciones de expertos se basaron en tecnologías ya existentes usadas en diferentes contextos, tales como vehículos terrestres o aéreos no tripulados o detectores de minas, afirmando que muchos de estos sistemas cuentan con cierto grado de automatismo, pero ello no los convier-te en autónomos. En esta línea, se distinguen tres categorías, atendiendo al grado de autonomía del sistema: teledirigidos, automáticos y autónomos. En la actualidad, la tecnología existente continúa dependiendo de la supervisión humana debido a las limitaciones técnicas existentes.

El segundo bloque, relativo al establecimiento de una definición de trabajo de los SAAL, pone de manifiesto la imposibilidad de alcanzar este objetivo sin una comprensión más integral de las características de estos sistemas, des-tacando dentro de estas la autonomía y la previsibilidad. En cualquier caso, la definición a acordar habría de ser necesariamente amplia, de modo que permita abarcar los previsibles y vertiginosos avances de esta tecnología.

La tercera cuestión a tratar concerniente a los desafíos planteados frente al DIH, se centró en los problemas de la atribución de responsabilidad y la relevancia de las revisiones legales de armas.

Respecto a la primera de ellas, una vez aceptado unánimemente el someti-miento de los SAAL al DIH, algunas representaciones expresaron sus dudas sobre la aptitud de una máquina para asegurar el cumplimiento de los prin-cipios de precaución, proporcionalidad y distinción, considerando esencial el elemento de juicio humano. No obstante, en caso de transgresión del DIH, mientras que algunos Estados cuestionan la posibilidad de exigir responsa-bilidad al operador, programador o mando militar, otros consideran que si los SAAL pueden emplearse de conformidad con la legalidad internacional, la responsabilidad resultante podría hacerse efectiva a través de las vías previstas en el derecho penal internacional y la responsabilidad internacio-nal de Estados. En cualquier caso, se considera conveniente conservar regis-tros de las operaciones en que se utilice este tipo de tecnología para facilitar la práctica de prueba, si la misma fuera necesaria.

En cuanto a las revisiones legales de armas, se puso de manifiesto por al-gunas delegaciones la insuficiencia de estos procesos en lo relativo a los SAAL, en tanto que tales revisiones se llevan a cabo por un número reducido


206

de Estados a pesar de constituir una obligación a la luz del derecho interna-cional consuetudinario. Como solución frente a la ausencia de un acuerdo internacional en la materia, se plantea la posibilidad de elaborar una guía para estos procesos o una lista de buenas prácticas.

Desde la perspectiva ética, no obstante los potenciales beneficios que po-drían derivarse de la utilización de sistemas autónomos, se considera de todo punto inaceptable la atribución a una máquina de la facultad de adoptar decisiones determinantes de la vida o muerte de una persona, en tanto que, en la medida que una máquina no puede morir, no debería poder tomar esta decisión respecto a un ser humano.

Según señalan algunas delegaciones, las cuestiones legales y éticas son in-separables, toda vez que estas últimas se consideran ineludibles en aquellos supuestos en que, como el que nos ocupa, la legislación no ofrece una res-puesta clara, llenando a esta de contenido y coadyuvando a su interpretación.

Finalmente, en el aspecto de seguridad se analizan problemáticas concre-tas tales como los efectos del despliegue de SAAL en el ámbito marítimo o el riesgo que estos pueden suponer como estímulo para iniciar una nueva carrera armamentística.

Es relevante destacar que, al término de las reuniones mantenidas en el año 2016, y dentro de las recomendaciones formuladas por el grupo infor-mal de expertos gubernamentales, se añade la propuesta de que, durante el trascurso de la quinta «Conferencia de Revisión del Convenio sobre Ciertas Armas Convencionales» se acuerde la creación de un grupo de expertos de duración indefinida que se constituya y reúna a partir del año 2017. A la vista de ello, las altas partes contratantes del Convenio acuerdan en diciembre de 2016 la constitución de un grupo de expertos gubernamentales (GGE37, por sus siglas en inglés) sobre armas letales autónomas38.

Primera reunión del grupo de expertos gubernamentales 2017

37 Group of Governmental Experts.38 «Quinta Conferencia de examen de las altas partes contratantes en el convenio sobre prohibiciones o restricciones en el empleo de ciertas armas convencionales que pueden considerarse excesivamente nocivas o de efectos indiscriminados», 23 de diciembre 2016. Documento final, p. 9:«The Conference takes the following decisions:Decision 1To establish an open-ended Group of Governmental Experts (GGE) related to emerging te-chnologies in the area of lethal autonomous weapons systems (LAWS) in the context of the objectives and purposes of the Convention, which shall meet for a period of ten days in 2017, adhering to the agreed recommendations contained in document CCW/CONF.V/2, and to submit a report to the 2017 Meetingof the High Contracting Parties to the Convention consistent with those recommendations».https://www.unog.ch/80256EDD006B8954/(httpAssets)/B80134C5E97FB90AC-125814F0047CCB1/$file/FinalDocument_FifthCCWRevCon.pdf.


207

La primera reunión del grupo de expertos gubernamentales sobre nuevas tecnologías en el campo de las armas letales autónomas tuvo lugar final-mente entre los días 13 a 17 de noviembre de 2017, tras la cancelación de las sesiones previstas los días 21 a 25 de agosto debido a la falta de fondos.

Esta primera reunión tuvo lugar bajo la presidencia de Amandeep Singh Gill, embajador de la India, y en ella se debatió sobre la problemática concer-niente a los SAAL e torno a su dimensión tecnológica, militar, ética y jurídica.

En relación con la primera de ellas, se expresaron las reservas respecto de la llamada inteligencia artificial «fuerte», entendiendo como tal aquella que iguala o supera a la inteligencia humana, cuya existencia es considerada aún un objetivo lejano a alcanzar. No obstante, se reconoce el potencial de esta tecnología, cuyas posibles aplicaciones son múltiples y sin que sea posible efectuar un juicio de valor en cuanto a su bondad o maldad.

En su dimensión militar, la inteligencia artificial «débil» o centrada en una tarea concreta, sí se considera apta para ser aplicada en el ámbito militar en tareas de carácter específico y en un entorno no cambiante, señalando el en-torno aéreo o marítimo como más propicios para su empleo que el contexto urbano. En cualquier caso, la confianza y disponibilidad en estas tecnologías, así como su encaje con la cultura y sociedad existente, se considerarán va-riables relevantes a tomar en consideración a la hora de adoptar la disposi-ción de su despliegue.

Finalmente, en cuanto a la dimensión legal y ética, se considera en definitiva que el destinatario de la norma es el ser humano y no la máquina, por lo que la responsabilidad no puede ser transferida a estas últimas. No obstan-te, algunas delegaciones establecieron paralelismos entre los SAAL y otros avances tecnológicos análogos como los vehículos de conducción autónoma, no descartando la posibilidad de atribuir personalidad jurídica a los robots en el futuro.

Segunda reunión del grupo de expertos gubernamentales 2018

En la reunión anual de las altas partes contratantes del Convenio sobre Cier-tas Armas Convencionales se acordó continuar las deliberaciones en el seno del GGE, bajo la presidencia igualmente del embajador Singh Gill de la India. Estas reuniones se mantuvieron entre los días 9 y 13 de abril y 27 y 31 de agosto de 2018.

En esta ocasión, los debates se estructuraron en las siguientes sesiones:

1.- Caracterización de los SAAL para promover un entendimiento general del concepto y características estos sistemas.

2.- Consideraciones adicionales al elemento humano en el uso de fuerza le-tal e interacción entre ser humano y máquina en el desarrollo, despliegue y utilización de los SAAL.


208

3.- Examen de las potenciales aplicaciones militares de estas tecnologías.

4.- Opciones para abordar los desafíos que plantean en el ámbito humanita-rio y de seguridad.

Dentro de este último bloque, una de las cuestiones más debatidas en el seno de esta reunión fue la suficiencia del marco legal existente para hacer frente a las específicas características de los SAAL, planteándose distintas posturas al respecto39.

La postura mayoritaria, defendida entre otras por las delegaciones de Austria, Brasil y Chile40 consideró conveniente iniciar negociaciones para la adopción de un texto legalmente vinculante que regule los sistemas de armas autónomos, proponiéndose por algunos Estados establecer directa-mente la prohibición, bien de su despliegue y uso, bien solo de su desarro-llo41. Otros Estados, como Australia, Estados Unidos, Israel, Rusia o Corea del Sur, se mostraron contrarios a iniciar conversaciones en este sentido.

Por su parte, Francia y Alemania propusieron la adopción de una declaración de carácter político y sin valor vinculante que recogiera los puntos comunes sobre control humano y responsabilidad, postura acogida también por España.

Un tercer grupo abogó por continuar los relativos a la interacción hombre-má-quina, la aplicación de las obligaciones internacionales preexistentes, la necesi-dad de identificar buenas prácticas y establecer mecanismos de intercambio de información. Finalmente, se planteó una última opción consistente en formular una declaración en virtud de la cual los SAAL están integramente sometidos al DIH, considerando a tal efecto suficiente el marco legal preexistente. En cual-quier caso, apreciada la falta de acuerdo en esta materia, el grupo de expertos gubernamentales optó por no pronunciarse definitivamente por ninguna de es-tas opciones, dejando el debate abierto para futuras reuniones.

Tercera reunión del grupo de expertos gubernamentales 2019

La reunión anual de las altas partes contratantes del CCW fijó como fechas para la siguiente reunión del grupo de expertos en 2019 los días 25-29 de

39 Informe de la sesión de 2018 del grupo de expertos gubernamentales sobre tecnologías emergentes en el área de sistemas de armas letales autónomas, 23 octubre 2018, p. 7. ht-tps://undocs.org/en/CCW/GGE.1/2018/3.40 Propuesta de mandato de negociación de un instrumento internacional vinculante que trataría los aspectos legales, humanitarios y éticos planteados por las tecnologías emergen-tes en el área de sistemas de armas letales autónomas, remitido por Austria, Brasil y Chile en el marco de la reunión de expertos gubernamentales sobre sistemas de armas autóno-mos letales. https://www.unog.ch/80256EDD006B8954/(httpAssets)/3BDD5F681113EECEC-12582FE0038B22F/$file/2018_GGE+LAWS_August_Working+paper_Austria_Brazil_Chile.pdf41 Austria, China, Colombia, Marruecos y El Salvador son los últimos países que se han incorporado al grupo de naciones que piden la prohibición de los SAAL, de modo que, hasta la fecha, son 28 los Estados miembros de Naciones Unidas que oficialmente apoyan el es-tablecimiento de una prohibición respecto a su desarrollo.


209

marzo y 20-21 de agosto, estableciendo una duración total de siete días dis-tribuida en dos sesiones.

La primera de ellas ha tenido lugar recientemente bajo la presidencia de Ljupco Jivan Gjorgjinski, ministro consejero cncargado de Negocios interino de la Re-pública de Macedonia del Norte, y en ella se han tratado los siguientes temas:

1) Estudio de los potenciales desafíos planteados frente al DIH por las tecnologías emergentes en materia de SAAL y posibles opciones para hacer frente a dichos desafíos desde la perspectiva humanitaria y de seguridad.

2) Caracterización de estos sistemas con el fin de alcanzar una mayor comprensión acerca de su naturaleza y características.

3) Estudio del elemento humano en relación con el uso de fuerza letal, así como de la interacción entre hombre y máquina en el desarrollo des-pliegue y uso de los SAAL.

4) Análisis de las potenciales aplicaciones militares de los sistemas de armas autónomos.

Posición de la Unión Europea

La Unión Europea también ha expuesto su postura en relación con los sis-temas de armas autónomos en diferentes foros, incluido el anteriormente citado Convenio sobre ciertas Armas Convencionales.

La posición de la Unión toma como punto de partida la Comunicación de la Comisión Europea al Parlamento Europeo sobre inteligencia artificial para Europa de 25 de abril de 201842. En dicha comunicación no se analizan de manera específica las cuestiones relativas a los SAAL, pero se requiere el establecimiento de una base ética y jurídica adecuada para el desarrollo de estas tecnologías que sea acorde con los valores de la UE y el articulado de la Carta de Derechos Fundamentales de la Unión. Asimismo, la Unión Eu-ropea ha participado en las conversaciones habidas en el marco de la Con-venio sobre Ciertas Armas Convencionales, destacando a estos efectos sus intervenciones en las reuniones llevadas a cabo en abril43 y agosto44 de 2018.

42 Comunicación de la Comisión al Parlamento Europeo, al Consejo Europeo, al Comité Económico y Social Europeo y al Comité de las Regiones sobre Inteligen-cia Artificial para Europa. https://ec.europa.eu/digital-single-market/en/news/communication-artificial-intelligence-europe. 43 Declaración de la Unión Europea ante la reunión del grupo de expertos gubernamenta-les sobre sistemas de armas autónomos letales. Ginebra, abril 2018. https://eeas.europa.eu/headquarters/headquarters-homepage/43045/group-governmental-experts-conven-tion-certain-conventional-weapons-eu-statement-lethal_en44 Declaración de la Unión Europea ante la reunión del grupo de expertos gubernamenta-les sobre sistemas de armas autónomos letales. Ginebra, agosto 2018. https://www.unog.


210

En dichas declaraciones manifiesta su reconocimiento a los trabajos rea-lizados por el CGE y su decidido apoyo a la continuidad de estos, reafir-mando la convicción de que los principios y normas del DIDH y el DIH son plenamente aplicables a estos nuevos sistemas de armas. Asimismo, con-sidera esencial avanzar en el establecimiento de una definición de trabajo de las armas letales autónomas, excluyendo de las cuales los sistemas que gozan de cierta automatización o son controlados a distancia, pero que no gozan de plena autonomía. De igual modo defiende que la decisión sobre el uso de fuerza letal ha de tomarse siempre por un ser humano, que debe ejercer un grado de control significativo sobre este tipo de armas. Este control se configura como una garantía de cumplimiento del DIH y los principios de distinción, proporcionalidad y precaución, siendo los Esta-dos responsables últimos del desarrollo y uso de este tipo de armas.

No obstante, teniendo en cuenta el doble uso de estas tecnologías, los pos-tulados anteriores no deben suponer un obstáculo a su investigación y de-sarrollo en el ámbito civil, combinando los principios de responsabilidad y libertad en el ámbito científico. Esta misma línea fue la expuesta por la alta representante de la Unión para Asuntos Exteriores y Política de Seguridad, Federica Mogherini, en la «Conferencia Anual de la Agencia Europea de De-fensa», subrayando la necesidad de potenciar la investigación en el área de la inteligencia artificial para evitar que Europa quede atrás en el desarrollo de esta tecnología45.

Estos postulados han cristalizado más recientemente en la elaboración de un Plan coordinado sobre inteligencia artificial46 y la aprobación de la Resolución

ch/unog/website/assets.nsf/7a4a66408b19932180256ee8003f6114/832392b4e19c9ffec-12582f8005948a8/$FILE/2018_GGE%20LAWS%202_6a_European%20Union%201.pdf.45 Discurso de la alta representante / vicepresidenta Federica Mogherini en la «Conferen-cia Anual de la Agencia Europea de Defensa», 29 de noviembre 2018: «Hoy, tenemos nuevas tecnologías civiles que tienen fuertes implicaciones militares y un impacto directo en nuestro entorno de seguridad. Este es tam-bién el caso de la inteligencia artificial. Apoyar la innovación no solo es impor-tante para nuestras economías, también es esencial hoy en día para nuestra seguridad. Esto también es cierto con la inteligencia artificial; hoy en día, casi el 50 % de las inversiones privadas mundiales en empresas de inteligencia artificial están ocurriendo en China. Nosotros, los europeos, simplemente no podemos permitirnos perder tiem-po, y no podemos permitirnos ser menos innovadores que otras potencias mundiales. Es una cuestión de crecimiento económico y esto es evidente. Pero permítanme subrayar esto: también es una cuestión de seguridad». https://eeas.europa.eu/headquarters/headquarters-homepage/54646/speech-high-representativevice-president-federica-mogherini-annual-con-ference-european-defence_en.46 Comunicación de la Comisión al Parlamento Europeo, al Consejo Europeo, al Comi-té Económico y Social Europeo y al Comité de las Regiones. Plan coordinado sobre inte-


211

del Parlamento Europeo sobre los sistemas armamentísticos autónomos47, en los que se reafirman los mismos principios anteriormente expuestos.

Posición de España

España ha participado de manera activa en el grupo de expertos guberna-mentales sobre armas letales autónomas desde la apertura de sus trabajos en el año 2014.

Las intervenciones de la delegación española han manifestado de manera reiterada que la Convención sobre Ciertas Armas Convencionales es el foro más adecuado para alcanzar acuerdos y conclusiones útiles en esta materia, debido a su composición, naturaleza y su método de toma de decisiones.

Partiendo de la base de que, en la actualidad, ningún Estado dispone de sis-temas de armas autónomos operativos, ni España tiene intención de implan-tarlos en el futuro, la delegación española expresó desde el primer momento sus dudas respecto a la posibilidad de asegurar con certeza que la actua-ción de los sistemas de armas autónomos pueda llegar a adecuarse a los principios del DIH y el DIDH. Sin embargo, y dado que esta tecnología tiene también aplicaciones fuera del ámbito estrictamente militar, se subraya en sus intervenciones la necesidad de que su futura regulación sea lo suficien-temente precisa para excluir conductas contrarias al DIH sin interferir en su desarrollo civil. Ello precisa de una labor previa de delimitación del concep-to, sin la cual resulta contraproducente el establecimiento de cualquier tipo de moratoria en su desarrollo48.

En este sentido, España propuso a través de su delegado ante la «Confe-rencia de Desarme»49, una serie de criterios para delimitar el concepto de sistema de armas autónomo, atendiendo al carácter defensivo u ofensivo de los mismos, las normas de procedimiento previas a su activación, su en-torno operativo y su letalidad inherente.

ligencia artificial, 7 diciembre 2018. https://ec.europa.eu/digital-single-market/en/news/coordinated-plan-artificial-intelligence. 47 Resolución del Parlamento Europeo, de 12 de septiembre de 2018, sobre siste-mas armamentísticos autónomos. http://www.europarl.europa.eu/sides/getDoc.do?type=TA&reference=P8-TA-2018-0341&language=ES&ring=B8-2018-0362.48 Reunión del grupo informal de expertos sobre sistemas de armas autónomos letales, intervención de la delegación española, Ginebra, 13 de mayo de 2014: «Creemos por ello que toda regulación futura debe pasar, de manera ineludible, por una fase de reflexión y definición, lo que, en el caso de las tecnologías emergentes, entraña una especial dificultad. Por la misma razón, veríamos como algo prematuro cualquier propues-ta de moratoria sin antes definir, en un ejercicio colectivo, cuál sería su alcance y ámbito de aplicación».49 Intervención del embajador de España D. Julio Herraiz, delegado ante la «Conferencia de Desarme en la Reunión informal sobre Sistemas de Armas Autónomos Letales». Gine-bra, 13 de abril de 2015.


212

De esta manera, quedarían excluidos aquellos sistemas de armas que, incor-porando diferentes grados de automatización, tengan una finalidad esencial-mente defensiva, considerándose aceptables con fundamento en el legítimo derecho a la autodefensa. Dentro de esta categoría se incluirían, entre otros, los sistemas defensivos automáticos incorporados a buques y aeronaves o los vehículos equipados con sistemas activos de protección frente a misi-les contracarro. También quedarían descartados, según esta interpretación, los drones dirigidos mediante control remoto, que no se consideran autó-nomos en sentido estricto pese a la posibilidad de gozar de cierto grado de autonomía para tareas concretas, y aquellos sistemas de armas que no utili-cen fuerza letal, tales como aquellos cuya respuesta consista únicamente en lanzar contramedidas electrónicas.

Más recientemente, la delegación española ha concretado su posición, mos-trando abiertamente su postura contraria al desarrollo de sistemas de ar-mas completamente autónomos, al considerar que estos constituyen per se una vulneración del «ius cogens» internacional50.

Asimismo, se hace especial énfasis en la conveniencia de que estas armas cuenten, en mayor o menor medida según su grado de autonomía, con la intervención de un operador humano que haga posible individualizar la res-ponsabilidad resultante de su uso, debiendo esta recaer tanto en el operador directo como en la persona o personas que autoricen u ordenen su utiliza-ción en contra de los principios del DIH.

Por último, la delegación española ha realizado propuestas concretas en relación con el cumplimiento de lo previsto en el artículo 36 del Protocolo adicional I a los Convenios de Ginebra, concerniente a la obligación de los Estados parte de verificar el cumplimiento de los preceptos del DIH en caso de adquisición o desarrollo de nuevos sistemas de armas.

En concreto, se propone la elaboración de una declaración política en el contexto del grupo de expertos gubernamentales que recoja los principios y conclusiones acordados por los Estados participantes, la elaboración en el futuro de un código de conducta políticamente vinculante que incorpore principios de actuación y un catálogo voluntario de medidas de trasparencia, así como la creación de un comité de expertos técnicos en el marco de la Convención sobre Ciertas Armas Autónomas con funciones de asesoramien-to y elaboración de informes periódicos51.

Estas iniciativas se dirigirían fundamentalmente al fomento de la confianza y la transparencia en todos los aspectos relativos a las armas autónomas letales, así como el intercambio de información en la materia, tanto en as-

50 Intervención del embajador de España D. Julio Herraiz, delegado ante la «Conferencia de desarme en la reunión de expertos gubernamentales sobre sistemas de armas autóno-mos letales», celebrada en Ginebra el 13 de noviembre de 2017.51 Ibídem.


213

pectos sustantivos como de carácter legal y técnico, con la finalidad última de evitar el inicio de una carrera armamentística y el acceso a esta tecnolo-gía, potencialmente peligrosa para el mantenimiento de la paz y seguridad internacional, por parte de grupos terroristas o actores no estatales52.

Sociedad civil y armas autónomas

La mera posibilidad de que en un futuro próximo puedan llegar a existir y operar sistemas de armas completamente autónomos ha generado desde la apertura de este debate encendidas reacciones dentro de la sociedad civil.

Así, una de las iniciativas más activas en favor de la prohibición de los SAAL es la denominada «Campaña para detener a los robots asesinos»53, platafor-ma que aúna a más de 70 organizaciones no gubernamentales entre las que se encuentran, entre otras, Amnistía Internacional, Nobel Women´s Iniciative o Human Rights Watch.

Esta campaña nace en Nueva York el 19 de octubre de 2012, donde repre-sentantes de diferentes ONG se reúnen con el fin de promover una acción coordinada para responder a los múltiples desafíos que las armas comple-tamente autónomas suponen para la humanidad.

El lanzamiento internacional de esta campaña tiene lugar el 23 de abril de 201354, esto es, antes de la constitución del grupo informal de expertos de la CCW, y ha contribuido decididamente a sus trabajos desde sus inicios.

Su principal objetivo es prohibir la investigación, fabricación y utilización de armas autónomas, garantizando el control del ser humano en la fijación de objetivos militares y la decisión de atacarlos. Para ello, promueve la adop-ción de tratados internacionales y la aprobación de leyes nacionales que re-cojan dicha prohibición, requiriendo a su vez a las empresas tecnológicas a no contribuir en modo alguno a la existencia de este tipo de armas. También el Comité Internacional de la Cruz Roja ha intervenido en las conversaciones y trabajos realizados en el seno de la Convención de Naciones Unidas sobre Ciertas Armas Convencionales, defendiendo en todo momento el necesario sometimiento de los SAAL a las normas del DIH y aportando desde el prin-cipio informes dirigidos al esclarecimiento de estos aspectos. Por último, la comunidad científica se ha posicionado de manera decidida en contra del desarrollo de sistemas de armas completamente autónomas.

52 Intervención del embajador de España D. Julio Herraiz, delegado ante la «Conferencia de desarme en la reunión de expertos gubernamentales sobre sistemas de armas autóno-mos letales», celebrada en Ginebra el 9 de abril de 2018.53 Campaign to stop killer robots.54 Declaración institucional de lanzamiento de la Campaña para detener a los robots asesinos, 23 de abril de 2013. http://stopkillerrobots.org/wpcontent/uploads/2013/04/KRC_LaunchStatement_23Apr2013.pdf.

Armas letales autónomas a la luz del derecho interna ... · Armas letales autónomas a la luz del...

Documents

Transcript of Armas letales autónomas a la luz del derecho interna ... · Armas letales autónomas a la luz del...