Los peligros de los Sistemas de Armas Autónomos Letales

Los peligros de los Sistemas de Armas Autónomos Letales

Bernhard Koch (itfh)/ Niklas Schörning (PRIF)

 

A finales de Julio de 2015 más de 2.800 científicos firmaron una carta abierta que fue publicada por el Future of Life Institute (Instituto Americano Futuro de la Vida) en la que hacían un llamamiento a la prohibición de los “sistemas de armas autónomos”, los cuales estaban más allá del “control humano”. En un periodo de tiempo muy corto este llamamiento atrajo a más de 16.000 simpatizantes, entre los cuales había nombres de personas famosas como Stephen Hawking, Elon Munsk (el fundador de Teslar y SpaceX) o Steve Wozniak (uno de los cofundadores de Apple) [1]. Todos nos advierten de una carrera armamentística que desembocará en un sistema de armas que pueda seleccionar y atacar objetivos sin necesidad de ningún control humano. Hoy en día nos referimos a estos sistemas como “sistemas de armas autónomos”  o AWS por sus siglas en inglés. Sin embargo, esta no es la primera vez que se nos ha advertido de estos sistemas [2], que siguen en fase de desarrollo. Ya en el 2013 casi 300 científicos de robótica e informáticos se pronunciaron contra este tipo de sistemas e incluso en 2010 un grupo de científicos preocupados se unieron y crearon el Comité Internacional para el Control de los Robots Armados (ICRAC), para intentar concienciar sobre los peligros de los sistemas de armas autónomos [3]. Para muchos científicos los sistemas de armas autónomos representan una de las mayores amenazas para una convivencia pacífica futura.

 

Para poder comprender las preocupaciones de los científicos, lo primero es entender qué es un sistema de armas autónomo. En la actualidad muchos sistemas militares ya disfrutan de altos niveles de automatización/semi-autonomía. Hoy en día un piloto sigue dirigiendo por control remoto aviones de combate no tripulados, a menudo denominados drones de guerra o vehículos no tripulados de combate aéreo (UCAV). Sin embargo, ya pueden llevar a cabo muchas tareas de forma automática /semi-automática.  Esto quiere decir que muchos drones militares que ya se encuentran en despliegue pueden, por ejemplo, echarse a volar por su cuenta sin necesitar ningún tipo de asistencia humana, a lo largo de rutas indicadas por coordenadas GPS y también despegar y aterrizar sin intervención humana. Un avión de prueba sin tripulación [demostrador], el American X-47B, consiguió incluso aterrizar en un portaaviones en verano del 2013 sin ayuda humana [4] –una maniobra que inspira respeto incluso si la lleva a cabo un piloto de guerra experimentado. Sistemas terrestres, como el robot guardia SGR-A1 de Corea del Sur [5] o el Guardium-System israelí [6], pueden patrullar áreas predeterminadas e informar de anomalías o intrusos en sus cuarteles generales. Estas capacidades se reflejan en el ámbito civil, en el que, por ejemplo, los primeros coches “autónomos”,  se están incorporando al tráfico ordinario de una forma completamente exitosa.

 

Aunque por los círculos expertos siga habiendo un debate acalorado debido a la definición precisa del término “sistema de armas autónomo”, hay algunas características esenciales en las que la mayoría están de acuerdo. Todavía la definición más precisa se encuentra en la Directiva 3000.09, que fue redactada por el Departamento de Defensa de los Estados Unidos, el 21 de noviembre de 2012. En ella se define el término “sistemas de armas autónomos” de la siguiente forma:

“Sistema de armamento que, una vez activado, puede seleccionar y enfrentarse a objetivos sin ninguna otra intervención de un operador humano. Esto incluye sistemas de armas autónomos vigilados por humanos que están diseñados para permitir que los operadores pasen el sistema de armas a modo manual, pero que puedan seleccionar y atacar objetivos sin mayor intervención humana después de su activación” [7].

 

Dos aspectos claves de esta definición son muy significativos: en primer lugar, un sistema selecciona y ataca objetivos sin mayor intervención humana. En segundo lugar, al definir estos sistemas no importa si el ser humano participa, aunque sea, en la supervisión y pueda detener el sistema en caso de un error evidente o si esta posibilidad queda fuera de su control. En el sistema de armas autónomo al ser humano se le asigna la tarea de supervisor, en el mejor de los casos y, en el peor de los casos, se convierte en un espectador que tiene que confiar completamente en los algoritmos informáticos del sistema sin poder intervenir.

 

Si nos fijamos en los sistemas militares actuales, nos damos cuenta de que muchos Estados con tecnología militar muy desarrollada ya tienen los denominados “sistemas de ayuda”, los cuales son decisivos a la hora de apoyar la decisión de las personas para establecer la prioridad de los objetivos que atacar [8]. Por ejemplo, un piloto de un caza moderno apenas puede divisar al enemigo. Los ordenadores registran y clasifican posibles adversarios a distancia, mucho más allá de la percepción visual del piloto. La decisión de disparar puede que siga recayendo en el ser humano, pero este tiene que confiar completamente en su ordenador si quiere evitar confundir un avión de pasajeros con un caza. Los pilotos de los actuales drones también deben activar las armas ellos mismos. Pero está muy próximo el hecho de que esta decisión final recaiga en las máquinas en lugar de en la persona. Los sistemas de armas autónomos ya se han desarrollado para ciertos escenarios e incluso están en fase de despliegue. Algunos sistemas de auto-defensa que tienen como objetivo proteger barcos o territorios/campamentos (“Phalanx” [9], “Iron Dome” [10], “Mantis” [11]) pueden registrar y clasificar misiles o cohetes acercándose y atacarlos de forma autónoma en cuestión de segundos. Una vez dicho esto, los sistemas siguen estando casi siempre operados de tal forma que continúan dependiendo de un ser humano para confirmar el uso de armas. Sin embargo, la tecnología para llevar a cabo misiones completamente autónomas está lista. Otros sistemas, como el Dron Harpy israelí, vuelan en círculos por encima de un área hasta que el radar enemigo les registra y entonces destrozan dicho radar sin autorización de seres humanos [12].

 

Es cierto que los sistemas que están disponibles hasta la fecha no apuntan aún a personas. Los sistemas que tienen a personas como objetivo y las matan se conocen en todo el mundo como “Sistemas de Armas Autónomos Letales” (LAWS por sus siglas en inglés).  Este tipo de sistemas, en el momento de publicación de este artículo (2015), todavía no se usan. Sin embargo, no se requeriría mucha tecnología para desarrollar armas autónomas que también seleccionen y maten personas. Esto significaría, por ejemplo, que sería concebible armar a un sistema de patrulla con un arma y que dispare a todo intruso que se encuentre registrado. También podríamos imaginar sistemas futuros que maten a todas las personas en un área determinada, porque no puedan ser identificadas usando una base de datos con fotografías, o máquinas de matar a las que se les proporcione fotografías específicas y que sean activadas para buscar personas a las que matar y no descansen hasta que hayan completado su misión.

 

Aquellos que están a favor de sistemas altamente autónomos a menudo argumentan que incluso los sistemas autónomos siempre permanecerían bajo el control humano. Sin embargo, esta valoración no es particularmente compatible con la lógica militar, puesto que esta exige que se explote al máximo la capacidad de un sistema- aunque sea porque existe el miedo de que el adversario haga lo mismo y se ponga a sí mismo en desventaja al auto limitarse. Después de todo, el miedo reside en que el Estado que acabe con las decisiones humanas podría ganar una fracción de segundo decisiva en misiones críticas, y así salir victorioso de una situación de conflicto. Como en una carrera armamentística clásica, lo que podemos esperar ver es la desaparición del factor humano porque es el eslabón más lento de la cadena- algo que no concuerda con las intenciones declaradas en un principio.

 

Las armas autónomas y el derecho internacional

Por lo tanto, los científicos de robótica e informáticos no se están preguntando si sería posible desarrollar dichas armas autónomas y letales. En su lugar, les preocupa la fiabilidad que se puede desarrollar en estas armas en consonancia con las directrices legales para el despliegue de armas. Lo verdaderamente importante es su compatibilidad con el Derecho Internacional Humanitario o DIH, cuyos textos más relevantes están expuestos en la Convención de Ginebra de 1949 y en los dos primeros protocolos adicionales (AP) añadidos en 1977. De manera general, el Derecho Internacional Humanitario reconoce dos principios básicos que deben ser cumplidos por todas las partes involucradas en un conflicto armado [13]. El primero es el requisito de distinción, es decir, el hecho de que se pueda ser capaz de distinguir entre objetivos legítimos (“combatientes”; AP I, Art. 43) y personas protegidas (“población civil" [14]; AP I, Art. 50/51; AP II, Art. 13). Aunque en un conflicto armado está permitido atacar al contrario, los civiles deben quedar al margen como cuestión de principio. El segundo criterio clave está relacionado con la proporcionalidad de los medios: en una situación de combate, solo se deben usar aquellos medios que correspondan a los fines militares [15]. El daño ocasionado a personas y objetos civiles  nunca debe ser excesivo. Sin embargo, la combinación de estos dos principios no garantiza la total protección de los civiles. Si se han tomado medidas preventivas, es admisible que mueran civiles en una operación militar, siempre y cuando los civiles en cuestión no fueran el objetivo del ataque y la “ventaja” militar esperada fuera lo suficientemente alta. La responsabilidad de llevar a cabo un ataque en el que no se pueda descartar la posibilidad de víctimas civiles recae entonces en el oficial al mando, quien puede que tenga que responder por sus actos ante un tribunal de justicia más adelante.

 

Aquí es donde intervienen los que critican los sistemas autónomos. Existe un amplio consenso entre los expertos en derecho internacional que sostienen que el despliegue de los sistemas de armas autónomos está también vinculado al derecho internacional humanitario [16]. Por lo tanto, el debate plantea si estos sistemas, que deciden por ellos mismos, pueden de cualquier forma atenerse a la ley. Si no pueden, no deberían utilizarse en conflictos armados. Pero, dado el actual estado de la tecnología, ¿podría uno concebir una situación en la que los sistemas de armas autónomos fueran capaces de aplicar el derecho internacional? Sobre esto, algunos especialistas en robótica tienen sus dudas y se plantean si sistemas informáticos más complejos, del mismo tipo que a los que estamos familiarizados hoy en día, serán capaces de diferenciar claramente entre civiles y combatientes [17]. La naturaleza asimétrica de los conflictos actuales es precisamente lo que hace que, incluso para los soldados humanos, sea sumamente complicado saber quién es un adversario peligroso y quién un civil inofensivo. Según estos expertos, para los robots esto también supondrá un gran desafío en el futuro. De aquí la preocupación de los expertos de que sistemas imprecisos nos llevarán a un aumento significativo de víctimas civiles. Otra cuestión sigue siendo si los ordenadores serán capaces algún día de sopesar la proporcionalidad de los medios que han sido desplegados. Las cuestiones tácticas y estratégicas entran en juego cuando se plantea la cuestión de si un ataque justifica los “daños colaterales” civiles o no lo hace. Es cierto que los humanos también pueden cometer errores cuando tienen que tomar este tipo de decisiones (la historia de la guerra cuenta con muchos ejemplos de estas meteduras de pata), pero esto no quita que el ser humano no pueda evitar asumir en su mayoría la responsabilidad legal, y en el mejor de los casos la responsabilidad moral. En resumen, existe una buena razón para argumentar que la complejidad de la tarea causa duda sobre si es posible “programar” el derecho internacional humanitario en un robot.

 

No obstante, también hay científicos de robótica que, aunque aceptan que no es posible que los robots apliquen el derecho internacional de manera perfecta, defienden que, al menos, es posible enseñar a los ordenadores y/o a los sistemas de armas autónomos los requisitos legales, por lo menos hasta el nivel suficiente para que, en promedio, no hicieran decisiones peores que las que tomarían las personas. Por ejemplo, el científico de robótica Ronald Arkin está desarrollando un tipo de software al que llama “director ético”. Según Arkin, los sistemas basados en este software evitarían muchos errores humanos derivados de reacciones emocionales en el campo de batalla; por ejemplo, los actos de venganza ante un compañero que acaba de morir o el que un soldado dispare muy precipitadamente porque sospeche de manera equivocada que está  bajo amenaza. Arkin opina que en el campo de batalla estos sistemas actuarían posiblemente de forma “más humana” que los propios humanos [18].  Sin embargo, aunque fuera capaz de idear este tipo de software, las preguntas claves seguirían sin respuesta, la más obvia sería si existe algún incentivo para apagar el “software ético” en ciertas situaciones, por ejemplo en las que esto suponga una ventaja militar, entre otras cosas debido a que el sistema reaccione con mayor rapidez. El software también lo podrían desactivar dictadores codiciosos y usar el sistema en contra de su gente. También queda por ver si las armas autónomas letales estarían seguras de ser manipuladas por piratas informáticos. Dado que, para intentar que el precio se mantenga bajo, muchos de los componentes pueden ser productos ya listos para su uso, solo se podrá obtener el nivel de seguridad necesario, por un precio muy alto. Finalmente, nos encontramos ante el asunto del control humano. Los defensores de sistemas muy automatizados pueden argumentar que los sistemas autónomos siempre permanecerán bajo el control humano. En su opinión, los sistemas simplemente llevan a cabo las órdenes implementadas por las personas y pueden ser desactivados en caso de que ocurra un claro error. Pero, dada la complejidad de los sistemas autónomos, no podemos estar seguros de si estas máquinas realmente llevarán a cabo las órdenes de la forma imaginada. Después de todo, una parte inherente de los sistemas muy complejos es la realidad de que no se pueden concebir o ser probados todos los estados del sistema con anterioridad. Uno puede así imaginar situaciones en las que una combinación inusual de variables lleve al sistema a una situación que no haya sido prevista y tenga potencialmente consecuencias fatales. En particular, esto se aplica cuando las armas letales se unen y el software de un arma “interactúa” con el de otra, uno con el que no se encuentre familiarizado. Es cuestionable si la persona tendría tiempo suficiente para intervenir o no. Desde un punto de vista puramente militar, en el futuro tendría más sentido no [19] equipar a los sistemas autónomos con comunicaciones activas y que tengan una opción de intervención, precisamente para descartar intentos externos de manipulación. Sin embargo, si las personas se rinden ante la posibilidad de ser capaces de controlar la tecnología porque tienen miedo a que sea manipulada, se estarán poniendo en las manos de algoritmos informáticos muy complejos, los cuales, en la mayoría de los casos, no podrán entender sin la ayuda de un ordenador.

 

La dimensión ética

La razón fundamental detrás de que se desarrollen instrumentos técnicos es que se lleven a cabo acciones y objetivos específicos con ellos. Cualquier evaluación ética de un objeto deberá, por tanto, primero ser orientado hacia los tipos de acciones que se realizan con este objeto 1a, y los objetivos para los que se había pensado el instrumento 1b. Sin embargo, existe la necesidad de considerar los posibles riesgos que puedan surgir debido a la existencia de un instrumento o de un objeto de este tipo o de su aplicación. En tercer lugar, cualquier evaluación ética debe estar alerta para garantizar que el desarrollo técnico no termine con la capacidad de tomar decisiones éticas. Por ejemplo, esto puede pasar cuando no hay ninguna forma de verificar quién estaba detrás de cierta acción, por lo que ya no se puede establecer un culpable de forma plausible. También puede surgir cuando la opinión que ha demostrado el aparato técnico y que ha expresado a través de sus instrucciones, es el tipo de opinión que acababa con los términos éticos y con el lenguaje de moralidad. Estos tres aspectos alimentan el gran temor que plantea si el desarrollo de la robótica militar es ético. Como estamos muy lejos de resolver los problemas que se deben discutir y que afectan a estos tres aspectos, se aconseja que se establezca con urgencia la prohibición provisional de todo desarrollo de “sistemas de armas autónomos letales”.

Nos han pedido que tengamos un límite de palabras, por eso lo que sigue es una lista preliminar de los aspectos individuales que deben considerarse [20]:

1a. Los  sistemas de armas autónomos se desarrollan para desempeñar acciones violentas. Aunque la violencia solo se puede justificar en circunstancias muy limitadas [21], por ejemplo cuando ocurre donde se intentan prevenir ataques ilegítimos, incluso este tipo de contraviolencia siempre debe estar proporcionada a los activos bajo amenaza. Por lo tanto, la violencia mortal contra humanos, de forma general, solo puede justificarse cuando la gente tema por su propia vida debido a violencia ilegítima y contraataquen usando la violencia contra aquellos que constituyan una amenaza para sus vidas. El despliegue de robótica militar nos lleva a la situación paradójica por la cual acciones violentas contra los robots no justifican, en sí mismos, ninguna contraviolencia mortal para los agresores humanos. Incluso los ataques preventivos perpetrados sin una amenaza directa, por ejemplo en los llamados “asesinatos selectivos” o “ataques firmados”, no se justifican desde un punto de vista ético [22].

1b. El objetivo de las acciones violentas solo podrá ser vencer violencia y conseguir un estado de paz para los seres humanos. El que la robótica tenga el control no cumple el requisito de paz para los seres humanos. Parece un  juego de poder puro y no da libertad a la gente de obrar bien, sino que la suprime en cualquier tipo de condición. La violencia asistida y llevada a cabo por robots no ofrece ninguna perspectiva duradera de paz.

2. Los riesgos inherentes en los “sistemas de armas autónomos” son incalculables. Los problemas de interacción con los sistemas autónomos antes mencionados, que podrían surgir cuando un robot autónomo interactúe con otro robot autónomo, no se pueden predecir a tiempo actualmente, probablemente debido también a las características de estos sistemas. Aunque se crea que es pequeña la probabilidad de tales “fenómenos emergentes” (especialmente cuando se compara con los posibles usuarios de estos sistemas y la probabilidad de cada uno de ellos), debería ser razón suficiente un tipo de principio preventivo para evitar provocar una catástrofe, cuya magnitud solo podemos adivinar.

3. Ocasionalmente se acusa a los sistemas de armas autónomos de falta de transparencia cuando se trata de atribuir el resultado específico de un arma al autor responsable. A veces esto resulta imposible. Estas preocupaciones están ciertamente justificadas, aunque posiblemente no lo estén en todos los casos individuales donde se utilizan estos sistemas, pero cuanto más lejos se sienta el impacto de la decisión de despliegue y más abstractos sean los objetivos proporcionados a la máquina con antelación, resulta más complicado saber quién está detrás de una acción concreta. Sin embargo, cuando reflexionamos sobre la ética de una situación, resulta crucial que sepamos quién autorizó la acción. Aunque tuviéramos que pasar un juicio ético sobre estructuras (por ejemplo estructuras de mando o de programación), para decidir necesitaríamos evaluarlas según el tipo de acción que se haya tomado, acción que ha surgido en estas estructuras. Es cierto que con bastante frecuencia el derecho positivo dicta quién es responsable y hasta qué punto, pero esta legislación pierde su poder ético cuando se aplica de forma completamente arbitraria [23]. La línea de acción definitiva reside en la genuina práctica humana (un sistema que no engaña) que exige responsabilidades a las personas por sus acciones [24].

 

El lenguaje que utilizamos para referirnos a la implementación de robótica autónoma también es peligroso. Cuando decimos que son los robots los que “estarían tomando las decisiones”, solo lo podemos decir metafóricamente, como una analogía antropomórfica. Esto puede justificarse siempre y cuando la gente tenga presente que estamos hablando metafóricamente. Existe el peligro de que pronto dejemos de utilizar la decisión humana, como nuestro punto de referencia tal y como la entendemos (del mundo vivo), cuando proviene de la decisión de las máquinas, e interpretemos y evaluemos la decisión de las personas sobre esta base. Esto llevaría al Humanum fundamental inherente a los seres humanos a desarrollar acciones que se dejarían al margen, con la consecuencia de que las acciones de los soldados estarían reguladas por las formas de actuar de los robots. Sin embargo, como solo podemos juzgar a un robot por su apariencia, por ejemplo, sus resultados, esta referencia orientada estrictamente a los resultados seguiría siendo el único parámetro de evaluación para las acciones militares, y así mantener la comparabilidad. Pero al hacer esto no logramos hacer justicia a los requisitos éticos, que colocamos en nuestra acción como comportamiento o conducta.

 

Observaciones finales

Los sistemas de armas autónomos letales representan uno de los mayores desafíos para la convivencia pacífica de la gente. No son tan solo problemáticos desde el punto de vista del derecho internacional, sino que también amenazan la política de seguridad con un impacto desestabilizador. Sin embargo, lo que resulta más importante a tener en cuenta es que, en casi todos los casos, su uso es inaceptable éticamente. A no ser que nos dispongamos a prohibir el desarrollo de armas autónomas letales lo antes posible, solo es cuestión de tiempo el que se desarrollen y se adquieran. Al final, los seres humanos dejarían de tomar decisiones, porque el tipo de lógica militar clásica que impulsa la carrera armamentística entra en vigor en este terreno, desmintiendo a los partidarios que argumentan que, incluso con sistemas muy complejos, se desea que los humanos sigan siendo los que toman las decisiones. Resulta alentador que la comunidad internacional de los Estados naciones también hayan reconocido el problema de los sistemas de armas autónomos letales (LAWS). Ya en el 2013, Christof Heyns, Relator Especial sobre las ejecuciones extrajudiciales, sumarias y arbitrarias de las Naciones Unidas, publicó un informe crítico sobre LAWS y apeló a la comunidad de los Estados a detener el desarrollo de dichos sistemas para investigar mejor sobre los peligros que plantean (Heyns 2013). En 2014 y 2015, se llevaron a cabo charlas de expertos en el marco de la Convención de Armas de la ONU, conocidas como Convención sobre Ciertas Armas Convencionales (CCW), que tuvo lugar en Ginebra. Así que ha habido advertencias suficientes hasta la fecha. Ahora le toca a la comunidad internacional dejar clara su postura al acercarnos a la decisión sobre la CCW, y debería presionar para prohibir las armas autónomas letales. El objetivo debe ser, como han sugerido diversas ONG [25], que se mantenga un “control humano significativo” sobre todo sistema de armas. Nosotros seguramente no podamos descender la senda que termine con los algoritmos informáticos que toman decisiones de vida o muerte.

 

[1] cf. http://futureoflife.org/open_letter_autonomous_weapons; retrieved 18/8/2015.

[2] cf. icrac.net/2013/10/computing-experts-from-37-countries-callfor-ban-on-killer-robots/; retrieved 18/8/2015.

[3] cf. www.stopkillerrobots.org/chronology/; retrieved 18/8/2015.

[4] cf. www.navy.mil/submit/display.asp?story_id=75298; retrieved 15/8/2015.

[5] cf. www.dailytech.com/GuntotingSentryRobotsDeployedInSouthKorea/article19050.htm; retrieved 15/8/2015.

[6] cf. www.timesofisrael.com/as-google-dreams-of-driverless-cars-idf-deploys-them/; retreived 17/8/2015.

[7] cf. www.dtic.mil/whs/directives/corres/pdf/300009p.pdf, S. 13f; retrieved 18/8/2015.

[8] cf. For example Schörnig 2014.

[9] cf. www.raytheon.com/capabilities/products/phalanx/; retrieved 18/8/2015.

[10] cf. www.raytheon.com/capabilities/products/irondome/; retrieved 18/8/2015.

[11] cf. www.army-technology.com/projects/mantis; retrieved 18/8/2015.

[12] cf. defense-update.com/directory/harpy.htm; retrieved 18/8/2015.

[13] cf. http://www.ohchr.org/Documents/Publications/HR_in_armed_conflict_SP.pdf

[14] En los conflictos de hoy en día, "Los civiles (que) toman parte directa en las hostilidades" (AP I, Art. 51, 3; AP II, Art. 13,3; GC comm. Art. 3) tienen un papel importante que desempeñar . Ellos no pertenecen a la categoría de las personas protegidas.

[15] Recientemente se ha visto al Comité Internacional de la Cruz Roja (CICR), en particular, con razón, destacando una vez más que la violencia innecesaria también es inadmisible cuando se lleva a cabo contra los combatientes adversarios (véase por ejemplo Comité Internacional de la Cruz Roja 2013, 4, con referencia a las la Declaración de San Petersburgo de 1868).

[16] cf. por ejemplo Geiß 2015.

[17] cf. Human Rights Watch 2012.

[18] cf. Arkin 2009.

[19] Translator’s italics

[20] Los factores establecidos aquí se han presentado de una manera muy rudimentaria y necesitan ser diferenciados de una manera mucho más profunda. En el pasado, se puso énfasis en esta cuestión en el campo de la ética de análisis, lo que llevó a un debate marcadamente más preciso, a pesar de que no consiguió resolver el problema de una vez por todas.

[21] La posibilidad de que la violencia puede justificarse, no excluye necesariamente la renuncia voluntaria de la violencia por razones éticas.

[22] Esto ya se aplica a la robótica militar con mando a distancia, como a aviones armados no tripulados (UAV). Sobre "asesinatos selectivos", cf. por ejemplo Koch 2015.

[23] Por ejemplo, la pregunta es a veces se refiere a si el soldado individual o su comandante o, posiblemente, el programador de un sistema autónomo deben asumir la responsabilidad de un mal funcionamiento. La ley puede ser de ayuda aquí, pero no sin ningún tipo de pruebas en cuanto a prerrogativas. Cuando hay grandes distancias entre el acto del programador o el acto de entrada, y el proceso que demuestra el resultado problemático, tales pruebas se diluyen por completo.

[24] cf. Koch 2014.

[25] cf. http://www.article36.org/weapons-review/autonomous-weapons-meaningful-human-control-and-the-ccw/; retrieved 20/9/2015.


 

Traducción: Secretaría Técnica de Justicia y Paz