SISTEMAS DE ARMAS AUTÓNOMOS LETALES (LAWS).

REFLEXIONES PARA UN DEBATE∞

FULVIO QUEIROLO PELLERANO

RESUMEN

Armonizar criterios sobre la legitimidad del uso de sistemas de armas inteligentes en operaciones militares constituiría “a priori” un ejercicio debatible, principalmente por los efectos colaterales que dichos ingenios tecnológicos pueden provocar, aun cuando estén bajo el control de operadores o controladores y cumplan las normas del derecho internacional humanitario; sin embargo, si ese mismo instrumento posee la cualidad de “autónomo”, se transformaría en un elemento conocido como “Sistema de Arma Autónomo Letal” (LAWS de acuerdo a su sigla en inglés), posesionándose en una dimensión superlativa que requerirá precisiones legales y éticas. En consecuencia, el objetivo de este trabajo es explorar y describir, a partir de la conceptualización internacional, sobre la posibilidad de establecer límites a la mencionada autonomía y desde dicha noción debatir respecto de la conveniencia de desarrollar instrumentos normativos vinculantes que regulen esta tecnología en operaciones militares.

Palabras clave: Inteligencia artificial; arma autónoma letal; Derecho Internacional Humanitario; seguridad y defensa.

SYSTEMS OF LETHAL AUTONOMOUS WEAPONS (LAWS).

REFLECTIONS FOR A DEBATE

ABSTRACT

Harmonizing criteria on the legitimacy of the use of intelligent weapons systems in military operations would be “a priori” a debatable exercise, mainly because of the side-effects that such technological gadgets can have, even if under the control of operators or controllers and comply with the rules of international humanitarian law; however, if that same instrument possesses the “autonomous” quality, it would become an element known as the “Lethal Autonomous Weapon System” (LAWS), possessing it in a superlative dimension that will require legal and ethical precisions.

Consequently, this work aims to explore and describe, from international conceptualization, the possibility of setting limits on the aforementioned autonomy and from that notion, to discuss the interest of developing binding regulatory instruments to rule this technology in military operations.

Key words: Artificial intelligence; lethal autonomous weapon; International Humanitarian Law; security and defense.

SISTEMAS DE ARMAS AUTÔNOMOS LETAIS (LEIS).

REFLEXÔES PARA UM DEBATE

RESUMO

Harmonizar critérios sobre a legitimidade do uso de sistemas de armas inteligentes em operações militares constituiria “a priori” um exercício discutível, principalmente por causa dos efeitos colaterais que tais engenhosidades tecnológicas podem provocar, mesmo que sob o controle de operadores ou controladores e cumpram as normas do Direito Internacional Humanitário; no entanto, se esse mesmo instrumento possui a qualidade de “autônoma”, ele se tornaria um elemento conhecido como o “Sistema de Armas Autônomas Letais” (LAWS de acordo com a sua sigla em inglês), posicionando-se em uma dimensão superlativa que exigirá precisão legal e ética. Consequentemente, o objetivo deste trabalho é explorar e descrever, a partir da conceituação internacional, sobre a possibilidade de estabelecer limites à autonomia mencionada e, dessa noção, debater a conveniência de desenvolver instrumentos normativos vinculativos que regulam esta tecnologia em operações militares.

Palavras-chave: Inteligência artificial; arma autônoma letal; Direito Internacional Humanitário; segurança e defesa.

Estado del arte a modo de introducción

Una consecuencia de las temáticas abordadas por el Foro Económico Mundial de Davos 2016, Suiza, fue comenzar a debatir sobre el impacto, retos y desafíos que impondría la “Cuarta Revolución Industrial”1, instalando una discusión global sobre la trascendencia que tendría para la sociedad, y en lo particular para los gobiernos, el desarrollo tecnológico, cuestión que sin duda no dejó de inquietar a los presentes, y al mundo en general, principalmente una vez que se hiciera público uno de sus postulados que establece “no solo consiste en máquinas y sistemas inteligentes conectados. Su alcance es más amplio. Al mismo tiempo, se producen oleadas de más avances en ámbitos que van desde la secuenciación genética hasta la nanotecnología, y de las energías renovables a la computación cuántica2.

Es en este sentido que el desarrollo tecnológico-industrial, bajo los parámetros de la “Cuarta Revolución”, muestra peculiaridades vinculadas con velocidad, escala y alcances sin precedentes, escenario que distintas administraciones, alrededor del mundo, se encuentran perseverando para adaptar sus propias nociones o conceptualizaciones en políticas que procuren una suerte de regulación vinculante, idealmente global, para enfrentar esta verdadera transformación impulsada por el desarrollo y acceso a nuevas tecnologías, las que se encuentran diseminadas en diversos ámbitos del quehacer humano y prometen enormes beneficios a quienes las incorporan.

Tal ha sido el vertiginoso avance de Sistemas Aéreos no Tripulados, en inglés Unmanned Aereal System (UAS), que el Foro Económico Mundial (WEF) ha propiciado una regulación de aparatos aéreos automatizados teniendo como objetivo el facilitar el acceso de bienes y servicios de sociedades que muestran enormes carencias, especialmente de accesibilidad. En este sentido, un equipo liderado por “Drones y Tomorrow’s Airspace”3 ha avanzado en la recopilación de experiencias alrededor del mundo y, en esta función, luego de recoger evidencias físicas presentó un registro de consideraciones para que los gobiernos las puedan incorporar de manera voluntaria, sin pretender su vinculación, pero que podrían constituir una base sólida para normar globalmente estos sistemas en condición de urbanos.

A la fecha, resulta evidente que el progreso tecnológico, en el ámbito de la seguridad y defensa, enfrenta retos de dimensiones nunca antes vistas. Por lo pronto, ya es claro el efecto que ha tenido la incorporación de la dimensión del ciberespacio en esta problemática con la presencia de cánones alusivos a la ciberseguridad y ciberguerra, campo que ha mostrado su faceta más controversial con irrupciones en infraestructuras críticas y su consecuente denegación de servicios, o bien la sustracción de datos, públicos y privados, cuyos propósitos son sorprendentes e inesperados, solo por nombrar algunos ejemplos.

En efecto, el perfeccionamiento y convergencia multidisciplinaria de la ciencia, la cibernética, la tecnología y la biología, potenciadas por la Inteligencia Artificial (IA)4, se ha posesionado en un nivel superlativo pronosticando, en el corto plazo, que actividades tan valiosas y trascendentes como las asesorías para la toma de decisiones se materialicen de manera autónoma. Para admitir lo señalado, bastaría con observar que nuevas aplicaciones de IA se encuentran integradas a: sistemas de alerta temprana para catástrofes; navegación autónoma de aviones; buques y drones sincronizados para tareas complejas; cámaras de reconocimiento facial para controles de acceso; y prontamente veremos automóviles voladores sobre nuestras ciudades, etc., ambiente que presionará e impulsará a los gobiernos al desarrollo de herramientas creativas que procuren, al menos, su control, considerando los alcances ilimitados que podría exhibir la autonomía.

En esta materia el “GLOBAL TRENDS, Paradoxof Progress”, en un estudio llevado a cabo el 2016, resalta la marcada tendencia tecnológica que han incurrido ciertos instrumentos de guerra o sistemas de armas, lo que permitiría a diferentes actores (Estados, agentes no estatales, sub-estatales e incluso individuos), acceder a sofisticadas armas inteligentes, incrementando la diversidad de actores en conflictos marcados por un ambiente cada vez más difuso. En este sentido, se establece “que será frecuente observar ataques a infraestructuras críticas del Estado o del sector privado; ataques de largo alcance con el empleo de sistemas inteligentes, de alta velocidad y a gran escala, reducirán los tiempos de respuesta de las estructuras y organizaciones establecidas, incrementando así el factor sorpresa”5, dando pie para debatir sobre el uso de sistemas remotos y/o autónomos.

El Instituto Español de Estudios Estratégicos (IEEE), el año 2018 también incursiona, de manera más precisa, sobre “las consecuencias éticas del empleo de Inteligencia Artificial y Robótica Inteligente a las operaciones militares y las diversas estrategias nacionales o regionales en el campo de la Inteligencia artificial”6, concluyendo:

“La irrupción de aplicaciones avanzadas de IA altera las capacidades ofensivas y defensivas como ya sucedió con la tecnología aeroespacial o la nuclear. La evolución de la IA acelerará la introducción de robots autónomos, desarrollará aviones de combate no tripulados, y se incorporará a sistemas de armas autónomos”7.

Así podemos establecer que desde el momento en que un sistema de armas no se controle de forma remota como se hace con un dispositivo no tripulado conocido “Unmanned Aereal System” (UAS), popularmente denominado “Drone”, las regulaciones que norman su empleo, hasta ahora, se tornarán progresivamente inadecuadas, constituyendo el principio de un debate que no tendrá pronta conclusión.

Es en este escenario y, particularmente, por razones legales y éticas, donde se observa una tendencia hacia la renuencia de su desarrollo y puesta en servicio de ingenios como los señalados u otros con similares prestaciones en ámbitos terrestres, marítimos o espaciales, encasillándolas como “máquinas asesinas”, para sociabilizar el impacto que podrían causar algunos elementos en operaciones militares con consecuencias insospechadas.

Entre estas conceptualizaciones se encuentra el premio Nobel Jody Williams8, quien desde el 2013 promueve, a través de la ONG “Stop Killer Robots”, la prohibición de robots con cualidades de exterminio, definiéndolas como máquinas que en un futuro próximo serían capaces de atacar objetivos sin ninguna intervención humana. Otras iniciativas como la señalada también han manifestado su preocupación por el uso inapropiado o malicioso de nuevas tecnologías, apoyando la necesidad de generar verdaderos códigos de conducta éticos destinados, al menos, a su restricción.

En el escenario prescrito, la Organización de Naciones Unidas (ONU), con sede en Ginebra, planteó la idea de discutir la conveniencia de regular e incluso prohibir el empleo de LAWS en operaciones militares, actividad que se inicia a partir del año 2014, convocando anualmente a reuniones de expertos quienes, junto a diferentes delegados, representantes y organizaciones internacionales han contribuido con sus planteamientos circunscritos bajo la “Convención sobre Ciertas Armas Convencionales (CCW)9. A la fecha, y luego de siete reuniones, las discusiones han evolucionado desde un nivel de conceptualización y resistencia inicial a la aceptación del problema, presentando últimamente una propuesta de mandato vinculante que establecería su prohibición, cuestión que no tiene a todos contentos, especialmente aquellos intervinientes y proveedores de este tipo de ingenios tecnológicos, los que ya han manifestado sus reparos.

Por estas razones, se considera fundamental el aporte del Instituto para la Investigación del Desarme (UNIDIR)10, mediante la entrega de informes que constituyen un marco conceptual que permite centrar el debate acerca de “la identificación y la discusión de una multitud de características deseables o no deseables, como la practicabilidad, la movilidad o la responsabilidad, potencialmente relacionadas o que describen características de los sistemas de armas autónomos”11, deesta forma se intenta responder a los primeros cuestionamientos que circundaban en torno a ciertas preocupaciones éticas, morales y legales de su empleo.

Así las cosas, en el ejercicio de este trabajo resultará más apropiado referirse a estos ingenios como “Sistemas de Armas Autónomos Letales” (LAWS), para destacar la principal capacidad que podrían alcanzar, así como su desarrollo y empleo, en el contexto de operaciones militares, escenario donde se ha instalado el cuestionamiento descrito, sosteniendo como argumento la real y efectiva capacidad de control humano y desde esta perspectiva contar con herramientas para identificar responsabilidades ante posibles daños colaterales, incluidas víctimas humanas.

Como una forma de establecer un parámetro conceptual para abordar de una manera más rigurosa el significado de LAWS, se recogerá lo propiciado por el Comité Internacional de la Cruz Roja (CICR), que indica:

“Cualquier sistema de armas con autonomía en sus funciones críticas, es decir, un sistema de armas que puede seleccionar (buscar, detectar, identificar, rastrear o seleccionar) y atacar (usar la fuerza contra, neutralizar, dañar o destruir) objetivos sin intervención humana”12.

Con todo, desde lo civil a lo militar, el problema queda radicado si los sistemas autónomos estarán en condición de decidir y discriminar sobre qué objetivo actuar sin la intervención humana. Desde ya emerge una dimensión ética y moral sobre el uso de un ingenio con virtudes humanas en operaciones militares, el cual, en condición de máquina, sería sujeto de aplicación de normas del derecho internacional humanitario (DIH), entendiendo que el objeto de dicho canon de conducta ha sido concebido para seres humanos.

En consecuencia, se podría asumir que la instauración de normas, políticas, y estructuras administrativas generales para el control de LAWS constituiría un objetivo esencial para la CCW, y como fórmula se aproximaría a adoptar un modelo similar al propuesto por el WEF sobre drones civiles, para que los Estados, quienes agrupados en instancias internacionales, convoquen a la aceptación de un protocolo que los regule, de lo contrario podría prosperar un vacío legal con consecuencias éticas y morales para la sociedad al verse enfrentada a situaciones operacionales consumadas y que pondrían en riesgo la efectiva aplicación del DIH, entorno que se abordará en este trabajo a fin de aportar con evidencias que diluciden una hoja de ruta para las autoridades que deban decidir sobre su prohibición o bien restricción.

Definiendo la autonomía de lo automatizado

Establezcamos que un sistema automatizado es aquel que puede seguir una serie de órdenes o comandos pre-programados. Actualmente existe una amplia gama de capacidades automatizadas, tanto en espacios civiles como militares; de hecho, la aviación civil posee sofisticados sistemas de aterrizaje que auxilian a los pilotos en condiciones con poca o nula visibilidad (niebla o noche), también cooperan en la navegación durante extensas jornadas de vuelo, o bien alertan a la tripulación ante eventuales colisiones con otra aeronave, entre otras. En el ámbito civil-terrestre, ya están sorteando, exitosamente, algunas pruebas de vehículos autónomos y que próximamente circularán por las calles del mundo, solo por mencionar ejemplos conocidos y que contribuyen a comprender su significado.

Si bien, en el campo de las operaciones militares, los UAS y otros similares, en ámbitos terrestres y marítimos, son capaces de llevar a cabo varias funciones fijas carecen de la capacidad para tomar decisiones independientes en entornos complejos y dinámicos. En consecuencia, si un sistema automatizado encuentra un problema solo puede seguir una secuencia de comandos (algoritmos) preestablecidos, como regresar a la base que lo desplegó, o detenerse y esperar apoyo; aún no poseen la capacidad de concebir soluciones autónomas para enfrentar situaciones inesperadas13.

Los sistemas de armas automatizados actuales se basan en algoritmos introducidos que siguen una línea lógica de condiciones que, de cumplirse, darán como resultado respuestas conocidas y estables; así encontramos sistemas complejos en instrumentos de defensa activa como C-RAM13 (Counter Rocket, Artillery and Mortar), misiles anti-buques Close-in Weapon Systems (CIWS) y sistemas de defensa aérea como Iron Dome14, todos ellos pueden ser operados de manera remota, incluso con la anulación humana, y su empleo no implica efectos legales mientras se utilicen bajo las normas internacionales del derecho.

Cabe señalar que los sistemas descritos son mayormente defensivos, por lo que una persona en una instalación posee ciertas ventajas por sobre sistemas diseñados en el rol ofensivo. Para estar dentro del marco legal, en caso ofensivo, se requerirá especial atención para asegurar que el operador, en quien descansa la responsabilidad legal y ética, tenga la información adecuada y el tiempo de decisión necesario como para satisfacer el requisito de identificación del blanco, otro de los cuestionamientos presentados en la CCW (principio de distinción del DIH)15.

Por el contrario, un sistema de armas autónomo no solo mostraría funciones automatizadas altamente desarrolladas como las descritas, ya que se sumarían propiedades vinculadas a la “disposición e intención”16, lo que significa que el sistema debería ser capaz de hacer su propia selección del objetivo y resolver si se compromete en función de sus propias percepciones y comprensión del entorno que lo rodea, escenario ya complejo para un ser humano y aún más para una máquina. Sin embargo, es esta la dimensión que fortalece a aquellos defensores de estos sistemas, al propiciar que los tomadores de decisión requieren respuestas rápidas y de bajo costo, donde la IA instalada en estos ingenios son útiles y muy superiores a las del ser humano.

El alcance sobre la “disposición” significa que el sistema autónomo debe ser capaz de hacer su propia elección del objetivo y resolver si interviene, en función de sus naturales percepciones y comprensión del entorno que lo rodea, de esta forma sería sujeto de eventuales responsabilidades, cuestión debatible. Por otra parte, el demostrar “intención” implica que debería ser idóneo en concebir tareas en un entorno complejo, confuso y dinámico. En este sentido, estudios discutidos con el patrocinio de la CCW17 advierten que la “disposición y la intención” no equivaldrían a una capacidad de distinción y proporcionalidad tal como se define en el DIH, asunto que ameritaría una definición para cerrar los cuestionamientos cernidos sobre la aplicación del artículo N° 36 del Protocolo Adicional I de 1977 de los Convenios de Ginebra, que establece:

“Cuando una Alta Parte contratante estudie, desarrolle, adquiera o adopte una nueva arma, o nuevos medios o métodos de guerra, tendrá la obligación de determinar si su empleo, en ciertas condiciones o en todas las circunstancias, estaría prohibido por el presente Protocolo o por cualquier otra norma de derecho internacional aplicable a esa Alta Parte contratante” 18.

En resumen, un “sistema de armas automatizado” es capaz de realizar tareas complicadas, pero no posee la capacidad para tomar decisiones complejas. Estos sistemas se limitan a decisiones en las que categorizan posibles respuestas a un incidente dado, siguiendo un patrón estrictamente predeterminado. Por el contrario, un “sistema armas autónomo” no seguirá simplemente las vías pre-programadas, mostraría una virtud de revelar aprendizajes y toma de decisiones en respuesta a los apremios de entornos complejos, dinámicos, de enormes incertidumbres y sin parámetros previos19, y de comportase así; ¿Se circunscribirían al precitado artículo N° 36 del Protocolo Adicional? Se puede asumir que la respuesta está sobre la mesa de los que desarrollarían y emplearían estos artefactos.

Negarse a que en un futuro inmediato la IA alcance un mayor nivel de automatización y autonomía resulta un escenario poco realista, lo que no es sinónimo de pesimista. Variables como el factor tiempo y precisión de los procesos informáticos en la toma de decisiones, y particularmente en operaciones militares, otorgarán a estos sistemas una ventaja significativa y decisiva sobre las plataformas tripuladas tradicionales en uso. La interrogante se instala en cuándo estará disponible estos nuevos ingenios, quién los desarrollará y si será el momento de establecer límites sobre aquellos instrumentos, cuyos atributos sean LAWS, considerando que están aún en pleno desarrollo y no está demostrado que pudiesen llevar a cabo razonamientos similares a los humanos20, 21.

Alcances del empleo de sistemas autónomos en operaciones militares

Como hemos explorado, el impresionante avance en el desarrollo tecnológico de otros ingenios autónomos, en componentes civiles y militares, impulsados por la industria estatal y/o privada, ya están siendo considerados para llevar a cabo múltiples actividades cotidianas, y que van más allá de lo esencialmente militar, es así que encontramos IA en sistemas de vigilancia y detección de amenazas para la seguridad (control de fronteras, reconocimiento facial); vigilancia preventiva para la observación de incendios, emergencias y catástrofes naturales (satélites, drones, robots); u otros más sofisticados utilizados en ambientes humanos para la detección de enfermedades o cura de los mismos (bio y nanotecnología); entre los más relevantes, constituyendo una dimensión que está ocupando un espacio cada vez más apreciable y que constituirá una constante que ha estado restringida por normas, protocolos y políticas, que probablemente habrá que adecuarlas a esta nueva realidad.

Convengamos que actualmente impera una proliferación de UAS y otros de similares usos en distintas dimensiones espaciales a escala mundial, observándose implicaciones en las concepciones de seguridad, tanto a nivel local como internacional, aun cuando en muchas latitudes, incluida en el país, se cuenta con principios reguladores que han sido desarrollados luego de exitosas y/o malogradas experiencias en operaciones22. Junto a lo señalado, se intensifica otra arista que reviste especial inquietud internacional por el desenfrenado uso, indebido, de sistemas autónomos por parte de individuos o grupos (delincuentes, bandas armadas, terroristas), o bien por el accidental empleo o mal funcionamiento, aumentando así los potenciales riesgos o amenazas a la seguridad, y los peligros que dicha actitud podría acarrear.

En el campo de las operaciones militares es cada vez más frecuente encontrarnos con sistemas de armas semi-autónomos, dispositivos que aún no alcanzan un nivel de independencia ajeno al control humano, y que bajo el “espíritu o criterio ético”, que debiese imperar en un comandante o líder militar, se utilizan buscando entre otras actividades reducir bajas y costos, no solo de la tropa sino también de civiles o no combatientes, y en dicho escenario la IA ensamblada en sistemas semi-autónomos, cumpliría un rol fundamental constituyéndose un multiplicador de la fuerza23.

Sobre el particular cuestionamiento ético de utilizar en operaciones militares este tipo de IA armada, ya asea automatizada o autónoma, y la manera en que impactaría en las estrategias del arte de la guerra, el Crl. Julio Soto24 sintetiza aquellos desafíos éticos y morales que revisten mayor importancia para el “Soldado del Siglo XXI”, y que en el ámbito de la Defensa, constituye un auténtico dogma al amparo del siguiente cuestionamiento: ¿Es justo matar? Y de serlo, bajo qué condiciones.

Sin constituir parte del trabajo, necesario es lograr una respuesta aceptada por la sociedad, clara y definida, al amparo de lo que se comprende por “jus in bello y el jus ad bellum” (derecho en la guerra y empleo de la fuerza)25, de admitir dichas conceptualizaciones filosóficas, se facilita el alcance moral en la utilización de los medios en el campo de las operaciones militares, siempre con el patrocinio normativo del DIH.

En efecto, el IEEE nos aporta con algunos argumentos que avalan lo predicho al mostrarnos la cara más normativa del uso de estos instrumentos en situaciones cada vez más complejas, admitiendo:

“…las misiones que pudieran ser desempeñadas por sistemas autónomos con mayor eficacia en entornos peligrosos, desde la inteligencia, vigilancia y reconocimiento del campo de batalla en todos los dominios hasta el desminado y el combate en áreas urbanas, la lucha antisubmarina o las misiones de interdicción aérea, evitan la sobreexposición a riesgos de soldados mucho más vulnerables físicamente y con menos capacidades funcionales”26.

Por estas razones es recurrente que en diferentes niveles de participación operacional se esgriman argumentos éticos y morales favorables sobre la necesidad y utilidad que ofrecen los LAWS en ambientes complejos, hostiles y caracterizados por atributos híbridos que muestran los actuales conflictos, donde debiese imperar el cumplimiento de las normas del DIH para distinguir objetivos militares y, principalmente, discriminar combatientes de los no combatientes, evitando causar mayor daño colateral, dimensión donde las armas convencionales ofrecen un menguado desempeño.

Desde esta perspectiva, el estudio que realiza Michel Lewis sobre los “Drones en el campo de batalla”27, resulta muy pertinente para describir y determinar las capacidades, vulnerabilidades y limitaciones legales que se ciernen sobre sistemas automatizados con control humano, los que al final del camino presentan más beneficios que perjuicios en operaciones militares y que pudiese representar el camino para regular su autonomía.

A consecuencia de operaciones de drones automatizados por parte de fuerzas de intervención norteamericanas, en Afganistán28, entorno que exteriorizó el carácter híbrido del conflicto, y como una manera de concitar las diferentes visiones éticas y morales por el empleo de este material, se establecieron limitaciones operacionales para que dichos sistemas no fuesen empleados fuera de los entornos geográficos en el cual se llevasen a cabo operaciones de contraterrorismo o contrainsurgencia, así su utilidad como sistema de armas quedaba sujeto a la aplicación del DIH, y por consiguiente se naturalizaba su uso, estableciendo niveles de responsabilidad.

Desde la perspectiva contraria se instala como fundamento la creciente dificultad en la categorización de responsabilidades de mando y control, en el caso de “delegación de funciones humanas en IA que propicien la distinción o discernimiento bajo algoritmos autónomos”. Expertos reunidos en diferentes sesiones, al amparo de la CCW, han manifestado estas y otras discrepancias al respecto, concordando que resultaría muy difícil aplicar normas del DIH a máquinas o robots autónomos que fueron establecidas para conflictos bélicos, escenario en que el sujeto de derecho es un ser humano. Las justificaciones racionales en que se basan estos reparos se hacen con patrocinio de antecedentes que indican “los sistemas autónomos y la IA serían incapaces de discernir las complejas situaciones que se pueden producir en el campo de batalla, como la posibilidad de que determinados objetivos hayan perdido su valor militar, o evaluar si un objetivo pretende atacar o rendirse”29.

En consecuencia, hasta ahora se puede postular que para evitar el posible “impasse” de interpretación de las normas del DIH, se refuerza la idea de considerar la supervisión o control humano, en calidad de total o al menos restringida, de los sistemas autónomos, de esta manera la aplicación de las normas ya consideradas por el art. N° 36 del Protocolo Adicional serían consistentes y acordes con el cuestionamiento inicial referido a responsabilidad, distinción y proporcionalidad.

En el escenario de la praxis de la IA, el control y autonomía de sistemas del futuro

Sosteniendo lo complejo que implica adoptar una posición, ya sea a favor o en contra del desarrollo y uso de LAWS, que concilie fundamentos políticos, legales, científicos, técnicos, éticos, morales y operacionales de las partes involucradas, se advierte la necesidad de examinar la dimensión de la expansión de la IA en la que se encuentran estos ingenios de manera global, y bajo esta mirada construir argumentos que respalden cualquier decisión, la que excedería de consideraciones relacionadas con la seguridad.

En dicha perspectiva se puede evidenciar la existencia de una amplia gama de informes, estudios e investigaciones que han profundizado en la materia, entre estos el publicado, durante el 2018, por la organización Oxford Insights que elaboró un “ranking de IA” de países integrantes de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), y así medir el grado de impacto que ha alcanzado la IA y, desde esta aproximación, establecer las transformaciones que se avecinan para la sociedad y el mundo, dimensión que prácticamente se ha emplazado en un modelo de desarrollo estratégico multisectorial, posesionando al Reino Unido como el más adelantado en esta materia, aunque enfrenta una fuerte competencia de otros países que buscan desplazarlo, y en esta carrera se encuentran China, Estados Unidos, Rusia y Canadá quienes han anunciado planes para convertirse en líderes mundiales en esta materia30.

Por ello, no es sorprendente vernos enfrentados a discursos disruptivos como el formulado por V. Putin, quien en la inauguración del foro “Proyectoria”, desarrollado en Yaroslavl, en septiembre de 2017, expresara “aquel país que consiga liderar el desarrollo de la inteligencia artificial será el amo del mundo”31, o bien al reflexionar sobre el “Plan de desarrollo de inteligencia artificial de nueva generación

de China”32, publicado en 2017, constituyendo evidencias en el cual se observan algunos elementos prioritarios que permiten dimensionar hacia donde se dirigen las estrategias en IA, al establecer el desarrollo de vehículos autónomos, drones inteligentes y robots de servicio, entre aquellas áreas clave, estableciendo una solapada preocupación respecto de los alcances del control humano, y que para este trabajo representa una significativa inquietud.

Por otra parte, el Consejo de la Unión Europea publicó, en febrero del 2019, las conclusiones relativas al “Plan coordinado sobre IA”, aconsejando, entre algunos parámetros prioritarios, el “apoyar la iniciativa de la Comisión de llevar el enfoque ético de la UE al escenario global y anima a la promoción de dicho enfoque en iniciativas internacionales en materia de inteligencia artificial, tales como las de la OCDE y del Grupo Internacional de Expertos en Inteligencia Artificial”33. Se advierte que este objetivo se conecta directamente con las preocupaciones éticas que ha formulado la CCW y, transversalmente, con las partes interesadas en el desarrollo de ingenios armados LAWS, que se abordará con mayor profundidad más adelante.

El resultado de lo hasta aquí expuesto permite consignar que la presencia de estos y otros actores globales menos ostentosos, que serán tratados a continuación (Francia, España, Israel, India), tendrán repercusiones sobre las futuras decisiones que se pretendan obtener en instancias de la CCW, dilatando así los plazos sobre posibles acuerdos que se pretendan subscribir.

Cabe afirmar que el traslape del impulso de IA en aparatos letales ha sido paulatino y coherente al desarrollo que han propiciado países avanzados, y particularmente, aquellos que han estado comprometidos en conflictos de “última generación”, escenarios que como se ha señalado, previamente, presentan ambientes operacionales híbridos, complejos y difusos, demandando la presencia de instrumentos que faciliten la toma de decisiones y apoyen amplias misiones y, de esta forma, minimizar lamentables efectos colaterales que pudiesen manifestarse; por ello, la importancia del control y responsabilidad del empleo.

En este significativo contexto, para el Stockholm International Peace Research Institute, 2017, (SIPRI), “…la mayoría de los países en el top 10 de los más grandes productores de armas… han identificado la IA y la robótica como áreas importantes de I + D34, y en este ranking se ubican EE.UU., Reino Unido, Rusia, Francia, Italia, Japón, Israel, Corea del Sur, Alemania, India, y China, considerando como tema de interés estratégico continuar con el desarrollo de sistemas inteligentes autónomos que cuenten con supervisión colaborativa humana la que, por

ahora, se encontraría suficientemente regulada, cuestión no menor considerando el contexto de este trabajo.

Desde la prohibición a la regulación, algunas visiones al amparo de la CCW

Pese al reconocimiento que merece la convocatoria de la ONU a través de la CCW, para tratar la cuestión de LAWS, y luego de siete instancias, se puede deducir que aún quedan muchas preguntas sin responder, principalmente por las distintas opiniones que los países han manifestado a través de sus delegados y expertos. Así queda de manifiesto en el último informe emitido por la CCW:

“La mayoría de los estados apoya el desarrollo de un nuevo derecho internacional que contenga prohibiciones y regulaciones de los sistemas de armas autónomos. De estos, 28 gobiernos apoyan una prohibición completa del desarrollo, posesión y uso de estas armas. Algunos otros buscan un acuerdo legal que asegure un control humano significativo sobre las funciones críticas en tales sistemas. Algunos otros, en su mayoría estados europeos, expresaron su interés en otros mecanismos, como una declaración política propuesta por Francia y Alemania. Ellos prevén que una declaración sea un buen vehículo para delinear principios para el desarrollo y uso de sistemas de armas autónomos, como la necesidad del control humano en el uso de la fuerza y la importancia de la responsabilidad humana. Algunos países también han sugerido el desarrollo de un código de conducta sobre el desarrollo y uso de sistemas de armas autónomos y/o la creación de un compendio de buenas prácticas”35.

Por otra parte, visiones europeas más severas auspiciadas por Austria y, hasta cierto punto, Bélgica, Irlanda y Suiza, junto a representantes de otras latitudes como Brasil, Chile, Costa Rica, Cuba, Ecuador, México, Panamá y Perú, así como de Argelia, Pakistán, Sudáfrica y del Movimiento de Países No Alineados, mantienen sus preocupaciones circunscritas en el ámbito moral, ético, político, legal, técnico y operacional, principalmente por el aumento en el grado de la autonomía en los sistemas de armas36.

Desde el punto de vista nacional, si bien es un contenido de discusión nuevo, y en alguna medida desconocido, se debe atender a lo declarado por Cancillería mediante la difusión de la Política Exterior de Chile 203037, dedicando un capítulo para describir “temas estratégicos y emergentes”, y sobre este ámbito advierte sobre el creciente desarrollo de armas que utilizan IA y desde este axioma sostiene que dicho avance es inevitable, ante ello sugiere no coartar la evolución tecnológica, sino por el contrario postula a encaminarla dentro de un marco normativo global el cual supone la aplicación del DIH.

En este sentido, la mirada que ofrece la Política 2030 es taxativa al expresar:

“…En el caso específico de los sistemas de arma letales autónomos (LAWS, en la práctica multilateral), Chile deberá sujetarse al Derecho Internacional Humanitario (DIH), que gobierna la conducción de todo tipo de hostilidades –incluyendo los conflictos internos– en particular a las reglas de distinción (entre combatientes y no combatientes), proporcionalidad y precaución. Es justamente en aplicación del DIH que

nuestro país despliega un sistema de Defensa Nacional que opera exclusivamente medios legítimos de defensa... Nuestra participación futura debe conjugar los beneficios que la Inteligencia Artificial y la robotización pueden traer a la Seguridad Internacional (por ejemplo, en el combate del terrorismo y del crimen transnacional organizado) procurando que los LAWS sean compatibles con el DIH, a través de un control humano efectivo”.

De esta manera podemos inferir, al tenor de esta explicitación, que la postura nacional no se encuentra muy distante de aquellos países que no desean prohibir sino restringir el empleo de LAWS en un entorno operacional siempre que se encuentre sujeto al DIH.

Sin embargo, desde el sector de la Defensa se observa una definición más rígida que la anterior, al fijar la “necesidad de establecer una moratoria o prohibición preventiva al desarrollo de este tipo de armamento”38, dando como fundamento las reuniones de expertos y discusiones sostenidas en Ginebra (CCW), y que han sido comentadas en el presente trabajo, alineándose a la postura que patrocinan algunos países que otorgan un estatus preponderante en las implicancias éticas y consecuencias en la seguridad internacional.

Argumentos a favor y en contra seguiremos percibiendo mientras se avanza en una definición que satisfaga a todos o a la mayoría de la comunidad internacional, por esta razón los juicios aportados por expertos y representantes en las sesiones de la CCW, “a priori” deberían focalizarse más en comprender el alcance de la IA puesta al servicio de la humanidad y desde esta dimensión concebir o bien sincronizar normas que sean aplicables a los sistemas autónomos para evitar colisionar con el DIH.

Esta ha sido, en gran medida, la visión que han mantenido y han impugnado países como EE.UU., China, Israel, Rusia y el Reino Unido, los cuales se encuentran desarrollando sistemas de armas con una autonomía significativa en las funciones críticas de selección y ataque de objetivos, mientras que otros, como Francia, España, Alemania, aunque un paso detrás de los anteriores, también han iniciado estudios para identificar los pros y contras de estos sistemas39.

Para contrastar las versiones que paulatinamente se han instalado en diferentes ámbitos de discusión, válido resulta comentar un trabajo elaborado por Shashank Reddy, quien hace ver las “suspicacias” que han demostrado los cinco miembros permanentes del Consejo de Seguridad de la ONU, del mismo modo, devela el estado del arte en la India y Pakistán, llegando a la conclusión que solo los Estados Unidos y el Reino Unido poseen documentos oficiales que establecen claramente sus respectivas posiciones sobre armas autónomas. En esta línea, los norteamericanos han desarrollado una verdadera doctrina de empleo, mientras que Reino Unido, por ahora, no tiene la intención de desarrollar sistemas que puedan operar sin ningún control humano, sosteniendo que el DIH actual es suficiente para regularlos, afirmando categóricamente que los ingenios existentes no caen bajo el término “sistemas de armas autónomas letales”40.

Respecto de Rusia y China no tienen una política o postura explícita sobre las armas autónomas, mostrando su disposición a elaborar estudios que permitan comprender su alcance y efectos, reconociendo una preocupación por la temática debatida41. Finalmente, Francia, si bien inicialmente se opuso al desarrollo de este tipo de armas (2013), ha ido modificando paulatinamente su posición, y últimamente (2016) se ha inclinado por “otorgar prioridad del debate, principalmente por desarrollar una base común antes de decidir la dirección en la que adoptará la CCW en la regulación de armas autónomas42.

En cuanto a India y su archirrival Pakistán, poseen opiniones encontradas, por una parte, India sostiene que “las armas autónomas podrían proporcionar doble beneficio, la de reducir las bajas militares y mejorar la eficiencia en las capacidades defensivas”, considerando principalmente el grado de amenazas, la porosidad de sus fronteras y el permanente accionar de grupos armados provenientes de la región vecina. En el caso de Pakistán, se señala que, si bien “ha abogado por un protocolo CCW legalmente vinculante que prohíba de manera preventiva el desarrollo y uso de tales armas”, la falta de confianza en que aquello realmente suceda es enorme, apuntando a que en el pasado Pakistán ha defendido una zona libre de armas nucleares y, al mismo tiempo, ha desarrollado capacidades nucleares43.

El CCIR ha insistido en la necesidad de contar con un control humano, el cual debería estar resuelto y establecido a través de una norma legal, elevando ciertas consideraciones que deberían resolverse en próximas instancias de la CCW, propendiendo a resolver el alcance de la “autonomía”, principalmente de los sistemas y de las armas, para ello entrega lineamientos basados en los siguientes principios44.

• Predictibilidad, del sistema de armas en circunstancias previstas o imprevistas de uso.
• Confiabilidad, del sistema de armas en las circunstancias de uso previstas o imprevistas.

• Intervención humana, en el funcionamiento del sistema de armas durante su empleo, despliegue y uso.
• Conocimiento e información precisa, sobre el funcionamiento del sistema de armas y el contexto de uso previsto o inesperado (incertidumbre).
• Responsabilidad, por el funcionamiento del sistema de armas después de su uso.

Por las razones dadas, resulta interesante recoger el proyecto sobre “Ethics Autonomy del Center for a New American Security” (CNAS), que se propuso como objetivo tratar de resolver la incertidumbre surgida en torno a la autonomía de las armas futuras. Para lo anterior, se propone diferenciar la “autonomía” según el ámbito que se considere: autonomía respecto a la relación de mando y control entre hombre y máquina; autonomía en relación con la propia inteligencia de la máquina; y autonomía respecto al tipo de decisión que la máquina va a tomar independientemente, de esta forma se intenta responder a los grandes cuestionamientos en torno a responsabilidad, distinción y proporcionalidad.

Al tenor de la propuesta antes indicada y a modo de evitar interpretaciones erróneas sobre sus alcances, resulta de toda conveniencia avanzar en esta línea procurando integrar, de manera holística, diferentes visiones, permitiendo que las nociones legales debatan con las percepciones éticas y estratégico-operativas, contribuyendo a formar un juicio que valide una postura estatal en concordancia con la CCW.

Chile, avances en la definición de automatizados y autonomías de sistemas

Para las autoridades gubernamentales el desarrollo y posible empleo de LAWS en operaciones militares se ha ido posesionando, paulatinamente, en agendas sectoriales de Cancillería y Defensa, enfoques que han sido tratadas en párrafos precedentes y plasmadas tanto en la Política Exterior 2030, en el LDN-2017 y en la última intervención del representante chileno ante la CCW, respectivamente, y presupone la decisión de “prohibir preventivamente toda manifestación que involucre el desarrollo y eventual uso de estos sistemas de armas” 45 46.

Otorgar valor a esta particular visión nacional sobre LAWS amerita, desde la perspectiva de este trabajo, un análisis más profundo para determinar los pros y contras que tal sentencia puede acarrear; en consecuencia, es factible presentar algunos antecedentes que permitan contribuir al debate nacional o al menos sectorial y luego adoptar una decisión fundada, siempre amparada en el DIH.

En efecto, desde el ámbito civil la creciente manifestación en el desarrollo y uso de tecnologías asociadas al empleo de “Sistemas de Aeronaves Pilotadas a Distancia” (RPAS), ha sido un tema de interés y preocupación gubernamental, el cual ha sido abordado por la Dirección General de Aeronáutica Civil (DGAC),

organismo que luego de un extenso trabajo estableció reglas para el uso de sistemas piloteados a distancia conocidas como normas DAN47. De esta manera se define la forma cómo se debe operar una aeronave no tripulada en territorio nacional, tanto en áreas pobladas, como en zonas despobladas48. Esta actividad, periódicamente, despierta más de alguna controversia ciudadana al constatar que el derecho a la privacidad sería objeto de vulneración, el cual supone debe ser cautelado por la autoridad, del mismo modo hacer responsable al operador ante eventuales accidentes ocasionados, ya sea por mal uso o fallas.

Lo más destacable en este contexto es que las normas DAN reflejan aquellas preocupaciones que ha señalado la Organización de Aviación Civil Internacional (OACI)49, y que tienden a orientar a los gobiernos sobre los pasos a seguir para regular el enorme flujo de sistemas automatizados no tripulados que, si bien no están armados, constituyen un sujeto de riesgo que debiese ser analizado en instancias sectoriales pertinentes.

En el ámbito estratégico-militar se ha avanzado en el desarrollo de programas de adquisiciones de sistemas de armas “inteligentes”, que incluye drones que pretenden dotar de ciertas capacidades estratégicas y operativas al componente militar como multiplicador de la fuerza50. El objetivo de estos programas es contar con UAS que posean capacidades polivalentes que, además de transportar armas, puedan captar imágenes y así entregar información actualizada y oportuna para la toma de decisiones, principalmente en situaciones de crisis y/o conflicto. Es así que se incorporaron, desde el año 2015, drones automatizados que cuentan con IA. Si bien no son autónomos, poseen características muy avanzadas. De esta forma, Chile se encuentra en sintonía, civil y militar, con las normas internacionales que rigen para sistemas automatizados tripulados a distancia.

Tal ha sido la capacidad desarrollada que últimamente han participado UAS en situaciones de catástrofe (incendio), colaborando con la captación de imágenes especiales que han apoyado a la autoridad para la toma de decisiones de manera más informada y ante condiciones atmosféricas muy complejas51.

Respecto de sistemas autónomos letales, bajo el análisis del presente trabajo, se considera que el país no ha profundizado ni menos propiciado una discusión de alto nivel que recoja opiniones académicas y técnicas especializadas, que contribuyan con elementos prospectivos, además de los legales, que permitan adoptar una decisión sobre esta materia, la cual aún se encuentra en plena gestación y evolución, considerando que, en el eventual ejercicio soberano de expresar

el rechazo al desarrollo y empleo de LAWS, nada asegura que desde el ámbito tecnológico-civil se avance en inteligencia autónoma que pueda ser utilizada de manera muy diferente a lo establecido por normas internacionales del derecho.

En consecuencia, se puede establecer que una prohibición al desarrollo y posible empleo de LAWS en operaciones militares no se aprecia como un camino practicable, al menos en los términos actuales, y desde esta perspectiva propiciar una regulación que implique el control humano de estos sistemas ya en uso y, que, a futuro puedan estar regulados por el DIH. Este pareciera que constituiría el punto de inflexión y así asumir una posición gubernamental ante la CCW.

A modo de conclusión

El criterio sobre la legitimidad del uso de sistemas de armas inteligentes en operaciones militares constituye un espacio que merece aún más debate y profundas definiciones, principalmente por los efectos colaterales que pueden causar, aun cuando estén bajo el control de operadores y cumplan las normas del DIH.

Si bien las preocupaciones que ha mostrado la comunidad internacional por el desarrollo y potencial uso de LAWS en operaciones militares, tendrían sustento en la medida que ellas escapen al control humano, también sería ingenuo considerar que el camino propiciado por sectores que buscan alcanzar acuerdos vinculantes, cuyo objetivo sea imponer una prohibición, por hora, resultará inoficioso. De hecho, países encabezados por EE.UU., Rusia, Australia, Israel, Reino Unido, India, entre los más perceptibles, cuya industria ha alcanzado altos niveles de avance tecnológico en sistemas automatizados se oponen a medidas como la indicada y formalizarán sus reparos ante las instancias internacionales.

Aun cuando se logre un acuerdo vinculante con auspicio de la CCW, voces de expertos han alertado sobre las dificultades que imperarían en los organismos estatales responsables de verificar que dicha prohibición se concrete, aseverando una floreciente e ineficiente burocracia que no sería capaz de identificar, ni menos transparentar, el grado de cumplimiento de las normas establecidas, principalmente dado el nivel alcanzado por la industria civil en programas de robótica e IA aplicados en sistemas automatizados y semiautónomos.

Desde la perspectiva estratégica-operacional el empleo de IA en sistemas autónomos se encuentra avalado por el grado de exposición a que es sometido el combatiente desplegado en escenarios tan confusos, donde lo complejo, híbrido y difuso son características del conflicto actual, combinación de elementos que amerita acelerados análisis y rápidas acciones, sometiendo a prueba la decisión del comandante que buscará minimizar el riesgo de bajas. Es esta la dimensión en que los ingenios tecnológicos demuestran ser más eficaces que los combatientes y con mejores prestaciones como multiplicador de la fuerza (algoritmos de análisis de grandes volúmenes de información). Las consecuencias que se deriven pueden ser múltiples y variadas, desde ya algunas formas de empleo de las fuerzas está cambiando, evidenciando una creciente dependencia e interacción “hombre-máquina”; en consecuencia, se podría sostener que el DIH debiese sincronizarse bajo la lógica de los conflictos del futuro y no viceversa.

Cierto es que este tipo de armas podrían, en futuro próximo, ser empleadas en otras actividades ajenas al conflicto, como por ejemplo en vigilancia policial, control de narcotráfico, vulneración de fronteras (aéreas, marítimas y terrestres), o para observación de alteraciones al orden público, incluso en catástrofes, la respuesta a este cuestionamiento debería ser concedida por las autoridades responsables en este tipo de escenarios y resolver sobre la efectividad de su empleo y los resguardos que deberían instaurarse para un buen cometido.

Oportuno resulta para este trabajo presentar como axioma “el desarrollo y uso civil de sistemas autónomos que, por ahora, no representan ningún riesgo a la seguridad, con el solo ejercicio de atribuirle la posibilidad de cargar armas los transformaría en una potencial amenaza”, contexto que escaparía a la aplicación de las normas del DIH, así como de los cuestionamientos de principios éticos de distinción y proporcionalidad; en consecuencia, no sería presentable prohibir el avance de la ciencia y tecnología en el campo estratégico, mientras que en otras áreas ya despegó y no aspira a detenerse.

REFERENCIAS BIBLIOGRÁFICAS

BIRMINGHAM POLYCY COMMISSION. The Security Impact of Drones: Challenges and Opportunities for the UK. Disponible en: https://www.birmingham.ac.uk/Documents/research/policycommission/remote-warfare/final-report-october-2014.pdf

BUCHANAN, Allen And KEOHANE, Robert. “Toward a Drone Accountability Regime”. April, 2015. Disponible en: file:///C:/Users/F404B~1.QUE/AppData/Local/Temp/DronesPublishedArticle.pdf

CICR. “Convention on Certain Conventional Weapons” (CCW). Meeting of Experts on Lethal Autonomous Weapons Systems (LAWS), April, 2016. Disponible en: https://www.icrc.org/en/document/views-icrc-autonomous-weapon-system

CCW. Convención de Ciertas Armas Convencionales de la Oficina de Naciones Unidas sede Ginebra. Entorno donde los Estados parte discuten acerca de LAWS a partir de 2014. Disponible en:

https://www.unog.ch/80256EE600585943/(httpPages)/8FA3C2562A60FF81C1257CE600393DF6?OpenDocument

CCW. Report, Vol. 7, No. 3: “Will the insignificant states”, marzo de 2019. Disponible en:

https://autonomousweapons.org/recaps-of-the-un-ccw-meetings-march-25-29-2019/

CHILE. Declaración del delegado de la misión permanente en Ginebra. Disponible en: https://www.unog.ch/80256EDD006B8954/(httpAssets)/B5FADFAA6CCC22B7C1257F9B0052E888/$file/2016_LAWS+MX+HRandEthicalIssues_Statement_Chile.pdf

CUERNO R., Cristina. Origen y desarrollo de drones. Universidad Politécnica de Madrid. 9 julio, 2015. (Último acceso el 11 de abril 2019. Disponible en: http://drones.uv.es/origen-y-desarrollo-de-los-drones/

DEFENSA.COM. “UAV Hermes 900 de la Fuerza Aérea refuerza el combate de incendios en Chile”. Edición América Latina, 9 de enero 2019. Disponible en: https://www.defensa.com/chile/uav-hermes-900-fuerza-aerea-refuerza-combate-incendios-chile

DGAC. DAN 151. Operaciones de aeronaves pilotadas a distancia (RPAS), en asuntos de interés público, que se efectúen sobre áreas pobladas. 2da. Edición. Disponible en:

https://www.dgac.gob.cl/wp-content/uploads/2018/07/DAN_151.pdf

DGAC. DAN 91. Norma aeronáutica, reglas del aire. Disponible en: https://www.dgac.gob.cl/wp-content/uploads/2018/10/DAN_91.pdf

GILLI, Andrea & GILLI, Mauro. “The Diffusion of Drone Warfare? Industrial, Organizational and Infrastructural Constraints: Military Innovations and the Ecosystem Challenge” Disponible en:

file:///C:/Users/F404B~1.QUE/AppData/Local/Temp/SSRN-id2425750.pdf

LEWIS. Michel, W. “Drones and Boundaries of the Batthlefield”. Texas International Law Journal. Vol. 47, Issue 2, june 2012. Disponible en: file:///C:/Users/F404B~1.QUE/AppData/Local/Temp/SSRN-id1917461-1.pdf

MEIER, Michael. “Lethal Autonomous Weapons Systems (LAWS): Conducting a Comprehensive Weapons Review”. 2016. Disponible en: https://sites.temple.edu/ticlj/files/2017/02/30.1.Meier-TICLJ.pdf

MIDEF. LDN. Ed. 2017. Disponible en:

https://www.defensa.cl/media/LibroDefensa.pdf

MINREL. Política exterior 2030. Primera Edición, enero 2018. Santiago, Chile. Disponible en:

https://minrel.gob.cl/minrel/site/artic/20180201/asocfile/20180201161909/2030_politica_exterior_chile.pdf

DAVISON, Neil. “A legal perspective: Autonomous weapon systems under international humanitarian law”. Disponible en:

file:///C:/Users/F404B~1.QUE/AppData/Local/Temp/autonomous_weapon_systems_under_international_humanitarian_law-1.pdf

NILSSON. J. Nils. “THE QUEST FOR ARTIFICIAL INTELLIGENCE A HISTORY OF IDEAS AND ACHIEVEMENTS”. Web Version Print version published by Cambridge University Press, Stanford University. Disponible en: http://www.cambridge.org/us/0521122937

OACI. 13ª Conferencia de Navegación Aérea de la OACI, Ottawa, Canadá, 31 de julio al 2 de agosto de 2018. Disponible en:

https://www.icao.int/NACC/Documents/Meetings/2018/NACCDCA8/NACCDCA8NI11.pdf

UNIDIR The Weaponization of Increasingly Autonomous Technologies: Concerns, Characteristics and Definitional Approaches, N° 6, 2017. Disponible en: http://www.unidir.org/files/publications/pdfs/the-weaponization-of-increasingly-autonomous-technologies-concerns-characteristics-and-definitional-approaches-en-689.pdf

UNIDIR The Weaponization of Increasingly Autonomous Technologies: Artificial Intelligence, N° 8. 2018. Disponible en:

http://www.unidir.ch/files/publications/pdfs/the-weaponization-of-increasingly-autonomous-technologies-artificial-intelligence-en-700.pdf

UNOG. Oficina para las Naciones Unidas de Ginebra, (CCW” https://www.unog.ch/80256EE600585943/(httpPages)/8FA3C2562A60FF81C1257CE600393DF6?OpenDocument

SIPRI. “Mapping the Development of Autonomy in Weapon System”. Disponible en: https://www.google.com/search?client=firefox-b-d&q=diccionario+ingles+espa%C3%B1ol

VERGARA V., Miguel Ángel. “Desafíos éticos que presenta la robótica”. Revista Política y Estrategia N° 121, Ene-Jun 2013, ANEPE.

WEF. Informe de riesgos mundiales 2018. 13° Edición, 2018. Disponible en: file:///C:/Users/F404B~1.QUE/AppData/Local/Temp/the-global-risks-report-2018-es.pdf

WEF. Advanced Drone Operations Toolkit: Accelerating the Drone Revolution. Informe de diciembre 2018. (Último acceso: 10 de abril 2019). Disponible en: http://www3.weforum.org/docs/WEF_Advanced_Drone_Operations_Toolkit.pdf

WILIAMS, Jody. Premio Nobel de la Paz en 1997. ONG. Stop Robots Killers. Disponible en: https://www.stopkillerrobots.org/about/

SHASHANK R., Reddy. “India and the Challenge of Autonomous Weapons”. Carnegie Endowment for International Peace. Disponible en: https://carnegieendowment.org/files/CEIP_CP275_Reddy_final.pdf

SCHWAB, Klaus. La Cuarta Revolución Industrial, WEF. Disponible en: http://40.70.207.114/documentosV2/La%20cuarta%20revolucion%20industrial-Klaus%20Schwab%20(1).pdf

SOTO S., Julio. “La ética militar en tiempo de cambio”, Memorial del Ejército de Chile. N° 493, diciembre, 2015 pp. 136-186. Disponible en:

file:///C:/Users/F404B~1.QUE/AppData/Local/Temp/1435221670_580128700-1.pdf

Declaraciones en la CCW:

ARNOLD, Roberta. Dr. Iur. “Criminal responsability for IHL breaches by (the use) of LAWS. Geneva, 13, 2, 2016. Disponible en:

https://www.unog.ch/80256EDD006B8954/(httpAssets)/1BBDA5971E56E3CBC1257F9500279D9C/$file/2016_LAWS+MX+Presentations_ChallengestoIHL_Roberta+Arnold.pdf

CCW. GGE. “Proposal for a Mandate to Negotiate a Legally-binding Instrument that addresses the Legal, Humanitarian and Ethical Concerns posed by Emerging Technologies in the Area of Lethal Autonomous Weapons Systems” (LAWS), Submitted by Austria, Brazil and Chile, Geneva, 27-31, august, 2018. Disponible en:

https://www.unog.ch/80256EDD006B8954/(httpAssets)/3BDD5F681113EECEC12582FE0038B22F/$file/2018_GGE+LAWS_August_Working+paper_Austria_Brazil_Chile.pdf

CCW. CGE. “Emerging Commonalities, Conclusions and Recommendations”. August 2018. Disponible en: https://undocs.org/CCW/GGE.1/2017/3

FRANCE. Working paper. Geneva, 11-15 april, 2016. Disponible en: https://www.unog.ch/80256EDD006B8954/(httpAssets)/5FD844883B46FEACC1257F8F00401FF6/$file/2016_LAWSMX_CountryPaper_France+CharacterizationofaLAWS.pdf

FORD, Christopher. Stokolm Center for Study of International Law, U.S. Naval War College. Geneva, 2016. Disponible en:

https://www.unog.ch/80256EDD006B8954/(httpAssets)/856571ECD1E432D1C1257F940042B827/$file/CCW_LAWS+MX+Presentations_ChallengestoIHL_Christopher+Ford.pdf

GEISS, Robin. Weapons Autonomous Expert. “Risk management and State Responsability”. Geneva, 11-15 april, 2016. Disponible en: https://www.unog.ch/80256EDD006B8954/(httpAssets)/00C95F16D6FC38E4C1257F9D0039B84D/$file/Geiss-CCW-Website.pdf

HRW. Statement to the Convention on Conventional Weapons Group of Governmental Experts on lethal autonomous weapons systems. Geneva, 26-29 march, 2019. Disponible en:

https://www.hrw.org/news/2019/03/29/statements-convention-conventional-weapons-group-governmental-experts-lethal

MEIER, W. Michael. US. Delegation Opening Statement. Geneva, april 11-15, 2016. Disponible en: https://geneva.usmission.gov/2016/04/11/laws/

STOP KILLER ROBOTS. Geneva, August 29, 2018. Disponible en:

https://www.unog.ch/80256EDD006B8954/(httpAssets)/421C59381B8CCE4AC12582FE00314F68/$file/2018_GGE+LAWS+2_Campaign+to+Stop+Killer+Robots.pdf

UK of GB and NI. Foreign Commonwealth Office. Geneva, 11-15 april, 2016. Disponible en: https://www.unog.ch/80256EDD006B8954/(httpAssets)/49456EB7B5AC3769C1257F920057D1FE/$file/2016_LAWS+MX_GeneralExchange_Statements_United+Kingdom.pdf

YARON Maya. Israel Deputy Permanent Representative to the Conference on Disarmament. Geneva, april 11-15, 2016. Disponible en: https://www.unog.ch/80256EDD006B8954/(httpAssets)/5951D4CF7936ADE3C1257F9A004B62D6/$file/2016_LAWS_+MX_ChallengestoIHL_Statements_Israel.pdf

CCW. GGE. “Australia’s System of Control and applications for Autonomous Weapon Systems”. Geneva, March 29, 2019. Disponible en:

https://www.unog.ch/80256EDD006B8954/(httpAssets)/16C9F75124654510C12583C9003A4EBF/$file/CCWGGE.12019WP.2Rev.1.pdf

Accesos electrónicos:

DRONES and the Boundaries of the Battlefield

file:///C:/Users/F404B~1.QUE/AppData/Local/Temp/SSRN-id1917461.pdf

THE GUARDIAN. Disponible en:

https://www.theguardian.com/world/2019/apr/08/the-rise-of-the-killer-robots-jody-williams-mary-warehan-artificial-intelligence-autonomous-weapons

EASA. Study and Recommendations regarding Unmanned Aircraft System Geo-Limitations, 01/09/2016. (último acceso el 18 de abril 2019). Disponible en:

https://www.easa.europa.eu/document-library/general-publications/study-and-recommendations-regarding-unmanned-aircraft-system

EEAS – SEAE. Group of Governmental Experts - Lethal Autonomous Weapons Systems - Convention on Certain Conventional Weapons - EU Statement: Review of potential military applications of related technologies in the context of the Group’s work. Disponible en:

https://eeas.europa.eu/headquarters/headquarters-homepage/60187/group-governmental-experts-lethal-autonomous-weapons-systems-convention-certain-conventional_en

IEEE.ES. Disponible en:

http://www.ieee.es/Galerias/fichero/docs_trabajo/2019/DIEEET0-2018La_inteligencia_artificial.pdf.

FOCA and partners launch Switzerland’s U-Space platform, April 3, 2019. (último acceso el 19 de abril 2019. Disponible en:

http://www.unmannedairspace.info/uncategorized/foca-and-partners-launch-switzerlands-u-space-platform/

GLOBAL TRENDS. Disponible en: https://www.dni.gov/files/documents/nic/GT-Full-Report.pdf.

STOP KILLER ROBOTS, Comunicado de prensa, 24.11.2018. Disponible en: https://www.pressenza.com/es/2018/11/robots-asesinos-culmina-reunion-de-la-convencion-sobre-armas-convencionales-con-pobres-resultados/

UNOG. 2019. Group of Governmental Experts on Lethal Autonomous Weapons Systems (LAWS). Disponible en:

https://www.unog.ch/__80256ee600585943.nsf/(httpPages)/5c00ff8e35b6466dc125839b003b62a1?OpenDocument&ExpandSection=7%2C3%2C1#_Section7

USAF. “Unmanned Aircraft Systems Flight Plan 2009-2047”. Headquarters, United States Air Force, Washington DC. 18 mayo 2009. Disponible en: https://fas.org/irp/program/collect/uas_2009.pdf

---