Declaración de Roma

La humanidad en el umbral: una declaración sobre la inteligencia artificial y las armas nucleares

Preámbulo

La humanidad se encuentra en un momento decisivo de su historia. 

Más de ochenta años después del amanecer de la era nuclear, y en el umbral de la era de la inteligencia artificial, nos enfrentamos a un desafío sin precedentes. Nunca antes el progreso científico había ofrecido oportunidades tan extraordinarias mientras generaba, al mismo tiempo, riesgos tan profundos para nuestro futuro común.

Cuando se desarrollaron por primera vez las armas nucleares, el mundo tuvo la oportunidad de evitar vivir en una dinámica permanente de miedo. Fracasamos, y como resultado, la humanidad ha vivido al borde de la aniquilación nuclear.

Con la IA se presenta un peligro similar. La IA integrada en los sistemas nucleares deja poco margen para el juicio humano en una crisis, o incluso lo sustituye. Esta tecnología cambia el contexto en el que compiten entre sí los Estados con armamento nuclear. Es probable que la IA provoque una pérdida masiva de empleos y agudice la competencia económica entre los Estados con armamento nuclear. La IA potencia los ciberataques capaces de fracturar infraestructuras civiles y estratégicas críticas. La IA permite la guerra de la información: la paz depende de una realidad compartida. Sin hechos no puede haber verdad; sin verdad no puede haber confianza; y sin confianza, no hay diálogo, ni verificación, ni contención entre las naciones.

Las capacidades de IA más avanzadas, los recursos de computación y las infraestructuras de datos se concentran cada vez más en un pequeño número de países y corporaciones, lo que genera asimetrías de poder significativas e incentivos limitados para la cooperación. La IA es una tecnología que provoca disrupción económica, militar y social, y se desarrolla a un ritmo sin precedentes en la historia de la humanidad.

En medio de una carrera armamentista nuclear que se agrava, nos estamos embarcando en una carrera de IA igualmente peligrosa.

El papa León XIV, invocando valores compartidos por diversas tradiciones religiosas, ha llamado a la humanidad hacia una "paz desarmada y desarmante". Rechazamos la creencia de que la seguridad duradera pueda construirse sobre el miedo, la dominación o la amenaza permanente de destrucción mutua. La seguridad no puede descansar indefinidamente sobre la realidad de la destrucción mutua.

Conscientes de nuestra responsabilidad compartida hacia las generaciones presentes y futuras, adoptamos los siguientes principios:

1. Desarmar la próxima carrera armamentista

Reconocemos que la IA es un ámbito de competencia estratégica, como lo fueron antes las armas nucleares. Hacemos un llamamiento a los gobiernos, a quienes desarrollan IA de vanguardia e investigan y a la comunidad internacional para que actúen ahora, mediante mecanismos de gobernanza como los sistemas de reparto de beneficios, la promoción de aplicaciones de IA que sirvan al bienestar humano y la contención en sus aplicaciones más desestabilizadoras, con el fin de reducir estos riesgos mientras la decisión siga estando en nuestras manos. Debemos desarmar la próxima carrera armamentista, tanto de IA como nuclear, antes de que definan también el próximo siglo.

2. Desarrollo responsable

Los grupos o personas que desarrollan IA deben publicar de manera transparente los principios que guían el comportamiento de sus modelos, y deben rendir cuentas y ser responsables de que dichos modelos se ajusten a esos principios. La IA debe desarrollarse y supervisarse de forma que esté alineada con los intereses de la humanidad, incluidos el derecho internacional y el respeto de los derechos humanos.

Asimismo, ninguna organización debe iniciar, y ningún gobierno debe permitir, la automejora recursiva y totalmente automatizada de sistemas de inteligencia artificial sin contar con los medios para supervisar y, de ser necesario, detener dichos sistemas.

3. Uso responsable de la IA

Un sistema automatizado nunca debe tomar la decisión final de lanzar un arma nuclear. Hacemos un llamamiento a la adopción de un tratado internacional que prohíba la integración imprudente de la inteligencia artificial en los sistemas de mando, control y lanzamiento nuclear, de modo que se mantenga un control humano significativo.

Debemos prevenir el uso malicioso de la inteligencia artificial en operaciones cibernéticas y ataques contra infraestructuras nucleares críticas. Los Estados con armamento nuclear deben llevar a cabo revisiones de seguridad para reducir la vulnerabilidad de sus fuerzas nucleares ante un control o manipulación no autorizados por parte de la IA.

Promovemos el desarrollo y uso responsables de la inteligencia artificial para mejorar el bienestar humano, acelerar el progreso científico y médico, proteger el medioambiente, fortalecer la resiliencia y favorecer la paz, el desarrollo sostenible y el bien común.

4. Gobernanza responsable

Hacemos un llamamiento a gobiernos, corporaciones y organizaciones internacionales para que posibiliten una desaceleración coordinada del desarrollo de la IA de vanguardia mediante el establecimiento de mecanismos compartidos, tales como la verificación y evaluaciones internas y externas rigurosas.

Apoyamos al Panel Científico Internacional Independiente de las Naciones Unidas sobre IA, y la promoción de otras iniciativas en el espíritu de Magnifica Humanitas.

Hacemos un llamamiento a ampliar la investigación y el diálogo para proponer nuevas vías institucionales de gobernanza internacional de la IA y la futura implementación de iniciativas de gobernanza global.

5. Liderazgo responsable

Reconocemos que los desafíos que enfrentamos probablemente serán resueltos por la próxima generación de líderes. Se debe empoderar a la juventud para involucrarse con las amenazas nucleares, de IA y de otro tipo potencialmente catastróficas, mediante la educación, la mentoría, la asociación intergeneracional y la participación inclusiva en todas las regiones, culturas y comunidades. Debemos impulsar iniciativas educativas que fomenten la responsabilidad ética, el pensamiento crítico, la alfabetización mediática y en IA, y una cultura de paz.

Reconocemos que la humanidad enfrenta numerosas amenazas conectadas entre sí, cuyas consecuencias no intencionadas suelen afectar a quienes carecen de acceso o control sobre dichas tecnologías. Hacemos un llamamiento a un patrimonio común digital que amplíe los datos disponibles para avanzar en la comprensión y la acción frente a las armas nucleares, la IA sin gobernanza y otras amenazas existenciales.

6. Desarme nuclear

Hacemos un llamamiento a negociaciones urgentes, sostenidas y de buena fe que conduzcan, dentro de un marco acordado y con plazos definidos, a la eliminación verificable e irreversible de las armas nucleares. La comunidad internacional debe rechazar la normalización de las armas nucleares como instrumentos permanentes de seguridad, y fortalecer las normas humanitarias y jurídicas recogidas en el Tratado sobre la No Proliferación de Armas Nucleares y el Tratado de Prohibición de Armas Nucleares.

Hacemos un llamamiento a los Estados con armamento nuclear para que detengan la renovada carrera armamentista y la expansión de sus arsenales, reanuden las negociaciones bilaterales y multilaterales sobre control de armamentos y desarme, y cumplan con sus obligaciones y compromisos en virtud del derecho internacional. Los Estados deben perseguir restricciones y reducciones verificables; reducir los niveles de alerta; ampliar el tiempo de decisión; alejarse de las posturas de lanzamiento ante advertencia y de represalia inmediata; reducir el papel de las armas nucleares en las doctrinas de seguridad; fortalecer las comunicaciones en situaciones de crisis; prevenir operaciones cibernéticas dirigidas contra los sistemas de mando, control y comunicaciones nucleares; y fomentar la cooperación para prevenir malentendidos, errores de cálculo y una escalada no deseada.

Las naciones con armamento nuclear deben promover políticas y doctrinas que disminuyan el papel de las armas nucleares y reduzcan la probabilidad de un primer uso y de una guerra catastrófica.

Apelamos, como seres humanos, a los seres humanos: recuerden su humanidad, y olviden el resto." Bertrand Russell y Albert Einstein

Rome Declaration