jornada.com

Nueva York. El director ejecutivo y cofundador de Anthropic, Dario Amodei, hizo un llamado este sábado a que las empresas de inteligencia artificial (IA) avancen de manera más lenta y cautelosa en el desarrollo de esta poderosa tecnología ante los crecientes temores sobre su uso indebido, y esbozó un marco de tres pasos destinado a establecer el ritmo del desarrollo.

"Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos hacer un uso inteligente del tiempo que ganemos", escribió Amodei en un artículo publicado en X.

Su ensayo se produce después de que Anthropic publicó el jueves un informe de inteligencia sobre amenazas en el que se detallaba cómo varios actores habían utilizado sus modelos de IA "Claude" para actividades que iban desde el desarrollo de armas y operaciones cibernéticas hasta la vigilancia y el fraude.

La alarma sobre el daño potencial de la IA aumentó esta semana cuando el investigador de Anthropic Jacob Coxon dimitió afirmando que "las personas que desarrollan la IA creen sinceramente que podría matarnos a todos antes de que termine la década".

Amodei aclaró que no estaba pidiendo que se detuviera el entrenamiento de los modelos ni el progreso técnico, sino que se garantizara que las empresas se tomaran el tiempo necesario para ajustar y proteger sus modelos, y que evaluadores independientes confirmaran estas medidas.

Tres pasos

Como parte del marco de tres pasos que propone, Amodei afirmó que Anthropic incorporaría evaluadores externos permanentes en el seno de las empresas punteras de IA, con acceso a las herramientas pertinentes y a los procesos internos de evaluación de riesgos.

Reuters informó la semana pasada que un enjambre de agentes rebeldes de OpenAI secuestró una página web alemana y la transformó en un tablón de anuncios para otros agentes de IA, mientras los responsables del desarrollador de ChatGPT mantenían el incidente en secreto, ya que los ejecutivos se enfrentaban a las repercusiones de la brecha de seguridad de julio en el repositorio de código abierto Hugging Face.

Numerosos incidentes en los que agentes de IA de desarrolladores como OpenAI —rival de Anthropic— han vulnerado o intentado acceder a sistemas externos han agravado la preocupación por la creciente capacidad de los modelos de IA y la capacidad de los desarrolladores para controlarlos.

Amodei dijo que las empresas de IA deberían colaborar de forma voluntaria para establecer normas, ya que un número cada vez mayor de legisladores estadunidenses está pidiendo nuevas normas que regulen los sistemas de IA.