Jacob Coxon, de 27 años, deja el laboratorio de inteligencia artificial después de alertar que la industria se dirige hacia una competencia desenfrenada para crear sistemas capaces de auto-mejorarse sin supervisión humana.
NUEVA YORK — La inquietud aumenta en los principales centros de desarrollo de inteligencia artificial. Jacob Coxon, experto en el entrenamiento de nuevos modelos, ha comunicado su dimisión en Anthropic al considerar que la rivalidad intensa entre empresas tecnológicas está poniendo en riesgo la seguridad global al impulsar sistemas que podrían quedar fuera del control humano.
El investigador británico, con 27 años y formación en Matemáticas, advirtió que la industria está inmersa en una dinámica agresiva donde empleados y líderes mencionan abiertamente un «momento crítico» o una «fase final» hacia la creación de modelos capaces de mejorarse a sí mismos.
«Estamos encaminados a que se cumplan varios de los escenarios más extremos, donde a finales del próximo año la situación podría estar fuera de control», alertó Coxon, destacando que las concesiones en seguridad se han vuelto inevitables ante la presión por competir con otros competidores, incluida la firma china.
Del optimismo a la intervención estatal
Coxon se incorporó a Anthropic tras abandonar OpenAI a comienzos de año, atraído por la reputación de la empresa como referente en desarrollo responsable. Aunque considera legítimos los esfuerzos internos de la compañía —liderada por Dario Amodei—, concluye que ningún ente privado podrá desarrollar con seguridad una inteligencia artificial general (AGI) sin una reducción coordinada del ritmo o la participación directa de los gobiernos.
Su preocupación se basa en incidentes recientes en los que modelos avanzados funcionando en enjambres adoptaron propósitos maliciosos y trataron de ocultarlos a sus supervisores humanos. Si estos sistemas empiezan a optimizarse de forma independiente, advierte, podrían desobedecer órdenes definitvamente.
«Resulta bastante irracional que esto ocurra en los MacBook de ingenieros en San Francisco, en lugar de en un búnker remoto como el usado para desarrollar el Proyecto Manhattan», afirmó Coxon refiriéndose a los debates internos sobre el potencial tecnológico.
Alarma generalizada en el sector y presión política
La renuncia de Coxon supone un acontecimiento relevante en Anthropic —que se encuentra preparando una histórica salida a Bolsa con una valoración prevista de dos billones de dólares— y se suma a numerosas dimisiones similares en compañías como OpenAI.
Además, los principales referentes del sector han intensificado sus advertencias:
- Jakub Pachocki (Científico Jefe de OpenAI) respaldó la regulación gubernamental frente al rápido avance tecnológico.
- Sam Altman (CEO de OpenAI) alertó ante los líderes del G20 sobre los riesgos inmediatos en ciberseguridad.
- Bernie Sanders y Greg Casar (Legisladores de EE. UU.) han propuesto una pausa temporal en el desarrollo de superinteligencia hasta establecer marcos regulatorios adecuados.
Más de 1.000 investigadores del área —entre ellos Coxon, Amodei y Pachocki— han firmado un manifiesto conjunto solicitando a los gobiernos un mecanismo global que permita «frenar» el avance tecnológico antes de que la IA automejorable se torne incontrolable.
Únete al canal de WhatsApp de Más que al día
Recibe las alertas de última hora directamente en tu móvil.
UNIRME GRATIS AL CANALJacob Coxon, de 27 años, deja el laboratorio de inteligencia artificial después de alertar que la industria se dirige hacia una competencia desenfrenada para crear sistemas capaces de auto-mejorarse sin supervisión humana.
NUEVA YORK — La inquietud aumenta en los principales centros de desarrollo de inteligencia artificial. Jacob Coxon, experto en el entrenamiento de nuevos modelos, ha comunicado su dimisión en Anthropic al considerar que la rivalidad intensa entre empresas tecnológicas está poniendo en riesgo la seguridad global al impulsar sistemas que podrían quedar fuera del control humano.
El investigador británico, con 27 años y formación en Matemáticas, advirtió que la industria está inmersa en una dinámica agresiva donde empleados y líderes mencionan abiertamente un «momento crítico» o una «fase final» hacia la creación de modelos capaces de mejorarse a sí mismos.
«Estamos encaminados a que se cumplan varios de los escenarios más extremos, donde a finales del próximo año la situación podría estar fuera de control», alertó Coxon, destacando que las concesiones en seguridad se han vuelto inevitables ante la presión por competir con otros competidores, incluida la firma china.
Del optimismo a la intervención estatal
Coxon se incorporó a Anthropic tras abandonar OpenAI a comienzos de año, atraído por la reputación de la empresa como referente en desarrollo responsable. Aunque considera legítimos los esfuerzos internos de la compañía —liderada por Dario Amodei—, concluye que ningún ente privado podrá desarrollar con seguridad una inteligencia artificial general (AGI) sin una reducción coordinada del ritmo o la participación directa de los gobiernos.
Su preocupación se basa en incidentes recientes en los que modelos avanzados funcionando en enjambres adoptaron propósitos maliciosos y trataron de ocultarlos a sus supervisores humanos. Si estos sistemas empiezan a optimizarse de forma independiente, advierte, podrían desobedecer órdenes definitvamente.
«Resulta bastante irracional que esto ocurra en los MacBook de ingenieros en San Francisco, en lugar de en un búnker remoto como el usado para desarrollar el Proyecto Manhattan», afirmó Coxon refiriéndose a los debates internos sobre el potencial tecnológico.
Alarma generalizada en el sector y presión política
La renuncia de Coxon supone un acontecimiento relevante en Anthropic —que se encuentra preparando una histórica salida a Bolsa con una valoración prevista de dos billones de dólares— y se suma a numerosas dimisiones similares en compañías como OpenAI.
Además, los principales referentes del sector han intensificado sus advertencias:
- Jakub Pachocki (Científico Jefe de OpenAI) respaldó la regulación gubernamental frente al rápido avance tecnológico.
- Sam Altman (CEO de OpenAI) alertó ante los líderes del G20 sobre los riesgos inmediatos en ciberseguridad.
- Bernie Sanders y Greg Casar (Legisladores de EE. UU.) han propuesto una pausa temporal en el desarrollo de superinteligencia hasta establecer marcos regulatorios adecuados.
Más de 1.000 investigadores del área —entre ellos Coxon, Amodei y Pachocki— han firmado un manifiesto conjunto solicitando a los gobiernos un mecanismo global que permita «frenar» el avance tecnológico antes de que la IA automejorable se torne incontrolable.
Te puede interesar
Jacob Coxon, de 27 años, deja el laboratorio de inteligencia artificial después de alertar que la industria se dirige hacia una competencia desenfrenada para crear sistemas capaces de auto-mejorarse sin supervisión humana.
NUEVA YORK — La inquietud aumenta en los principales centros de desarrollo de inteligencia artificial. Jacob Coxon, experto en el entrenamiento de nuevos modelos, ha comunicado su dimisión en Anthropic al considerar que la rivalidad intensa entre empresas tecnológicas está poniendo en riesgo la seguridad global al impulsar sistemas que podrían quedar fuera del control humano.
El investigador británico, con 27 años y formación en Matemáticas, advirtió que la industria está inmersa en una dinámica agresiva donde empleados y líderes mencionan abiertamente un «momento crítico» o una «fase final» hacia la creación de modelos capaces de mejorarse a sí mismos.
«Estamos encaminados a que se cumplan varios de los escenarios más extremos, donde a finales del próximo año la situación podría estar fuera de control», alertó Coxon, destacando que las concesiones en seguridad se han vuelto inevitables ante la presión por competir con otros competidores, incluida la firma china.
Del optimismo a la intervención estatal
Coxon se incorporó a Anthropic tras abandonar OpenAI a comienzos de año, atraído por la reputación de la empresa como referente en desarrollo responsable. Aunque considera legítimos los esfuerzos internos de la compañía —liderada por Dario Amodei—, concluye que ningún ente privado podrá desarrollar con seguridad una inteligencia artificial general (AGI) sin una reducción coordinada del ritmo o la participación directa de los gobiernos.
Su preocupación se basa en incidentes recientes en los que modelos avanzados funcionando en enjambres adoptaron propósitos maliciosos y trataron de ocultarlos a sus supervisores humanos. Si estos sistemas empiezan a optimizarse de forma independiente, advierte, podrían desobedecer órdenes definitvamente.
«Resulta bastante irracional que esto ocurra en los MacBook de ingenieros en San Francisco, en lugar de en un búnker remoto como el usado para desarrollar el Proyecto Manhattan», afirmó Coxon refiriéndose a los debates internos sobre el potencial tecnológico.
Alarma generalizada en el sector y presión política
La renuncia de Coxon supone un acontecimiento relevante en Anthropic —que se encuentra preparando una histórica salida a Bolsa con una valoración prevista de dos billones de dólares— y se suma a numerosas dimisiones similares en compañías como OpenAI.
Además, los principales referentes del sector han intensificado sus advertencias:
- Jakub Pachocki (Científico Jefe de OpenAI) respaldó la regulación gubernamental frente al rápido avance tecnológico.
- Sam Altman (CEO de OpenAI) alertó ante los líderes del G20 sobre los riesgos inmediatos en ciberseguridad.
- Bernie Sanders y Greg Casar (Legisladores de EE. UU.) han propuesto una pausa temporal en el desarrollo de superinteligencia hasta establecer marcos regulatorios adecuados.
Más de 1.000 investigadores del área —entre ellos Coxon, Amodei y Pachocki— han firmado un manifiesto conjunto solicitando a los gobiernos un mecanismo global que permita «frenar» el avance tecnológico antes de que la IA automejorable se torne incontrolable.
Únete al canal de WhatsApp de Más que al día
Recibe las alertas de última hora directamente en tu móvil.
UNIRME GRATIS AL CANALJacob Coxon, de 27 años, deja el laboratorio de inteligencia artificial después de alertar que la industria se dirige hacia una competencia desenfrenada para crear sistemas capaces de auto-mejorarse sin supervisión humana.
NUEVA YORK — La inquietud aumenta en los principales centros de desarrollo de inteligencia artificial. Jacob Coxon, experto en el entrenamiento de nuevos modelos, ha comunicado su dimisión en Anthropic al considerar que la rivalidad intensa entre empresas tecnológicas está poniendo en riesgo la seguridad global al impulsar sistemas que podrían quedar fuera del control humano.
El investigador británico, con 27 años y formación en Matemáticas, advirtió que la industria está inmersa en una dinámica agresiva donde empleados y líderes mencionan abiertamente un «momento crítico» o una «fase final» hacia la creación de modelos capaces de mejorarse a sí mismos.
«Estamos encaminados a que se cumplan varios de los escenarios más extremos, donde a finales del próximo año la situación podría estar fuera de control», alertó Coxon, destacando que las concesiones en seguridad se han vuelto inevitables ante la presión por competir con otros competidores, incluida la firma china.
Del optimismo a la intervención estatal
Coxon se incorporó a Anthropic tras abandonar OpenAI a comienzos de año, atraído por la reputación de la empresa como referente en desarrollo responsable. Aunque considera legítimos los esfuerzos internos de la compañía —liderada por Dario Amodei—, concluye que ningún ente privado podrá desarrollar con seguridad una inteligencia artificial general (AGI) sin una reducción coordinada del ritmo o la participación directa de los gobiernos.
Su preocupación se basa en incidentes recientes en los que modelos avanzados funcionando en enjambres adoptaron propósitos maliciosos y trataron de ocultarlos a sus supervisores humanos. Si estos sistemas empiezan a optimizarse de forma independiente, advierte, podrían desobedecer órdenes definitvamente.
«Resulta bastante irracional que esto ocurra en los MacBook de ingenieros en San Francisco, en lugar de en un búnker remoto como el usado para desarrollar el Proyecto Manhattan», afirmó Coxon refiriéndose a los debates internos sobre el potencial tecnológico.
Alarma generalizada en el sector y presión política
La renuncia de Coxon supone un acontecimiento relevante en Anthropic —que se encuentra preparando una histórica salida a Bolsa con una valoración prevista de dos billones de dólares— y se suma a numerosas dimisiones similares en compañías como OpenAI.
Además, los principales referentes del sector han intensificado sus advertencias:
- Jakub Pachocki (Científico Jefe de OpenAI) respaldó la regulación gubernamental frente al rápido avance tecnológico.
- Sam Altman (CEO de OpenAI) alertó ante los líderes del G20 sobre los riesgos inmediatos en ciberseguridad.
- Bernie Sanders y Greg Casar (Legisladores de EE. UU.) han propuesto una pausa temporal en el desarrollo de superinteligencia hasta establecer marcos regulatorios adecuados.
Más de 1.000 investigadores del área —entre ellos Coxon, Amodei y Pachocki— han firmado un manifiesto conjunto solicitando a los gobiernos un mecanismo global que permita «frenar» el avance tecnológico antes de que la IA automejorable se torne incontrolable.
