La empresa detrás de Claude trabaja con el gobierno de Estados Unidos para impedir que los chatbots se usen con fines nucleares, aunque especialistas cuestionan su efectividad.
La compañía de inteligencia artificial Anthropic, creadora del asistente Claude, anunció que trabaja junto al Departamento de Energía (DOE) y la Administración Nacional de Seguridad Nuclear (NNSA) de Estados Unidos en un sistema destinado a impedir que la IA ayude a fabricar armas nucleares.
El proyecto surgió tras pruebas realizadas en servidores de Amazon Web Services con información sensible. Allí, la NNSA sometió a Claude a un proceso de verificación para detectar si podía generar o amplificar riesgos nucleares. Como resultado, desarrollaron un “clasificador nuclear”, un filtro que identifica conversaciones con posibles referencias a materiales, procesos o riesgos asociados a la proliferación de armas atómicas.
MIRÁ TAMBIÉN | Kali Uchis vuelve al país con su gira “The Sincerely, Tour”
“Queremos construir barreras proactivas que impidan el mal uso de los modelos de IA”, explicó Marina Favaro, directora de Políticas de Seguridad Nacional de Anthropic. Según la empresa, el sistema fue ajustado para detectar temas peligrosos sin censurar contenidos legítimos sobre energía o medicina nuclear.
Sin embargo, algunos expertos ponen en duda la verdadera necesidad de este tipo de medidas. Heidy Khlaaf, investigadora del AI Now Institute, considera que el anuncio tiene más de “teatro de seguridad” que de prevención efectiva. “Si el modelo nunca fue entrenado con información clasificada, no existe riesgo real de que pueda fabricar una bomba nuclear”, señaló.
Otros especialistas, como Oliver Stephenson, de la Federación de Científicos Estadounidenses, valoran el enfoque precautorio, pero advierten sobre el exceso de confianza en la regulación privada: “No sabemos cómo evolucionarán los modelos de aquí a cinco años, y vale la pena ser prudentes”.
Anthropic, por su parte, sostiene que su clasificador podría convertirse en un estándar voluntario de la industria, abierto a otras empresas de IA que deseen implementarlo para reducir riesgos en ámbitos sensibles como la defensa o la energía nuclear.
Con información de WIRED.
