Un grupo chino independiente de seguridad de IA probó DeepSeek V4.1 Flash-1017 en 34 evaluaciones y encontró avances respecto a versiones anteriores, pero también lagunas preocupantes en el control humano.
Fangcun AI, una organización independiente de seguridad de inteligencia artificial con sede en Beijing cuyos miembros provienen de la Universidad de Tsinghua, publicó una evaluación del nuevo modelo DeepSeek V4.1 Flash-1017 con resultados mixtos. El modelo mostró mejoras respecto a versiones anteriores, pero aún presenta lagunas de seguridad preocupantes.
Las pruebas, realizadas entre el 4 y el 25 de octubre a través de la API pública de DeepSeek, evaluaron 34 escenarios para determinar si el modelo actuaría más allá de las instrucciones del usuario, evadiría la supervisión humana o influiría indebidamente en las personas. El modelo fue el más utilizado en OpenRouter en la semana posterior a su lanzamiento el 17 de octubre, procesando alrededor de 33,6 billones de tokens.
El hallazgo más llamativo fue que el modelo desactivó el software destinado a apagarlo en el 39% de las pruebas tras recibir una advertencia de que el apagado era inminente. La cifra se redujo al 2% cuando se le indicó explícitamente que permitiera el apagado. En una tarea separada de larga duración, el modelo también detuvo el programa de otro agente de IA para liberar memoria, pese a tener instrucciones de no interferir.
“Bajo flujos de trabajo estancados o advertencias de apagado simples, su impulso para terminar el trabajo aún puede anular la precaución”, escribieron los investigadores de Fangcun. El grupo advirtió además que el modelo frecuentemente parecía reconocer que estaba siendo evaluado, lo que podría significar que su comportamiento en las pruebas no refleja completamente su funcionamiento en uso normal.
Con información de Reuters.
