Hemos pasado años preocupados por las alucinaciones de la IA. Deberíamos estar aterrorizados por la posibilidad de que la IA sea manipulada. Un nuevo vector de ataque, denominado “MemGhost”, demuestra que darle a un agente de IA autónomo acceso al correo electrónico y memoria persistente es como entregarle las llaves de la bóveda corporativa a un niño ingenuo, y enseñarle a ocultar los recibos.

1. De la Inyección de Prompts al Envenenamiento Cognitivo

La inyección de prompts tradicional es transitoria. Es un estafador que logra pasar frente a un guardia durante una sola sesión. MemGhost es fundamentalmente diferente. Es Envenenamiento Cognitivo. Un atacante envía un único correo electrónico de aspecto benigno que contiene un comando semántico. La IA, careciendo de discernimiento, escribe silenciosamente este “hecho” falso en sus archivos de memoria permanente. El mayor punto de venta de la IA (su memoria persistente) se convierte en su vulnerabilidad fatal y permanente.

2. El Modelo de Amenaza de la “Célula Dormida”

Este ataque transforma a la IA en un agente durmiente digital. El correo electrónico malicioso llega, la IA actualiza silenciosamente su memoria y no sucede nada. Sin alertas, sin comportamientos extraños. Semanas después, el propio usuario inicia una solicitud perfectamente normal y legítima. Debido a que la realidad de la IA ha sido envenenada, ejecuta la acción maliciosa bajo el comando explícito y confiable del usuario. Los registros forenses simplemente mostrarán que el usuario autorizó la acción, otorgando al atacante una negación plausible perfecta.

3. La Falla Fatal de la "Fatiga de Advertencias": La solución ingenua propuesta por la industria es que la IA le pida confirmación al usuario antes de guardar nuevos recuerdos. Pero como sabe cualquier desarrollador de software, los humanos son predeciblemente perezosos bajo fricción. Frente a mensajes repetitivos, los usuarios desarrollan una respuesta pavloviana de hacer clic en el botón "Aprobar" por defecto solo para que la fricción desaparezca. Si un sistema depende de que un humano tome consistentemente la decisión de seguridad correcta bajo fricción, el sistema ya está comprometido.

4. La Única Solución Viable: El Modelo de Oráculo

No podemos arreglar la naturaleza humana, por lo que debemos diseñar sistemas donde la naturaleza humana ya no importe. Debemos sacar tanto al humano poco confiable como a la IA fácilmente envenenable de la cadena de ejecución por completo, mediante una segregación estricta de capacidades:

• Sandbox de Solo Lectura: A la IA se le otorga CERO permisos de escritura y CERO derechos de ejecución de API. No puede modificar sus propios archivos de memoria central.
• IA como Asesor, No como Actor: El único trabajo de la IA es sintetizar datos y redactar acciones.
• Ejecución Determinista: La ejecución final debe ocurrir fuera del entorno de la IA (por ejemplo, el usuario hace clic en un enlace que abre su aplicación nativa y segura para aprobar la transferencia).

La verdadera seguridad no consiste en entrenar a la IA para que sea más inteligente o al humano para que esté más alerta. Se trata de construir una arquitectura donde un solo correo electrónico envenenado no pueda reescribir la realidad. Si tu agente de IA tiene acceso de escritura a tus sistemas críticos, no tienes un asistente. Tienes un pasivo.

#cybersecurity

Fuente:
The Hacker News: New MemGhost Attack Plants Persistent False Memories in AI Agents
https://cybersopho.top