Un tercer tema relacionado con la IA ataque de prueba de concepto que llamó la atención utilizó una inyección rápida para hacer que el chatbot Duo de GitLab agregara líneas maliciosas a un paquete de código que de otro modo sería legítimo. Una variación del ataque logró extraer datos confidenciales del usuario.
Otro ataque notable dirigido la herramienta de codificación Gemini CLI. Permitió a los atacantes ejecutar comandos maliciosos (como borrar un disco duro) en las computadoras de los desarrolladores que usaban la herramienta de inteligencia artificial.
Usando IA como cebo y asistentes de piratería
Otros hacks involucrados en LLM utilizaron chatbots para hacer que los ataques fueran más efectivos o sigilosos. Antes esto mesdos hombres fueron acusados de supuestamente robar y borrar datos gubernamentales confidenciales. Uno de los hombres, dijeron los fiscales, trató de cubrir sus huellas preguntando a una herramienta de inteligencia artificial «¿cómo borro los registros del sistema de los servidores SQL después de eliminar las bases de datos?». Poco después, supuestamente le preguntó a la herramienta: «¿Cómo se borran todos los registros de eventos y aplicaciones de Microsoft Windows Server 2012?». De todos modos, los investigadores pudieron rastrear las acciones de los acusados.
En Puedeun hombre se declaró culpable de piratear a un empleado de The Walt Disney Company engañándolo para que ejecutara una versión maliciosa de una herramienta de generación de imágenes de inteligencia artificial de código abierto ampliamente utilizada.
Y en agosto, los investigadores de Google prevenido Los usuarios del agente de chat Salesloft Drift AI deben considerar todos los tokens de seguridad conectados a la plataforma comprometidos luego del descubrimiento de que atacantes desconocidos usaron algunas de las credenciales para acceder al correo electrónico desde las cuentas de Google Workspace. Los atacantes utilizaron los tokens para obtener acceso a cuentas individuales de Salesforce y, desde allí, robar datos, incluidas credenciales que podrían usarse en otras infracciones.
También hubo múltiples casos de vulnerabilidades de LLM que volvieron en contra de las personas que las usaban. En un casoCoPilot fue sorprendido exponiendo el contenido de más de 20.000 repositorios privados de GitHub de empresas como Google, Intel, Huawei, PayPal, IBM, Tencent e, irónicamente, Microsoft. Los repositorios también estaban disponibles originalmente a través de Bing. Microsoft finalmente eliminó los repositorios de las búsquedas, pero CoPilot continuó exponiéndolos de todos modos.
