Por qué esto es importante para la infraestructura de IA
Los servidores de inferencia vulnerables forman la columna vertebral de muchas pilas de inteligencia artificial de nivel empresarial y procesan indicaciones confidenciales, ponderaciones de modelos y datos de clientes. Oligo informó haber identificado miles de sockets ZeroMQ expuestos en la Internet pública, algunos vinculados a estos grupos de inferencia.
Si se explota, un atacante podría ejecutar código arbitrario en clústeres de GPU, escalar privilegios, exfiltrar datos de modelos o clientes, o instalar mineros de GPU, convirtiendo un activo de infraestructura de IA en un pasivo.
SGLang ha sido adoptado por varias grandes empresas, incluidas xAI, AMD, Nvidia, Intel, LinkedIn, Cursor, Oracle Cloud y Google Cloud, Lumelsky. anotado.
