Los agentes de IA ahora se están integrando en las funciones comerciales centrales a nivel mundial. Pronto, estos agentes podrían programar nuestras vidas, tomar decisiones clave y negociar acuerdos en nuestro nombre. La perspectiva es emocionante y ambiciosa, pero también plantea la pregunta: ¿quién los está supervisando?
Más de la mitad (51%) de las empresas han desplegado agentes de IAy el CEO de Salesforce, Marc Benioff, ha atacado a mil millones de agentes para fin de año. A pesar de su creciente influencia, las pruebas de verificación están notablemente ausentes. Estos agentes están siendo confiados de responsabilidades críticas en sectores sensibles, como la banca y la atención médica, sin la supervisión adecuada.
AI Los agentes requieren una programación clara, capacitación de alta calidad y ideas en tiempo real para llevar a cabo acciones de manera eficiente y precisa orientadas a objetivos. Sin embargo, no todos los agentes serán iguales. Algunos agentes pueden recibir datos y capacitación más avanzados, lo que lleva a un desequilibrio entre agentes a medida y bien entrenados y producidos en masa.
Esto podría representar un riesgo sistémico en el que los agentes más avanzados manipulen y engañen a los agentes menos avanzados. Con el tiempo, esta división entre los agentes podría crear una brecha en los resultados. Digamos que un agente tiene más experiencia en procesos legales y utiliza ese conocimiento para explotar o superar a otro agente con menos comprensión. El despliegue de agentes de IA por parte de las empresas es inevitable, y también lo es el surgimiento de nuevas estructuras de poder y riesgos de manipulación. Los modelos subyacentes serán los mismos para todos los usuarios, pero esta posibilidad de divergencia necesita monitoreo.
A diferencia del software tradicional, los agentes de IA operan en configuraciones evolucionadas y complejas. Su adaptabilidad los hace poderosos, pero también más propensos a fallas inesperadas y potencialmente catastróficas.
El 💜 de la tecnología de la UE
Los últimos rumores de la escena tecnológica de la UE, una historia de nuestro sabio fundador de Ol 'Boris y un arte de IA cuestionable. Es gratis, cada semana, en su bandeja de entrada. ¡Regístrese ahora!
Por ejemplo, un agente de IA podría diagnosticar erróneamente una condición crítica en un niño porque fue entrenado principalmente en datos de pacientes adultos. O un agente de IA Chatbot podría escalar una queja inofensiva de los clientes porque malinterpreta el sarcasmo como agresión, perdiendo lentamente a los clientes e ingresos debido a la mala interpretación.
Según la investigación de la industria, El 80% de las empresas han revelado que sus agentes de IA han tomado decisiones «deshonestas». Los problemas de alineación y seguridad ya son evidentes en ejemplos del mundo real, como agentes autónomos sobrepasan instrucciones claras y eliminan importantes trabajos.
Por lo general, cuando se produce un error humano importante, el empleado debe tratar con recursos humanos, puede ser suspendido y se lleva a cabo una investigación formal. Con los agentes de IA, esas barandillas no están en su lugar. Les damos acceso a nivel humano a materiales sensibles sin nada cercano a la supervisión de nivel humano.
Entonces, ¿estamos avanzando nuestros sistemas mediante el uso de agentes de IA, o estamos entregando la agencia antes de que los protocolos adecuados estén en su lugar?
La verdad es que estos agentes pueden aprender y adaptarse rápidamente de acuerdo con sus respectivos entornos, pero aún no son adultos responsables. No han experimentado años y años de aprendizaje, intento y fracaso, e interactuando con otros empresarios. Carecen de la madurez adquirida de la experiencia vivida. Darles autonomía con controles mínimos es como entregar las llaves de la compañía a un graduado intoxicado. Son entusiastas, inteligentes y maleables, pero también erráticos y necesitan supervisión.
Y, sin embargo, lo que las grandes empresas no reconocen es que esto es exactamente lo que están haciendo. Los agentes de IA están siendo conectados «sin problemas» a las operaciones con poco más que una demostración y un descargo de responsabilidad. No hay pruebas continuas y estandarizadas. No hay estrategia de salida clara cuando algo sale mal.
Lo que falta es un marco de verificación estructurado de múltiples capas, uno que prueba regularmente el comportamiento del agente en simulaciones de escenarios de alto riesgo y de alto riesgo. A medida que la adopción se acelera, la verificación se está convirtiendo en un requisito previo para garantizar que los agentes de IA sean aptos para su propósito.
Se requieren diferentes niveles de verificación según la sofisticación del agente. Los agentes de extracción de conocimiento simples, o aquellos entrenados para usar herramientas como Excel o Correo electrónico, pueden no requerir el mismo rigor de las pruebas como agentes sofisticados que replican una amplia gama de tareas que realizan los humanos. Sin embargo, necesitamos tener barandillas apropiadas, especialmente en entornos exigentes donde los agentes trabajan en colaboración con humanos y otros agentes.
Cuando los agentes comienzan a tomar decisiones a escala, el margen de error se reduce rápidamente. Si los agentes de IA estamos permitiendo que las operaciones críticas de control no sean probadas para su integridad, precisión y seguridad, corremos el riesgo de permitir que los agentes de IA causen estragos en la sociedad. Las consecuencias serán muy reales, y el costo del control de daños podría ser asombroso.
