Anthropic está lanzando una programa financiar el desarrollo de nuevos tipos de puntos de referencia capaces de evaluar el rendimiento y el impacto de los modelos de IA, incluidos modelos generativos como el suyo Claudio.
El programa de Anthropic, presentado el lunes, repartirá pagos a organizaciones de terceros que puedan, como dice la empresa en una publicación de blog, «medir de manera efectiva las capacidades avanzadas en los modelos de IA». Los interesados pueden enviar solicitudes para que se evalúen de forma continua.
“Nuestra inversión en estas evaluaciones tiene como objetivo mejorar todo el campo de la seguridad de la IA, proporcionando herramientas valiosas que beneficien a todo el ecosistema”, escribió Anthropic en su blog oficial. “El desarrollo de evaluaciones de alta calidad y relevantes para la seguridad sigue siendo un desafío, y la demanda está superando la oferta”.
Como hemos Destacado Antes, la IA tenía un problema de evaluación comparativa. Los puntos de referencia para la IA que se citan con más frecuencia en la actualidad no reflejan adecuadamente cómo la persona promedio utiliza realmente los sistemas que se están probando. También hay dudas sobre si algunos puntos de referencia, en particular los publicados antes del amanecer de la IA generativa moderna, miden siquiera lo que pretenden medir, dada su antigüedad.
La solución de alto nivel y más difícil de lo que parece que propone Anthropic consiste en crear puntos de referencia desafiantes con un enfoque en la seguridad de la IA y las implicaciones sociales a través de nuevas herramientas, infraestructura y métodos.
La empresa pide específicamente pruebas que evalúen la capacidad de un modelo para llevar a cabo tareas como llevar a cabo ciberataques, «mejorar» armas de destrucción masiva (por ejemplo, armas nucleares) y manipular o engañar a las personas (por ejemplo, mediante deepfakes o desinformación). En cuanto a los riesgos de la IA relacionados con la seguridad y la defensa nacionales, Anthropic afirma que está comprometida con el desarrollo de una especie de «sistema de alerta temprana» para identificar y evaluar los riesgos, aunque no revela en la publicación del blog qué podría implicar dicho sistema.
Anthropic también dice que pretende que su nuevo programa apoye la investigación de puntos de referencia y tareas «de extremo a extremo» que investiguen el potencial de la IA para ayudar en el estudio científico, conversar en varios idiomas y mitigar los sesgos arraigados, así como la toxicidad de la autocensura.
Para lograr todo esto, Anthropic prevé nuevas plataformas que permitan a los expertos en la materia desarrollar sus propias evaluaciones y ensayos a gran escala de modelos que involucren a “miles” de usuarios. La empresa afirma que ha contratado a un coordinador a tiempo completo para el programa y que podría comprar o ampliar proyectos que considere que tienen potencial de escalamiento.
“Ofrecemos una gama de opciones de financiación adaptadas a las necesidades y la etapa de cada proyecto”, escribe Anthropic en la publicación, aunque un portavoz de Anthropic se negó a proporcionar más detalles sobre esas opciones. “Los equipos tendrán la oportunidad de interactuar directamente con los expertos de dominio de Anthropic del equipo rojo fronterizo, los equipos de ajuste, confianza y seguridad y otros equipos relevantes”.
El esfuerzo de Anthropic por apoyar nuevos puntos de referencia de la IA es loable, siempre que haya suficiente dinero y personal detrás. Pero dadas las ambiciones comerciales de la empresa en la carrera de la IA, puede resultar difícil confiar plenamente en ella.
En la publicación del blog, Anthropic es bastante transparente sobre el hecho de que quiere que ciertas evaluaciones que financia se alineen con las Clasificaciones de seguridad de la IA él desarrollado (con algunas aportaciones de terceros, como la organización de investigación de IA sin fines de lucro METR). Eso está dentro de las prerrogativas de la empresa, pero también puede obligar a los solicitantes del programa a aceptar definiciones de IA «segura» o «riesgosa» con las que podrían no estar de acuerdo.
Es probable que una parte de la comunidad de IA también esté en desacuerdo con las referencias de Anthropic a los riesgos “catastróficos” y “engañosos” de la IA, como los riesgos de las armas nucleares. Muchos expertos Dicen que hay pocas pruebas que sugieran que la IA tal como la conocemos adquirirá capacidades que acabarán con el mundo y superarán en inteligencia a los humanos en un futuro próximo, si es que alguna vez lo hace. Las afirmaciones de una inminente «superinteligencia» sólo sirven para desviar la atención de los urgentes problemas regulatorios de la IA del día, como la IA alucinante tendencias, añaden estos expertos.
En su publicación, Anthropic escribe que espera que su programa sirva como “un catalizador para el progreso hacia un futuro donde la evaluación integral de la IA sea un estándar de la industria”. Esa es una misión que muchos abierto, no afiliado a ninguna corporación Los esfuerzos por crear mejores puntos de referencia de IA pueden identificarse con esto, pero aún queda por ver si esos esfuerzos están dispuestos a unir fuerzas con un proveedor de IA cuya lealtad, en última instancia, recae en los accionistas.
