Personaje.Aiuna plataforma líder para chatear y jugar con personajes generados por IA, presentó el martes su próximo modelo de generación de videos, Avatarfx. Disponible en Beta cerrada, el modelo anima a los personajes de la plataforma en una variedad de estilos y voces, desde personajes humanos hasta caricaturas de animales 2D.
Avatarfx se distingue de competidores como Sora de OpenAi porque no es únicamente un generador de texto a video. Los usuarios también pueden generar videos a partir de imágenes preexistentes, lo que permite a los usuarios animar fotos de personas reales.
Es inmediatamente evidente cómo este tipo de tecnología podría aprovecharse por el abuso: los usuarios podrían subir fotos de celebridades o personas que conocen en la vida real y crear videos de aspecto realista en los que hacen o dicen algo incriminatorio. Ya existe la tecnología para crear defectos profundos convincentes, pero incorporándola en productos de consumo populares como el carácter. AI solo exacerba el potencial para que se use de manera irresponsable.
Nos hemos comunicado con el personaje.
El personaje.Ai ya enfrenta problemas con la seguridad en su plataforma. Los padres han presentado demandas contra la compañía, alegando que sus chatbots alentó a sus hijos a la autolesión, a suicidarse o matar a sus padres.
En un caso, un niño de catorce años murió por suicidio después de que, según los informes, desarrolló un relación obsesiva con un bot de IA en el personaje.Ai basado en un personaje de «Game of Thrones». Poco antes de su muerte, se abrió a la IA sobre tener pensamientos suicidas, y la IA lo alentó a seguir la Ley, según presentaciones judiciales.
Estos son ejemplos extremos, pero demuestran cómo las personas pueden ser manipuladas emocionalmente por los chatbots de IA solo a través de mensajes de texto. Con la incorporación del video, las relaciones que las personas tienen con estos personajes podrían sentirse aún más realistas.
El personaje.Ai ha respondido a las acusaciones en su contra construyendo controles parentales y salvaguardas adicionales, pero como con cualquier aplicación, los controles solo son efectivos cuando realmente se usan. A menudo, los niños usan tecnología de una manera que sus padres no conocen.
