La semana pasada, un juez dictó una opinión de 223 páginas que criticaba al Departamento de Seguridad Nacional por cómo ha llevado a cabo redadas contra inmigrantes indocumentados en Chicago. Enterradas en una nota a pie de página había dos frases que revelaban que al menos un miembro de las fuerzas del orden utilizó ChatGPT para escribir un informe destinado a documentar cómo el oficial usó la fuerza contra un individuo.
El decisiónescrito por la jueza de distrito estadounidense Sara Ellis, discrepó con la forma en que los miembros del Servicio de Inmigración y Control de Aduanas y otras agencias se comportaron mientras llevaban a cabo su llamada “Operación Midway Blitz” que vio más de 3.300 personas arrestadas y más de 600 detenidos bajo custodia de ICE, incluidos repetidos conflictos violentos con manifestantes y ciudadanos. Se suponía que esos incidentes serían documentados por las agencias en informes sobre el uso de la fuerza, pero la jueza Ellis señaló que a menudo había inconsistencias entre lo que aparecía en la cinta de las cámaras corporales de los oficiales y lo que terminaba en el registro escrito, lo que la llevó a considerar los informes poco confiables.
Más aún, dijo que al menos un informe ni siquiera fue escrito por un oficial. En cambio, según su nota a pie de página, las imágenes de la cámara corporal revelaron que un agente «le pidió a ChatGPT que compilara una narrativa para un informe basada en una breve oración sobre un encuentro y varias imágenes». Según se informa, el oficial presentó el resultado de ChatGPT como informe, a pesar de que se le proporcionó información extremadamente limitada y probablemente completó el resto con suposiciones.
«En la medida en que los agentes utilicen ChatGPT para crear sus informes de uso de la fuerza, esto socava aún más su credibilidad y puede explicar la inexactitud de estos informes cuando se ven a la luz de las imágenes (de la cámara corporal)», escribió Ellis en la nota al pie.
Según el Prensa asociadase desconoce si el Departamento de Seguridad Nacional tiene una política clara con respecto al uso de herramientas de IA generativa para crear informes. Se podría suponer que, como mínimo, está lejos de ser la mejor práctica, considerando que la IA generativa llenar los vacíos con información completamente fabricada cuando no tiene nada de qué extraer en sus datos de entrenamiento.
El DHS tiene una pagina dedicada con respecto al uso de IA en la agencia, y ha implementó su propio chatbot para ayudar a los agentes a completar las “actividades diarias” después de someterse a ejecuciones de prueba con chatbots disponibles comercialmente, incluido ChatGPT, pero la nota al pie no indica que la herramienta interna de la agencia sea la que utilizó el oficial. Sugiere que la persona que completó el informe fue a ChatGPT y cargó la información para completar el informe.
No es de extrañar que un experto le dijera a Associated Press que este es el «peor de los casos» para el uso de la IA por parte de las fuerzas del orden.
