En una nota a pie de página de dos frases en un voluminoso dictamen, una jueza federal criticó recientemente el uso que hacen agentes de inmigración de herramientas de inteligencia artificial para redactar los informes con que justifican el uso de la fuerza.
La crítica de una jueza a los agentes de inmigración que usan ChatGPT para escribir informes sobre el uso de la fuerza en Chicago
Con dos frases en una nota a pie de página, un juez levantó serias dudas sobre la credibilidad de los informes policiales escritos con ChatGPT.
Por:Univision y AP
Video Operación Charlotte's Web: Patrulla Fronteriza la califica de exitosa, pero los datos la contradicen
La jueza federal de distrito Sara Ellis escribió la nota a pie de página en un dictamen de 223 páginas emitido la semana pasada, señalando que el empleo que hacen de ChatGPT socava la credibilidad de los agentes y "podría explicar la inexactitud de los informes".
Ellis describió lo que vio en al menos un video de cámara corporal, escribiendo que un agente le pide a la IA un relato para un informe después de proporcionar al programa una breve descripción y varias imágenes. La jueza señaló discrepancias fácticas entre la narración oficial sobre las respuestas de las fuerzas del orden y lo que mostraban las grabaciones de las cámaras corporales.
Los expertos afirman que el uso de herramientas de inteligencia artificial para redactar un informe que debería contener la perspectiva específica del agente sin tener en cuenta su experiencia real es el peor uso posible de la tecnología y plantea serias preocupaciones sobre la precisión y la privacidad.
La perspectiva necesaria de un agente en los reportes: no solo IA
Las fuerzas del orden de todo el país han estado lidiando con la creación de barreras que permitan a los agentes utilizar la tecnología de IA, cada vez más disponible, manteniendo la precisión, la privacidad y el profesionalismo. Los expertos afirmaron que el ejemplo relatado en el dictamen no cumplía con ese reto.
“Lo que hizo este sujeto es lo peor de los dos mundos. Darle una sola frase y unas cuantas imágenes —si es cierto, si eso es lo que ocurrió aquí— contradice todos los consejos que tenemos. Es una pesadilla”, declaró Ian Adams, profesor adjunto de Criminología en la Universidad de Carolina del Sur, quien forma parte de un grupo de trabajo sobre inteligencia artificial a través del Consejo para la Justicia Penal, una organización de expertos no partidista.
Video Estas son las consecuencias legales de pagarle a coyotes por trasladar familiares a EEUU
El Departamento de Seguridad Nacional no respondió a las solicitudes de comentarios y no estaba claro si la agencia contaba con directrices o políticas sobre el uso de IA por parte de los agentes.
Adams afirmó que pocos departamentos han implementado políticas, pero los que sí lo han hecho suelen prohibir el uso de IA predictiva al redactar informes que justifican las decisiones de las fuerzas del orden, especialmente los informes sobre el uso de la fuerza. Los tribunales han establecido un estándar denominado razonabilidad objetiva al considerar si la fuerza estuvo justificado, basándose en gran medida en la perspectiva del agente en ese escenario específico.
“Necesitamos los hechos específicos y lo que en concreto pensó ese agente para saber si se trató de un uso justificado de la fuerza”, declaró Adams. “Ese es el peor escenario posible, salvo que se le pida explícitamente que invente hechos, porque se le está rogando que invente hechos en esta situación de alto riesgo”.
Las dudas sobre privacidad que plantea la utilización de la IA por parte de agentes de policía
Además de generar inquietud sobre un informe generado por IA que describe de forma inexacta lo sucedido, el uso de IA también plantea posibles problemas de privacidad.
Katie Kinsey, jefa de personal y asesora de políticas tecnológicas del Proyecto Policial de la Facultad de Derecho de la Universidad de Nueva York, afirmó que si el agente en cuestión utilizaba una versión pública de ChatGPT, probablemente no comprendió que perdió el control de las imágenes en el momento en que las subió, lo que permitió que pasaran a ser de dominio público y potencialmente utilizadas por actores maliciosos.
Kinsey explicó que, desde una perspectiva tecnológica, la mayoría de los departamentos están construyendo el avión mientras vuelan en lo que respecta a la IA. Añadió que es habitual en las fuerzas del orden esperar a que ya se asienten las nuevas tecnologías y, en algunos casos, a que se cometan errores, para entonces hablar de implementar directrices o políticas.
"Es preferible hacer las cosas al revés, entendiendo los riesgos y desarrollando medidas de seguridad", afirmó Kinsey. "Aunque no estén estudiando las mejores prácticas, hay opciones más fáciles de alcanzar que podrían ayudar. Podemos empezar por la transparencia".
Kinsey afirmó que, mientras las fuerzas del orden federales consideran cómo se debe usar o no la tecnología, podrían adoptar una política como las implementadas recientemente en Utah o California, donde los informes policiales o las comunicaciones escritas con IA deben etiquetarse.
Uso cuidadoso de las nuevas herramientas en las tareas policiales
Las imágenes que el agente utilizó para generar una narrativa también generaron dudas sobre la precisión para algunos expertos.
Empresas tecnológicas reconocidas como Axon han comenzado a ofrecer componentes de IA con sus cámaras corporales para ayudar en la redacción de informes de incidentes. Estos programas de IA comercializados para la policía operan en un sistema cerrado y se limitan en gran medida a utilizar el audio de las cámaras corporales para reproducir lo ocurrido, ya que las empresas han afirmado que los programas que intentan utilizar elementos visuales no son lo suficientemente eficaces.
“Hay muchas maneras diferentes de describir un color, una expresión facial o cualquier componente visual. Podrías preguntarle a cualquier experto en IA y te dirá que diferentes prompts arrojan resultados muy diferentes entre las distintas aplicaciones de IA, y esto se complica con un componente visual", dijo Andrew Guthrie Ferguson, profesor de derecho en la Facultad de Derecho de la Universidad George Washington.
"También hay cuestiones de profesionalismo. ¿Nos parece bien que la policía utilice análisis predictivo?", añadió. "Se trata de lo que el modelo cree que debería haber sucedido, pero que podría no ser lo que realmente sucedió. No queremos que sea lo que termine en los tribunales para justificar nuestras acciones".