¿Un comentario en la web puede llevar a tus hijos a la cárcel? Así vigilan con IA los chats escolares

TAMPA, Florida.- Cada vez más escuelas en Estados Unidos utilizan sistemas de inteligencia artificial para vigilar lo que los estudiantes escriben en sus cuentas y dispositivos escolares.

Sin embargo, esta tecnología, que algunos educadores defienden por haber “salvado vidas”, también ha generado controversia por el riesgo de criminalizar a menores por comentarios fuera de contexto.

Plataformas como Gaggle y Lightspeed Alert monitorean mensajes en tiempo real, en busca de señales de violencia, acoso, autolesiones o amenazas.

En Florida, una estudiante fue arrestada tras publicar una broma sobre tiroteos escolares en su historia de Snapchat. La plataforma alertó al FBI y la joven fue detenida en su escuela.

En otra escuela de West Palm Beach, el software Lightspeed detectó mensajes amenazantes eliminados por dos alumnos; fueron retirados del plantel minutos después.

Un caso reciente en Tennessee expuso los límites de esta vigilancia automatizada. En agosto de 2023, una adolescente de 13 años fue arrestada tras escribir una broma ofensiva en un chat escolar.

La estudiante, de la escuela Fairview Middle School, fue objeto de burlas por su tono de piel, cuando sus compañeros comenzaron a llamarla “mexicana”.

En respuesta, la menor escribió: “on Thursday we kill all the Mexico’s” (el jueves matamos a todos los mexicanos), una frase que, según su madre, Lesley Mathis, fue una “broma estúpida” y no una amenaza real.

El software Gaggle detectó el mensaje y, cumpliendo con la ley estatal de tolerancia cero, alertó a las autoridades. Antes del mediodía, la niña fue arrestada, interrogada, sometida a una revisión corporal y pasó la noche en la cárcel. Sus padres no pudieron verla hasta el día siguiente. Como castigo, la corte le impuso ocho semanas de arresto domiciliario, una evaluación psicológica y 20 días en una escuela alternativa.

Como parte de los esfuerzos de Florida para prevenir la violencia escolar, también se ha implementado la aplicación FortifyFL, una herramienta digital desarrollada tras la tragedia en la escuela secundaria Marjory Stoneman Douglas. Creada por mandato legislativo en 2018, la app permite enviar reportes anónimos sobre amenazas o comportamientos sospechosos a autoridades escolares y estatales.

¿La IA está violando los derechos constitucionales de estudiantes?

El propio CEO de Gaggle, Jeff Patterson, admitió que el sistema no se utilizó como se esperaba. “Esto debió haberse tratado como un momento educativo, no como un caso policial”, señaló. El objetivo de la herramienta, dijo, es prevenir tragedias, no castigar.

Además del temor a consecuencias legales desproporcionadas, muchos estudiantes denuncian la falta de privacidad. En Kansas, un distrito escolar recibió más de 1,200 alertas de Gaggle en solo 10 meses. Casi dos tercios fueron considerados falsos positivos, incluyendo tareas escolares y mensajes sobre salud mental. Un grupo de estudiantes demandó recientemente al distrito, alegando que la vigilancia viola sus derechos constitucionales.

Expertos en educación y derechos civiles advierten que el uso de estas tecnologías puede resultar en traumas para los menores, especialmente cuando los procedimientos incluyen detenciones, hospitalizaciones forzadas y aislamiento. “Es como si esperáramos que los niños fueran pequeños soldados, y no lo son”, dijo Mathis, madre de la niña arrestada en Tennessee.

Aunque algunos distritos escolares defienden estos sistemas como herramientas preventivas, el debate crece entre quienes exigen mayor supervisión, contexto y humanidad en la forma en que se responde a las alertas automatizadas.

Con información de AP.

Te podría interesar: