Aún faltaban horas para que amaneciera cuando las luces de los faros de policía a través de la ventana despertaron a Angel Cholka. En la puerta había un agente, que preguntó si vivía allí alguien llamado Madi. Dijo que necesitaba ver cómo estaba. Cholka corrió al dormitorio de su hija de 16 años, confusa y, de repente, aterrada.
Cholka no sabía que un software basado en inteligencia artificial y gestionado por el distrito escolar de Neosho, Misuri, había estado rastreando lo que Madi escribía en su Chromebook escolar.
Mientras su familia dormía, Madi le había enviado un mensaje a una amiga diciéndole que pensaba tomar una sobredosis de su medicamento para la ansiedad. Esa información llegó al orientador jefe del colegio, que la envió a la policía. Cuando Cholka y el agente llegaron hasta Madi, ésta ya se había tomado alrededor de 15 pastillas. La sacaron de la cama y la llevaron a toda prisa al hospital.
A miles de kilómetros de distancia, hacia la medianoche, una madre y un padre del condado de Fairfield, Connecticut, recibieron una llamada en su teléfono fijo y no pudieron atenderla a tiempo. Quince minutos después, sonó el timbre de la puerta. Tres agentes estaban en la entrada pidiendo ver a su hija de 17 años, a quien el software de supervisión había reportado en riesgo urgente de autolesión.
Los padres de la niña la despertaron y la llevaron abajo para que la policía pudiera interrogarla sobre algo que había escrito en su computadora portátil del colegio. Solo tardaron unos minutos en llegar a la conclusión de que se trataba de una falsa alarma (el lenguaje era de un poema que había escrito años antes), pero la visita dejó a la niña profundamente conmocionada.
“Fue una de las peores experiencias de su vida”, dijo la madre de la niña, que pidió el anonimato para hablar de una experiencia “traumática” para su hija.
Entre las distintas tecnologías de inteligencia artificial que se están utilizando en las escuelas estadounidenses, pocas tienen tanto en juego como el software que intenta detectar autolesiones e ideaciones suicidas. Estos sistemas se extendieron rápidamente durante los confinamientos provocados por el COVID-19, a medida que más centros escolares empezaban a enviar computadoras portátiles a casa con los alumnos.
Una ley exigía que estos dispositivos estuvieran equipados con filtros para garantizar un uso seguro de internet, pero las empresas de tecnología educativa ─de las cuales las más importantes son GoGuardian, Gaggle, Lightspeed, Bark y Securly─ también vieron una forma de abordar las crecientes tasas de comportamiento suicida y autolesiones. Empezaron a ofrecer herramientas que escaneaban lo que escribían los alumnos, alertando al personal del centro si parecía que estaban pensando en hacerse daño.
Millones de estudiantes estadounidenses (cerca de la mitad, según algunas estimaciones del sector) están sometidos ahora a este tipo de vigilancia, cuyos detalles se revelan a los padres conforme a un acuerdo tecnológico anual. La mayoría de los sistemas marcan palabras o frases clave, utilizando algoritmos o revisiones humanas para determinar cuáles son graves. Durante el día, se puede sacar a los alumnos de clase y examinarlos; fuera del horario escolar, si no se puede localizar a los padres por teléfono, los agentes de la ley pueden visitar las casas de los alumnos para ver cómo están.
Es imposible decir lo precisas que son estas herramientas, o medir sus beneficios o perjuicios, porque los datos sobre las alertas permanecen en manos de las empresas privadas de tecnología que las crearon; los datos sobre las intervenciones posteriores, y sus resultados, suelen conservarlos los distritos escolares.
Las entrevistas con padres y miembros del personal escolar sugieren que, en ocasiones, las alertas han permitido a las escuelas intervenir en momentos críticos. La mayoría de las veces, ponen en contacto a los alumnos con problemas con la ayuda que necesitan antes de que corran un riesgo inminente.
Sin embargo, las alertas tienen consecuencias imprevistas, algunas de ellas perjudiciales. Las organizaciones de derechos han advertido de los riesgos para la intimidad y la equidad, en particular cuando los centros escolares vigilan la actividad en línea de los estudiantes LGBTQ+. Los grupos de derechos civiles denuncian que las tecnologías de vigilancia ponen innecesariamente a los estudiantes en contacto con la policía.
Como herramienta de salud mental, los filtros reciben críticas desiguales. Hay muchos falsos positivos, lo que puede hacer que el personal pierda tiempo innecesario e inquietar a los alumnos. Y en algunos distritos, las visitas fuera de horario a los hogares de los alumnos han resultado tan controvertidas que están reduciendo sus ambiciones limitando las intervenciones a la jornada escolar.
No obstante, muchos orientadores afirman que el software de supervisión les está ayudando a conseguir un objetivo difícil de alcanzar: identificar a los estudiantes que están pasando por dificultades en silencio, para llegar a ellos a tiempo. Talmage Clubbs, director de los servicios de orientación del distrito escolar de Neosho, dijo que dudaba en suspender las alertas, incluso durante las vacaciones de verano, por razones morales.
“Es difícil apagarlo”, dijo. “Las consecuencias de apagarlo es que alguien puede morir”.
Acabar con la cultura del silencio
En Neosho, la gente atribuyó a las alertas (en combinación con otros cambios como la terapia in situ) el fin de una cultura de silencio en torno al suicidio. Pasaron casi cuatro años sin que se presentara un caso de suicidio entre los alumnos; uno murió en 2022 y otro este año. Jim Cummins, ex superintendente de Neosho, dijo que no tenía ninguna duda de que la tecnología había contribuido.
“No hay forma de cuantificar si salvamos una vida, 20 o ninguna, pero las estadísticas no parecen mentir”, dijo. “Aunque alguien volviera seis años después y dijera: ‘No pueden demostrar que salvaron una sola vida’, mi respuesta sería: ‘No, no podemos’. Pero sé que hicimos todo lo que pudimos para intentar no perder ninguna”.
La estudiante que murió en 2022 era Madi Cholka, la misma chica de la sorpresiva visita policial a su casa en 2020.
Durante esos años, Madi estuvo hospitalizada en varias ocasiones, y su madre, Angel, tomó elaboradas medidas para protegerla, guardando medicamentos y armas en una caja fuerte.
Sin embargo, esa noche su madre estaba profundamente dormida cuando Madi envió un mensaje de texto a un amigo desde su Chromebook del colegio, diciendo que planeaba tomar una sobredosis. La alerta permitió a Angel Cholka llevar a Madi a urgencias sin demora, y de allí a un hospital psiquiátrico a una hora en coche hacia el norte.
Aquella hospitalización no resolvió los problemas de Madi. Tras ser dada de alta, siguió intentando autolesionarse y ahora se cuidaba de no escribir en su Chromebook sobre sus planes. Murió a los 17 años, dejando atrás una maleta preparada para otra hospitalización.
“Perdón”, escribió en un mensaje a su madre.
Aun así, Angel Cholka dijo que agradecía las alertas de Beacon, que le aliviaron parte de la carga durante aquellos años de vigilancia. Ha oído los argumentos sobre la intimidad de los alumnos y sobre la intrusión en las familias, pero los rechaza.
“Tengo una certeza: solo eso hizo que mi hija se quedara aquí un poco más”, dijo.
