Cuando las tecnologías fallan al decidir quién debe recibir asistencia social

Hace unos 50 años atrás en un día de marzo, Martin Luther King Jr. dio un discurso en la Catedral Nacional en Washington DC, el cual terminó siendo su último sermón dominical. Habló sobre los peligros y las promesas de tres cambios principales que observó tomando lugar en el mundo: una ‘revolución triple’, tal como él la llamó, la cual consistía en la automatización, en la aparición de las armas nucleares y en la lucha global por los derechos humanos. Con respecto al primer cambio, King dijo lo siguiente en aquel momento:

Es este discurso al que regresa Virginia Eubanks —profesora adjunta de Ciencia Política en la Universidad en Albany, Universidad Estatal de Nueva York— al final de su nuevo libro: Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor (Automatizar la desigualdad: cómo las herramientas de alta tecnología discriminan, controlan y castigan a los pobres) . En el libro, Eubanks plantea una mirada crítica a unas cuantas de las tecnologías aparentemente agnósticas —y hasta bien intencionadas— que prometen hacer que el sistema de asistencia pública en EEUU sea eficiente y que marche sobre ruedas.

Se trata de sistemas automatizados que miden el derecho a Medicaid y vales de comida, bases de datos que emparejan personas sin techo con recursos y herramientas estadísticas que detectan casos del abuso infantil. Todas estas han sido consideradas tecnologías revolucionarias para las instituciones de la asistencia pública. Pero Eubanks desmitifica estas herramientas que suenan tan complejas y detalla las maneras en que pueden comprometer los derechos humanos y la dignidad de las mismas personas que se supone que ayuden. La visión de Martin Luther King con respecto a este tema —al igual que su visión sobre muchos otros temas— todavía no se ha cumplido, argumenta Eubanks.

CityLab entrevistó a Eubanks para hablar de algunos de los temas principales en su libro y comenzamos hablando de las ‘poor houses’, es decir, recintos donde se 'acogía' a los pobres y se les ‘obligaba’ a trabajar bajo pésimas condiciones. Hoy, para Eubanks, existe una extensión digital de estas ‘casas de pobres’.

Empiezas al exponer la historia fascinante y problemática de los sistemas para manejar la pobreza: desde las infernales ‘casas de pobres’ hasta el movimiento de caridad científica, desde el sistema de asistencia pública del Nuevo Trato hasta la automatización de la asistencia pública. ¿Cuál es el elemento común?

Con frecuencia, cuando hablamos de las nuevas tecnologías, hablamos de ellas como ‘perturbadores’: elementos que perturban el sistema en que estamos ahora. Uno de mis grandes argumentos en el libro es que las herramientas sobre las que estoy hablando son más evolución que revolución. Entonces esa historia importa muchísimo.

La razón por la que empiezo el libro con una casa de pobres real es porque era el sistema para la regulación de la pobreza más innovadora de su tiempo, el siglo XIX. Surgió de una catástrofe económica enorme —la crisis económica de 1819— y los movimientos sociales organizados por personas para protegerse a sí mismos y a sus familias. Lo que es realmente importante en cuanto a la casa de pobres —y este es el elemento común que corre a lo largo de todas las cosas que trato en el libro— es que estuvo basado en esta distinción entre los que, en ese tiempo, eran llamados los pobres ‘impotentes’ y los pobres ‘físicamente capaces’. Los pobres ‘impotentes’ eran personas que simplemente no podían trabajar debido a una discapacidad física o la edad o la debilidad. Los pobres ‘físicamente capaces’ eran esas personas que, según creían las personas que eran los reguladores morales en ese tiempo, probablemente podían trabajar, pero a lo mejor estuvieran eludiendo [el trabajo].

Esa distinción entre los pobres impotentes y los físicamente capaces —quienes hoy en día llamaríamos los pobres ‘merecedores’ y ‘no merecedores’— creó un sistema de asistencia pública que era más bien un termómetro moral que un piso que estuviera debajo de todos, protegiendo sus derechos humanos básicos.

Considero eso como la programación social profunda de todos los sistemas administrativos de asistencia pública que sirven a las comunidades pobres de clase obrera. Esa programación social a menudo aparece en las suposiciones invisibles que impulsan el tipo de automatización de la desigualdad que trato en el libro.

Hablemos un poco más sobre la ‘casa de pobres digital’, la cual consideras una extensión de estos sistemas anteriores de controlar a los pobres. ¿Cuándo surgió y qué es?

Uno de los momentos históricos más importantes que discuto en el libro es el auge de lo que yo llamo la ‘casa de pobres digital’, la cual es realmente el cambio desde los sistemas de control bastante sofisticados pero análogos y los sistemas integrados de control.

Cuando yo empecé a hacer este [libro], realmente empecé en los Registros Estatales de Nueva York, buscando los documentos técnicos sobre cuándo el sistema de la [administración de pobreza] empezó a ser computarizada. Yo había supuesto que esto hubiera ocurrido durante los años 80 con la adopción extendida de las computadoras personales o en los años 90 cuando el verdadero cambio de política ocurrió en torno a la reforma de la asistencia pública, la cual requirió que las oficinas locales de asistencia pública computarizaran algunos de sus procesos.

Pero en realidad encontré que el cambio hacia las computadoras con respecto a la administración de la asistencia publica ocurrió a finales de los años 60 y a principio de los años 70. Eso fue muy sorprendente para mí. Lo que aprendí fue que justo en ese momento, hubo un movimiento nacional muy exitoso a favor de los derechos a la asistencia pública que estaba retando las reglas discriminatorias sobre la idoneidad para los programas de asistencia pública. Estaba teniendo éxito en abrir las filas de asistencia pública para las personas que habían sido injustamente prohibidas de recibirla en el pasado, particularmente [en el caso de] las mujeres de color y de las madres solteras. Como resultado, las filas se expandieron muy rápidamente. Aunque es importante entender que la asistencia pública jamás ha llegado incluso hasta un 50% de las personas viviendo bajo el umbral de la pobreza, alrededor de 1970 llegó a cerca de un 50%. Cuatro quintos de los niños viviendo bajo el umbral de la pobreza estaban recibiendo asistencia pública de algún tipo. Al mismo tiempo, había una respuesta negativa en contra del movimiento de derechos civiles, particularmente el ‘poder negro’ y se experimentaba una recesión.

Ese es el momento en que surge la ‘casa de pobres digital’, [el momento] en que estas nuevas tecnologías entran en juego. Y si se examina la cantidad de las filas, básicamente empiezan a bajar justo en ese momento y siguen en una trayectoria descendiente hasta hoy en día, con menos de un 10% de las personas bajo el umbral de pobreza recibiendo asistencia.

Exploras tres casos de estudio específicos. El primero está en Indiana, donde los legisladores abogaron por automatizar y privatizar al sistema de idoneidad para la asistencia pública, lo cual incluyó la asistencia en efectivo, vales de comida y Medicaid. ¿Cuál fue el efecto de eso?

En 2006, Indiana firmó un contrato muy grande —en aquel tiempo era de 1,160 millones de dólares— con una coalición de compañías de alta tecnología, entre ellas IBM y Affiliated Computer Services (ACS). Se sustituyeron a la mayoría de los trabajadores sociales con foros en línea y los centros regionales de llamadas fueron dotados de personal que mayormente eran empleados privados.

El resultado de esto fue un millón de negaciones de prestaciones durante los primeros tres años del proyecto, lo cual fue un incremento de un 54% en comparación con los tres años anteriores a la automatización. Las personas mayormente fueron denegadas por una razón multifunción —“falta de cooperación en establecer idoneidad”—, lo cual significó que se cometió un error en alguna parte de la solicitud.

Entonces, un asunto técnico con llenar un formulario.

Sí, las reglas se volvieron muy inflexibles. Y dado que las personas ya no tenían una relación personal con sus trabajadores sociales, entonces se les hizo muy difícil responder de manera que significara que pudieran retener sus beneficios. Tenían que más o menos arreglárselas por su cuenta.

¿Cuál fue el costo humano de todo esto?

Estas solicitudes pueden ser desde 20 a 120 páginas de largas. Entonces es sumamente difícil regresar y descifrar dónde uno pudo haber cometido un error o en dónde el estado había cometido un error o dónde el centro de procesar documentos había cometido un error. Todos los errores terminaron siendo la culpa del solicitante. Eso realmente dio por resultado algunas tragedias enormes que destruyeron vidas.

También examinaste al ‘sistema de ingresos coordinados’ en Los Ángeles, el que está basado en el enfoque efectivo de “vivienda primero”. Este pretende darles un techo a los desamparados y luego les presta ayuda de otras maneras. En sí el sistema de ingresos coordinados consiste en una encuesta que reúne datos sobre personas sin techo y los ingresa a una base de datos. Entonces un algoritmo califica los casos según un ‘índice de vulnerabilidad’ para que se puedan ayudar primero a las personas más vulnerables. A primera vista eso parece bastante positivo…

El enfoque de ‘vivienda primero’ es claramente un enfoque muy positivo con respecto a la crisis de vivienda. Y pienso que existe un argumento evidente que se pueda exponer a favor de la priorización. Hay 58,000 personas sin techo sólo en el condado de Los Ángeles y actualmente no hay suficientes recursos de vivienda para todos. Entonces entiendo el motivo.

Pero una de las cosas que hice en este libro que quizás sea un poco diferente es que partí desde el punto de vista de las mismas personas sin techo quienes son a los que se dirige este sistema. Lo que realmente sobresalió en sus historias son las difíciles elecciones que tienen que hacer en cuanto a la manera en que interactúan con el sistema. Esa encuesta de la que hablé hace preguntas sumamente privadas o hasta intencionalmente criminalizadoras sobre la conducta personal. Preguntan si estás teniendo sexo sin protección, si estás cambiando sexo por dinero o drogas, si estás pensando en hacer daño a ti mismo o a otros, si estás traficando drogas para otra persona, si existe una orden judicial actual sobre ti. Y si respondes que sí a estas preguntas, potencialmente se te da una calificación más alta en el índice de vulnerabilidad, lo cual te da prioridad para la vivienda.

Bajo las normas existentes sobre datos federales, la información que se guarda en esta base de datos [llamada] Homeless Management Information System (Sistema de Información para la Administración de los Desamparados), la que puede ser accedida por los órganos policiales con un pedido oral. No se necesita una orden judicial, ni siquiera se necesita un pedido por escrito. Entonces para muchas de las personas con quienes hablé, no estaba claro donde se marcaba la línea divisoria entre este sistema y el sistema de justicia criminal.

Yo quiero ser realmente justa; decididamente hubo algunas personas que me dijeron “el ingreso coordinado fue un regalo de Dios. Es lo mejor que me ha pasado porque me ayudó a conseguir techo”. También diría que incluso las personas que tuvieron éxito con [el ingreso coordinado] tuvieron momentos de reflexión sobre el mismo: “resulta raro que yo obtenga vivienda cuando muchas otras personas que conozco que están pasando situaciones parecidas a las mías no la obtengan. Eso no parece justo”.

Pero para las personas que no han tenido éxito en conseguir vivienda esta idea de que la comunidad sin techo estuviera siendo evaluada según un espectro de mérito para la vivienda realmente las inquietó profundamente. El problema no está con la calificación de la gente, el problema realmente es que simplemente no hay suficiente vivienda para las 58,000 personas en Los Ángeles.

Entonces es parecido al argumento que Khiara M. Bridges expone en su libro sobre los derechos a la privacidad y las madres que reciben asistencia pública: que no es que la gente opte por cambiar su privacidad por una prestación, pero que realmente no tienen una opción significativa.

Sí, y este tema del consentimiento es importante aquí. En Los Ángeles las personas a quienes se les administra [esta encuesta] sí firman un documento extenso de consentimiento. Pero me parece que se están estirando las fronteras del consentimiento informado si el acceso a una necesidad básica humana como la vivienda depende de cualquiera manera en que uno llene a este formulario.

Parte del formulario de consentimiento dice: “compartimos esta información con muchas otras agencias. Si quieres saber más acerca de esto, tienes que pedir este otro formulario”. Las personas que pasan por el proceso de pedir el segundo formulario obtienen una lista de 168 agencias con las que se comparte esta información. Puedes pedir que te eliminen de la base de datos, pero el proceso mediante el cual se hace es muy confuso, y parte de tu información se mantiene en la [base de datos]. El consentimiento dura siete años y tienes que ponerle fin activamente al escribir y declarar “Yo retiro mi consentimiento”. Entonces es válido que la gente tenga temores sobre cómo se esté usando y compartiendo esa información.

En tu tercer caso de estudio, exploraste la herramienta predictiva estadística en el condado Allegheny en Pennsylvania, que registra por un base de datos de 29 diferentes programas públicos, entre ellos la aplicación de leyes, las escuelas públicas y los registros de vivienda pública. Esta asigna un valor numérico en la probabilidad de que un niño esté siendo abusado o desatendido. Se supone que los trabajadores que reciben las llamadas y quienes evalúan las reportan el abuso infantil deben usar esta herramienta para complementar su toma de decisiones en estos casos.

Yo presenté a los casos de manera en que el primero —el caso de Indiana— se sienta de alguna manera el más fácil de entender. Tenía todos los personajes a los que estamos acostumbrados: una corporación avara, contratistas y quizás malas intenciones [de parte de algunos políticos]. La historia se vuelve más complicada a nivel ético y técnico cuando llegamos al caso del condado Allegheny. Aquí se siente que hay muchísimo en juego, por supuesto, porque estamos hablando de la seguridad de los niños. Y las personas del condado Allegheny con quienes hablé parecieron tener motivos e intenciones absolutamente buenos. Han hecho todo lo que nosotros que hablamos sobre la justicia algorítmica y ecuanimidad les pedimos a los diseñadores que hagan bien: hubo un proceso participativo de diseño en torno al sistema; han sido casi totalmente transparentes en cuanto a lo que hay en el modelo; el modelo está controlado por agencias públicas, entonces hay cierta responsabilidad allí.

Pero también hay partes del sistema que aún son profundamente inquietantes. Hay dos cosas que vale la pena notar. Una es —y esto quizás parezca obvio— [que el sistema] sólo tiene acceso a los datos que los que tiene acceso. Este modelo se creó a base de datos sobre el acceso a los programas públicos. Entonces si estás recibiendo servicios de salud mental mediante el seguro privado o si accedes la ayuda financiera a través de tu familia, no estás en el sistema. Yo argumento que es una forma de discriminación basada en la pobreza en donde los padres pobres son metidos en un ciclo de retroalimentación de vigilancia muy invasiva.

También significa que es probable que el modelo está careciendo de variables clave porque no están incluidos en el universo de esos datos que están disponibles. No incluye cosas como el aislamiento geográfico, del cual dicen los investigadores que es predictivo de la negligencia y el abuso. Eso no es algo que aparecerá en esta base datos porque la mayoría de las personas que están accediendo a los servicios del condado en el condado Allegheny viven en vecindarios urbanos densos.

La otra cosa que hay que entender sobre el sistema es que usa elementos no directos (proxies) para representar el verdadero maltrato de los niños. Por fortuna, en el condado Allegheny sólo hay un puñado de verdaderos [casos de maltrato de niños] al año, lo cual es bueno porque eso significa que los niños están bastante seguros. Pero eso significa que no hay suficientes datos para realmente producir un modelo viable. Entonces las personas que crearon este modelo tuvieron que escoger 'suplentes' para el verdadero maltrato de niños. Uno de estos proxies se llama la “ child re-referral” (rederivación infantil), la cual significa que se visitó al niño, pero la visita fue descartada. Y entonces se le volvió a visitar al niño dentro de dos años.

Pero los mismos datos de la agencia muestran que la mayoría de la desproporción racial que existe en el sistema de bienestar infantil en el condado Allegheny llega al sistema mediante la rederivación infantil. Las familias de taza negra y de origen biracial tienen una probabilidad 3.5 veces mayor de ser visitadas por agentes obligatorios o un visitante anónimo. Entonces ese es un gran punto en que la injusticia racial entra al sistema. Eso puede empeorar esta desproporción.

En todos estos casos, parece haber esta idea que la tecnología puede ayudar evitar caer en los prejuicios humanos —como al racismo—, que puede hacer que el proceso sea no sólo más eficiente sino menos equitativo.

Es muy importante reconocer que la toma prejuiciada de decisiones por los trabajadores sociales de primera línea ha sido y sigue siendo un problema dentro del sector de servicio público. Pero lo que yo argumento es que en muchos casos las herramientas que he examinado no eliminan el prejuicio, sino que lo ponen en otro lugar.

Básicamente, muchos de estos sistemas parecen estar argumentando que la toma de decisiones por parte de los humanos es una caja negra incognoscible, que no hay manera de saber lo que impulsa a un trabajador social de primera línea a tomar una decisión de alguna manera u otra. Lo que argumento es que eso es una manera muy especifica de entender el prejuicio, que el prejuicio es una actitud individual consciente o inconsciente que tienen individuos y no algo que está integrado estructuralmente y sistemáticamente en nuestras instituciones.

Existe la posibilidad de realmente disparar el prejuicio al remover ese criterio de primera línea. El prejuicio se integra en los sistemas al nivel base de la codificación: son los datos que tenemos.

También me preocupa profundamente la premisa ética que la toma de decisiones por los humanos es inescrutable, mientras que la toma de decisiones por máquinas es transparente y responsable. Me parece que previene el desarrollo ético de las comunidades… de que podemos discutir las cosas y mejorar, que podemos reconocer el prejuicio y superarlo. Ese parece ser la tarea [a asumir], y esto me parece ser una manera de evitar realizar esa tarea.

Entonces discute por qué estos tipos de acontecimientos son tan importantes —no sólo para los pobres y los que los defienden— sino también para la sociedad entera.

Parte de la programación social es la idea de que los pobres son esta población pequeña de personas que probablemente sean patológicas. Es muy importante entender que en EEUU, un 54% de nosotros estaremos en la pobreza en algún momento de nuestras vidas entre las edades de 25 y 60. Dos tercios de nosotros accederemos un programa público en que se evaluarán los recursos de los solicitantes, lo cual es asistencia pública directa. Entonces la realidad es que estos sistemas ya son una preocupación mayoritaria [ un estudio de 2015 muestra que 4 de cada 5 estadounidenses probablemente enfrentarán la 'inseguridad económica' en algún momento de sus vidas —lo cual incluye usar un programa de asistencia pública que evalúa sus recursos para determinar su idoneidad—, además de experimentar pobreza o el desempleo].

Incluso si eso no te importa, es muy importante entender que las herramientas se ponen a prueba en lugares donde hay pocas expectativas de que se protegerán los derechos de las personas y que esos sistemas entonces están sujetos a la ampliación de actividades. Empiezan siendo potencialmente limitados y con reglas estrictas en cuanto a su uso, pero entonces algo cambia. Por ejemplo, cambia una administration política.

¿Entonces cómo debemos estar pensando sobre esto en el futuro?

Fundamentalmente, pienso que podemos hacer un mejor trabajo de lo que estamos haciendo ahora mismo. Merecemos algo mejor.

Parte de eso consiste en diseñar estas herramientas con nuestros valores teniendo un papel protagónico [en estas]. Entonces la eficiencia, la política basada en las pruebas y el impacto máximo indudablemente deben estar entre esos valores, pero también deben esta la equidad, la justicia, la imparcialidad, la autodeterminación y la dignidad humana.

El asunto mayor es la conversación que está ocurriendo en este momento en torno a la desigualdad en este país… no sólo la desigualdad económica sino también la desigualdad a gran escala. Lo que quiero que la gente aprenda de este libro es que si bien hablamos con frecuencia acerca de estos sistemas como si fueran elementos perturbadores o algo que hace que todos sean iguales, por lo menos en los casos que investigué, actúan más como intensificadores o amplificadores del sistema que ya tenemos. Cambiar las maneras en que estas tecnologías operan es un trabajo cultural suma e increíblemente profundo, particularmente cuando se trata de redefinir la pobreza como un asunto mayoritario y no minoritario, redefinir a los pobres como una identidad política y ayudar a las personas ver la experiencia compartida de cada uno por encima de las líneas de diferencias [que tengan].

Este artículo fue publicado originalmente en inglés en CityLab.com.