Machine Learning: una jerarquía de limitaciones en la aplicación en ciencias sociales

Volvemos con la Webinar Series 😉

29 de Septiembre – 16-18hs (GMT +2)

¡Inscribirse aquí!

Luego de un largo y extraño verano que nos ha visto tratando de despejar nuestra mente en el contexto de una segunda ola de pandemia en Europa.

Esta webinar series nació en la era pre-COVID19 y sin embargo hoy el tema central que la atraviesa, es decir, las prácticas y discursos alrededor de los datos digitales en la educación superior, adquieren mayor vigencia. Pues, como oportunamente pone de manifiesto Ben Williamson, la masificación del uso de datos en la educación superior se ha ligado con discursos exitistas sobre el poder de las tecnologías para dar respuesta a los muchos dilemas planteados por los procesos de educación en remoto de emergencia. Sin embargo, como él mismo ha denunciado, los objetivos del solucionismo tech pueden volverse oscuros. De hecho, yendo más allá de una esperanza naïf en reparar el sufrimiento inmediato provocado por la interrupción de la vida escolar y universitaria, nos colocamos en la economía Big Data, del comportamentismo digital, en la cual la masa de clicks obligados por la pandemia podrían ser rápidamente convertidos en “data points” para la monetización de servicios educativos basados en modelos algorítimicos. Machine Learning.

Antes de la pandemia ya nos parecía lícito preguntar por los procesos inherentes a esta naciente técnica computacional, que hace un uso particular de las estadísticas y de la programación. La preocupación, aparecida ya a partir del trabajo de Safiya Noble, de Virginia Eubanks y de Shoshana Zuboff ha sido desde las ciencias sociales la de tratar de comprender qué factibilidad tienen estos procedimientos estadísticos y computacionales de capturar la compleja realidad de los fenómenos estudiados por las ciencias sociales, substituyendo en muchos casos metodologías interpretativas y participativas típicas de las ciencias sociales como base a la recomendación de toma de decisiones en contextos socio-sanitarios, educativos, judiciales. Hemos reforzado la idea, a lo largo de este espacio de Webinars, de la necesidad de un encuentro y un diálogo interdisciplinario desde el cuál nazca una relación entre desarrollo tecnológico y sociedad, entre “Psiche y Techne” (tomando prestada la denominación de esa relación dada por Umberto Galimberti) más equilibrada, menos escindida. Al estado actual, la maravilla de la “posibilidad” en desarrollos de inteligencia artificial, ha obnubilado la reflexión sobre la “oportunidad” y sobre todo la “necesidad” social de dichos desarrollos tecnológicos.

En esa dirección, conversamos con varios expertos en estudios críticos de la tecnología, desde la media education (educación medial) a la tecnología educativa, hasta las ciencias jurídicas. Pero la conversación no podía ser abordada con el necesario equilibrio si no invitábamos a la mesa a quien trabaja, con sensibildad y apertura, en el ámbito computacional.

Momin M. Malik, que se acerca a esta mesa de diálogo mañana, nos trae mucho más que eso. Su webinar “Una jerarquía de limitaciones en el machine learning: sesgos de los datos y ciencias sociales” presenta el recorrido de quién ha trabajado intensamente en atravesar el océano que separa estos dos continentes, el de las ciencias sociales y el de las ciencias computacionales.

El artículo de Momin Malik, que originó esta propuesta de seminario web  “A Hierarchy of Limitations in Machine Learning, representa con claridad su pensamiento complejo. He leído su artículo como quien se prepara a un viaje de progresiva amplificación de lentes de observación, como si pudiéramos observar un objeto en la tierra desde la macro-dimensión celeste para terminar en la comprensión de su estructura molecular. En efecto, aunque no sea un objetivo explícito en el trabajo de Malik, si tuve la sensación de viajar desde los niveles fenomenológicos y metodológicos “macro”, es decir, el problema perceptible e interpretativo de las ciencias sociales a un nivel “micro” de la formulación del algoritmo y su estructura estadística y matemática. A mi modo de ver, cada uno de estos niveles incluye sea un objeto sea una serie de métodos para su análisis, y excluye otros. Sin embargo, cada nivel puede apoyarse en las conclusiones generadas por el otro. La figura 1, extraída del artículo de Malik es elocuente en este sentido.

Figura 1 – Un diagrama de la jerarquía explicada el artículo de Malik.

Los cuatro elementos de la jerarquía son el encuadre metodológico (1) Inquiry, Cualitativo o Cuantitativo; del encuadre al método (2) Matemático o basado en la probabilidad; del método al instrumento (3) tipo de probabilidad adoptada, explicativa o predictiva; (4) del tipo de instrumento de validación de la probabilidad predictiva (validación fuera de la muestra seleccionada para generar el modelo o validación cruzada, usando los mismos valores de la muestra a partir de simulaciones).

El trabajo de Malik parte justamente de las críticas realizadas desde la antropología, la sociología, los estudios de ciencia y tecnología, la estadística a los procedimientos de machine learning que tanto entusiasmo han generado por su potencialidad aplicativa. Sin embargo, la contribución mayor es el poner, desde el trabajo de un mismo investigador, y por primera vez, todas esas críticas en una secuencia completa y exhaustiva.

Malik nos advierte, al inicio del viaje de la lectura: se prevén dos públicos para su trabajo.

Quien viene de las ciencias computacionales y de estadística/matemática, encontrarán una revisión integral de los supuestos más profundos del modelado y las limitaciones intrínsecas inducidas por estos supuestos, así como algunos ejemplos en que dichos supuestos se descomponen para mostrar consecuencias concretas.

El segundo tipo de público es, naturalmente, el de ciencias sociales. Entre ellos se hallan consumidores de servicios basados en machine learning: pensemos en el caso educativo, los docentes que usan paneles dashboard de analíticas de aprendizaje; o quien plantea políticas institucionales basadas en estos datos.  Malik ofrece su análisis para que quienes operan en estos niveles puedan comprender mejor las contingencias o implicancias del machine learning y que puedan decidir si, dónde y cómo adoptar el aprendizaje automático. Una de las preocupaciones de Malik es la de esperar que las objeciones al machine learning sean específicas, identificando mejor los puntos sobre los que podrían no estar de acuerdo. Y ello tiene que ver, considerando la jerarquía, con los supuestos interpretativos y de configuración de un fenómeno social (por ejemplo, la performance en procesos de aprendizaje, o el aprendizaje mismo); lo que se llama “data points” con todas las problemáticas éticas asociadas a la definición y métodos de recogida, limpieza y organización de los datos (por ejemplo, si se trata de datos sensibles de los estudiantes); las modalidades de validación de los modelos que se usan y los comportamientos que éstos desencadenan (por ejemplo, el usar modelos predictivos para “diagnosticar” habilidades de aprendizaje futuras).

Si bien las críticas que introduce en los niveles 1 o 2 podrían no ser novedosas para los científicos sociales que trabajan con métodos interpretativos (nivel 1) o métodos estadísticos aplicados a ciencias sociales (2), los niveles 3 y 4 abren un mundo para ellos. Así mismo, los niveles 3 y 4 son de crucial importancia para invitar una reflexión sobre problemas más o menos conocidos por quien trabaja desde la data/computer science. Pero una visión de los niveles 1 y 2, impulsaría una reflexión que, en mi opinión, generaría más conciencia en relación a la excesiva simplificación de los fenómenos modelados…invitando a involucrar usuarios, y también científicos sociales y humanistas en el trabajo en modelos. Por ejemplo, en este último nivel Malik ofrece algunas ideas originales, como el enfoque de “optimismo” como extensión simple pero novedosa de la teoría estadística para tratar el problema del sesgo de la validación cruzada. Plantea que éste podría ser un elegante marco unificador para los múltiples esfuerzos desconectados sobre cómo pensar en la estructuración adecuada de las progresivas divisiones de datos.

La arquitectura de un puente interdisciplinario

La conversación previa a la preparación de este webinar con Malik ha sido rica e iluminante desde varios puntos de vista. La complejidad de su pensamiento nos ha llevado a recorrer temas como la guerra de paradigmas de los años ’80-’90 donde la investigación cualitativa buscaba un espacio de reconocimiento; la crítica a los métodos mixtos en la validación de modelos de machine learning. Las problemáticas de definición de constructos en relación a la interesante discusión sobre la inclusión de la variable “raza” en un sistema de analíticas de aprendizaje, aspecto tratado en el post de Buckinham-Shum, más del lado de la ciencia computacional (a la que seguía la provocación abierta por Carlo Perrota, más del lado de las ciencias sociales). Malik expandía esta discusión hacia una cuestión de métodos en la modalidad en que la variable “raza” podía ser construída, señalando el interesante post de Lily Hu sobre el crear un enfoque complejo y contra-factual.

La dimensión del fenómeno de la datificación (y más que nada la comodificación de datos) era inimaginable hasta febrero de 2020. El avance de la automatización de servicios y procesos educativos se afirmaba, en cualquier caso, de manera agresiva. Sin embargo, durante la pandemia encontró su mejor ocasión para ponerse a prueba. Y los resultados han ido en la dirección de confirmar las premoniciones más grises sobre los sesgos del machine learning: por ejemplo, el terrible error de usar dicho sistema para asignar calificaciones de fin de curso en el Reino Unido, como lo comenta bien Neil Selwyn. Sesgo que ha costado evidentemente más de una manifestación y seguramente un puesto de Ministro de Educación 😛

Mañana Malik nos responderá estas preguntas, las que seguramente, como en un jardín de senderos que se bifurcan, nos llevarán a otras nuevas curiosidades  :

  • En una revisión sistemática reciente, exploras los problemas relacionados con el aprendizaje automático a través de la lente de un esquema de 4 decisiones. Me parece que has tendido un puente entre las epistemologías de las ciencias sociales y de la informática para llegar a un esquema de reflexión tan interesante. ¿Podrías explicarnos cuáles son sus antecedentes y cómo se te ocurrió el esquema de 4 decisiones?
  • El conflicto cuantitativo vs. cualitativo se desarrolló en una “guerra de paradigmas” durante los años 80-90. En particular, los investigadores cualitativos elaboraron sus instrumentos metodológicos para proporcionar una base sólida para su enfoque metodológico. ¿Cómo ha cambiado en la era de la IA? ¿Por qué nos ceñimos más que nunca a la lógica cuantitativa?
  • Dices que es necesario asumir la responsabilidad de la cuantificación. ¿Qué quieres decir? ¿Qué implica esto para la investigación social en el cruce con la informática?
  • ¿Podrías proporcionar ejemplos de mala medición en el machine learning? ¿A qué te refieres con “Performatividad” o aplicar la lógica de los modelos al mundo?
  • Dices “la predicción no es explicación”, para abrir a explorar los problemas de errores en el machine. ¿Cómo te imaginas que podría avanzar el campo para resolver los problemas que conlleva la predicción?
  • Las correlaciones ya son motivo de sospecha. Ya estaban en los años 50 cuando Darren Huff escribió su libro “Cómo mentir con las estadísticas” y probó un enfoque para apoyar la alfabetización estadística básica. ¿Por qué todavía nos ceñimos a las correlaciones?
  • La evaluación del rendimiento del modelo es un tema importante en la IA, pero la mayoría de las personas desconocen estos procedimientos. Si lo hace una máquina, entonces es riguroso. ¿Cuáles son las consecuencias?
  • Imaginemos ahora el futuro del aprendizaje automático en la investigación social, así como la contribución de la investigación social al aprendizaje automático: ¿cuáles son sus preocupaciones, cuáles son tus fuentes de esperanza? ¿Podrías imaginar, por un momento, las consecuencias en la docencia de las ciencias sociales de pregrado, así como las posibles colaboraciones / fertilizaciones cruzadas con la formación en informática?

Sin lugar a dudas, tendremos que esforzarnos para recorrer este puente que Malik arquitecta estratégicamente. Y así nos invita a iniciar el camino:

Mi trabajo sugiere las siguientes tareas:

• Incorporar sistemáticamente métodos cualitativos;

• Buscar formas de incluir la variabilidad, o momentos superiores, como una forma de mitigar una dependencia únicamente sobre la tendencia central correspondiente al primer momento de medición;

• Dividir los datos para la validación cruzada de manera que se tengan en cuenta las dependencias entre esos datos;

• Realizar pruebas del mundo real fuera de la muestra recogida para generar un modelo, antes de hacer afirmaciones contundentes sobre el rendimiento del modelo (y, a la inversa, exigir tales pruebas antes de aceptar afirmaciones contundentes);

• Ser consciente, abierto y humilde sobre las limitaciones del modelado de aprendizaje automático.

Volviendo a Galimberti, la técnica ( y en este sentido la técnica de machine learning) termina de este modo sustrayéndole al hombre toda posibilidad anticipatoria de su devenir humano, al sustituir la responsabilidad y la autoridad que deriva del proponerse explícita y conscientemente un futuro. El sentimiento de inadecuación humana a esta tarea tan relevante encuentra en la técnica la salida, la vía “automática” y “objetiva” que resuelven la decisión cotidiana sobre la ruta futura.

El trabajo de Malik seguramente nos invita a volver a la centralidad humana, dejando a un lado la ceguera causada por las “luces” del entorno tecnológico, mientras indagamos obstinadamente en las formas en que la tecnología aún podría cumplir su propósito como medio para un fin.

Sobre nuestro invitado

Momin M. Malik es un investigador multidisciplinario que aporta modelos estadísticos para resolver cuestiones críticas y reflexivas con y sobre datos digitales a gran escala. Está ampliamente interesado en cuestiones de control y poder algorítmico, y de validez y rigor en las ciencias sociales computacionales. Además del trabajo empírico en el modelado de datos de sensores de teléfonos móviles y redes sociales, trabaja en cómo comprender las estadísticas, el aprendizaje automático y la ciencia de datos desde perspectivas críticas y constructivistas, en las implicaciones éticas y políticas del modelado predictivo y en la comprensión y comunicación de problemas fundamentales. en modelos estadísticos de redes sociales. Tiene una licenciatura en historia de la ciencia de Harvard, una maestría del Oxford Internet Institute y un doctorado de la Escuela de Ciencias de la Computación de la Universidad Carnegie Mellon.

Published by jraffaghelli

Professor at the Faculty of Education and Psychology (Universitat Oberta de Catalunya). PhD in Education and Cognitive Science (Ca' Foscari University of Venice) Master in Adult Education (Ca' Foscari University of Venice) Degree in Psychology (University of Buenos Aires)

One thought on “Machine Learning: una jerarquía de limitaciones en la aplicación en ciencias sociales

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s

%d bloggers like this: