Datos, poder y justicia Cómo la IA puede reforzar las desigualdades sociales
Los sistemas de IA suelen parecer objetivos porque se basan en datos. Esta unidad muestra por qué esta suposición es engañosa. Los datos surgen en contextos sociales, reflejan relaciones de poder y excluyen determinadas perspectivas. Analizas cómo la IA puede reforzar desigualdades sociales y qué responsabilidades se derivan de ello para la profesionalidad educativa, la democracia y la inclusión.
Haz un calentamiento
Los datos no son una materia prima neutral. Surgen en contextos sociales.
Imagina la siguiente situación:
Un sistema basado en datos evalúa riesgos o necesidades de apoyo. Determinados grupos son clasificados como problemáticos con una frecuencia superior a la media, sin que esté claro por qué.
Tómate un momento para reflexionar sobre las siguientes preguntas:
-
¿Cuándo consideras que los datos son objetivos o fiables?
-
¿Quién decide qué datos se recopilan y cuáles no?
-
¿A quién benefician las decisiones basadas en datos y quién permanece invisible?
Junto con tu Buddy:
Intercambiad experiencias sobre en qué situaciones de vuestro ámbito profesional trabajáis con evaluaciones, clasificaciones o categorías basadas en datos.
Aprende
Los datos suelen considerarse la base objetiva de los sistemas de IA. En realidad, son el resultado de procesos sociales de selección. Reflejan relaciones de poder, normas y exclusiones existentes. La IA no puede reconocer estos sesgos, sino que los procesa y los prolonga. Así, las desigualdades pueden reproducirse o intensificarse.
Lee más aquí:
Datos como construcciones sociales
Profundiza 1
Equidad algorítmica, discriminación y responsabilidad
¿Cómo pueden surgir de sistemas basados en datos decisiones aparentemente justas, pero en realidad discriminatorias?
En esta sección analizas por qué la equidad no puede producirse técnicamente en los sistemas de IA, cómo se desplaza la responsabilidad en procesos automatizados de decisión y qué desafíos específicos supone esto para la profesionalidad educativa.
Más información aquí:
Equidad algorítmica, discriminación y responsabilidad
Aplica tus conocimientos 1
Situar datos, equidad y responsabilidad en la propia práctica profesional
Este apartado tiene como objetivo relacionar los vínculos entre datos, poder y discriminación con la propia práctica educativa. Los y las profesionales de la educación trabajan a menudo en contextos en los que evaluaciones, clasificaciones o decisiones se preparan o legitiman cada vez más mediante datos. Este transfer te ayuda a reflexionar conscientemente sobre tu papel dentro de estos sistemas.
La profesionalidad educativa no solo se muestra en el contacto directo con niños, niñas y jóvenes, sino también en la manera de gestionar marcos estructurales, evaluaciones y bases de decisión aparentemente objetivas. El objetivo es no delegar la responsabilidad, sino asumirla activamente.
¿Estás preparado/a?
Dedica tiempo a una reflexión individual por escrito o a un intercambio estructurado con un/a colega o con un Buddy.
Trabaja a partir de las siguientes preguntas guía:
- ¿En qué situaciones de mi día a día educativo desempeñan un papel los datos, las categorías o las evaluaciones?
- ¿Dónde experimento decisiones que se presentan como objetivas o inevitables por estar basadas en datos?
- ¿En qué puntos existe el riesgo de que se reproduzcan desigualdades estructurales mediante estas decisiones?
Formula después dos o tres principios concretos que guíen tu actuación, por ejemplo:
- Cómo gestionas las valoraciones basadas en datos
- Dónde preguntas conscientemente por el contexto, la historia y las situaciones de vida individuales
- Cómo mantienes visible la responsabilidad incluso en sistemas complejos
Estos principios pueden servir como orientación personal o como base para conversaciones entre colegas.
Aplica tus conocimientos 2
Fomentar la sensibilidad hacia el poder de los datos y la discriminación en el contacto directo
En el día a día educativo, niños, niñas y jóvenes se enfrentan cada vez más a evaluaciones, rankings y valoraciones automatizadas. A menudo se perciben como neutrales o justas porque se basan en datos. La tarea de los y las profesionales de la educación es contextualizar y cuestionar esta percepción sin generar desconfianza o impotencia.
Este transfer se centra en cómo promover, en el contacto directo con niños, niñas y jóvenes, un enfoque sensible hacia las decisiones basadas en datos. El objetivo es desarrollar conciencia sobre poder, exclusión y responsabilidad.
¿Estás preparado/a?
Desarrolla un impulso para el diálogo, un ejercicio breve o una pregunta recurrente con la que abordar los siguientes aspectos:
- Que los datos no reflejan todo lo que es importante para las personas
- Que las evaluaciones siempre se basan en determinados supuestos
- Que la injusticia también puede surgir allí donde se promete igualdad de trato
Reflexiona:
- ¿Qué ejemplos del día a día de los niños, niñas o jóvenes son especialmente adecuados?
- ¿Cómo puedes explicar que los datos pueden ser útiles sin atribuirles una autoridad absoluta?
- ¿Cómo puedes animar a niños, niñas y jóvenes a hacer preguntas y no aceptar las evaluaciones sin cuestionarlas?
El objetivo no es rechazar la tecnología, sino fortalecer el pensamiento crítico y la autoeficacia.
Reflexiona
El uso de datos e IA toca cuestiones fundamentales de poder, justicia y participación. Los y las profesionales de la educación se sitúan en la intersección entre las situaciones de vida individuales y las estructuras sociales. Su postura influye en si los sistemas basados en datos se perciben como apoyo o como exclusión. Las decisiones basadas en datos suelen parecer objetivas y neutrales. Precisamente por ello es necesario hacer visibles sus supuestos y no perder de vista la responsabilidad.
Preguntas de reflexión sobre la propia postura
• ¿En qué situaciones tiendo a confiar más en decisiones basadas en datos que en el conocimiento relacional o contextual?
• ¿Qué formas de desigualdad percibo especialmente en mi entorno educativo?
• ¿Cómo influyen las categorías y evaluaciones en mi propia práctica profesional?
Preguntas de reflexión para la práctica futura
• ¿Qué quiero mantener conscientemente en mi manejo de datos e IA porque es justo y responsable?
• ¿Qué quiero cambiar para abordar con mayor sensibilidad el poder, la exclusión y la invisibilidad?
• ¿Qué postura sobre equidad, justicia y responsabilidad quiero transmitir a niños, niñas, jóvenes, colegas o familias?