El modelo PAIR aplicado a la evaluación universitaria
El modelo PAIR aplicado a la evaluación universitaria
El módelo PAIR permite a los docentes realizar una integración estructura de las herramientas de IAGen en evaluación
Este blogpost se basa en la adaptación al español del modelo PAIR que he realizado para el módulo “CAIE24 Desarrollo de competencias en IA aplicadas a la evaluación: hacia una evaluación más inteligente”, que imparto en la Universidad de Las Palmas de Gran Canaria.
PAIR (acrónimo del inglés Problem, AI, Interaction y Reflection) es un marco de referencia aplicado a la evaluación y la enseñanza desarrollado por el catedrático del King´s College London Oguz A. Acar. El marco fue publicado por primera vez en Junio de 2023 como parte del artículo “Are Your Students Ready for AI? A 4-Step Framework to Prepare Learners for a ChatGPT World” para Harvard Business Publishing Education. Coincidiendo con la popularización y el apogeo de aplicaciones de AIGen como ChatGPT, el sector de la educación universitaria abandonaba su oposición inicial al uso de herramientas de IAGen por parte del alumnado, para plantarse cómo debería ser la introducción de dichas herramientas para facilitar el aprendizaje, cómo integrarlas en la evaluación y con qué propósito pedagógico, y qué guías y recomendaciones debería proporcionarse al alumnado para utilizar estas herramientas de modo ético y desarrollar ciertas habilidades técnicas y procesos cognitivos de orden superior englobados dentro de la expresión “competencias en IA”.
La expresiónes “competencias en IA” y “alfabetización en IA” son terminos relativamente recientes, acuñados tras la popularización de la IA generativa el ámbito de la educación. Existen numerosos marcos de competencias en IA, destacando el marco de competencias en materia de IA para estudiantes y profesores de la UNESCO de reciente publicación.
En principio, competencias y alfabetización no son términos equivalentes (competencia hacer referencia la aplicación practica de una determinada pericia o habilidad dentro de un determinado contexto y con un propósito, mientras que alfabetización hace referencia a dicha habilidad o conocimiento en un sentido más amplio).
Oguz basaba su marco en sus investigaciones sobre psicología de la IA y el aprendizaje del alumno, y en la premisa de que la IAGen sólo podría mejorar el aprendizaje si los estudiantes desarrollaban primero cinco “habilidades” (skills en el original) cognitivas básicas de orden cognitivo superior (y que, en principio, nada tenían que ver con las habilidades técnicas para manejar las aplicaciones de IAGen). Las habilidades cognitivas que Oguz lista en su artículo som:
formulación,
exploración,
experimentación,
pensamiento crítico
y predisposición para aprender.
Esta cinco habilidades darían lugar a los cuatro pasos del marco PAIR, que se popularizó al ser incluido la primera edición del curso corto “Generative AI in HE” desarrollado por el King´s College of London (un excelente recursos para aquellos profesionales de la enseñanza universitaria que deseén incoporar la IAGen en su práctica docente).
¿En qué consiste el marco PAIR?
El marco PAIR proporciona una metodología de trabajo para permitir al alumnado el uso de la IAGen en el contexto de la evaluación (sumativa y formativa). En particular, PAIR fomenta la evaluación auténtica, como es la basada en la resolución de un problema, consulta o proyecto (Project-based learning, problem/enquire-based learning) y el aprendizaje activo.
En primer lugar, el docente debe diseñar la tarea de evaluación en donde se pide al alumno la realización de un proyecto o la resolución de un problema o consulta, que, normalmente, está relacionada con el ámbito profesional o laboral de la disciplina que estudia el alumno (por ejemplo, la realización de un informe, el análisis de una serie de datasets, realizar una investigación o estudio de mercado, realizar un video o postcad sobre un tema profesional, etc.).
El alumno/a aplica entonces un proceso de cuatro pasos para la resolución de la tarea de evaluación:
(la formulación original del marco PAIR puede consultarse en la página de King’s College London)
Resumen del marco PAIR, incluyendo los cuatro pasos en los que se basa y los requisitos que debes considerar.
Formulación del problema: El alumno/a define cuál es el problema, consulta o desafío y en qué consiste la solución. El tipo de pregunta o desafío puede ser de varios tipos:
Consulta abierta: Se otorga a los estudiantes autonomía para identificar y formular su propio proyecto, consulta o problema
Consulta cerrada: Un formato estructurado donde se proporciona a los estudiantes un problema predefinido.
Consulta semiguiada: El docente ofrece temas amplios o problemas poco definidos, permitiendo que los estudiantes se centren en aspectos específicos del problema.
2. Selección de herramientas de IA: El alumno/a identifica el papel que la IA generativa va a desempeñar en la resolución del problema, y elige la herramienta/s de IA más adecuada para ayudarlo en la resolución del problema.
3. Interacción: El alumno/a aborda el problema o desafío interactuando con la IA; ello supone experimentar con distintos inputs o estímulos de entrada (datos o información adicional, técnicas de promting, formato de las instrucciones de entrada) y evaluar de modo crítico el resultado generado por la IA u output, mejorando y refinando dicho resultado hasta llegar al deseado
4. Reflexión: El alumno/a reflexiona de modo crítico sobre el proceso de interacción con la IA generativa y cómo se han ido modificando los inputs e instrucciones proporcionados a la IA hasta obtener un resultado aceptable.
Beneficios de usar el marco PAIR
A diferencia de otros marcos o metodologías de aplicación de la IAGen en la Evaluación, PAIR se centra en el individuo (en este caso, los alumnos, pero puede aplicarse también a los cursos de formación de docentes) y en el desarrollo de capacidades cognitivas de orden superior en el individuo que permiten utilizar la IA de modo crítico, ético y plenamente consciente.
PAIR es un marco de referencia diseñado para desarrollar una concienciación crítica de la IA y, de echo, los tres rasgos fundamentales del marco son:
Centrado en el ser humano: La IA es una herramienta para expandir y complementar, no reemplazar, la intuición, el juicio y la creatividad humana.
Centrado en las habilidades cognitivas propias del ser humano: El manejo de la IA se enfoca en el desarrollo de procesos mentales y habilidades que son necesarias para el desarrollo integral del individuo (como la formulación de problemas, exploración, experimentación, pensamiento crítico y reflexión,) en lugar del domino técnico de software o del conocimiento técnico de aplicaciones específicas
Centrado en la responsabilidad: La reflexión crítica con respecto al papel de la IA en la evaluación se halla presente en todo el marco, y muy especialmente en el último paso: el alumno selecciona la herramienta que le va a servir para resolver el problema y reflexiona sobre el conjunto de la experiencia. Para ello, el alumno debe ser consciente, primero, de las limitaciones. los riesgos y el potencial de la IA. Son aspectos que el docente debe explorar junto al alumnado y que permiten una reflexión madura sobre la integración de la IA en la evaluación, una integración en la que el alumnado puede y debe desarrollar un papel activo.
El marco PAIR permite desarrollar de un modo intrínseco competencias y habilidades que son características de los marcos de competencias y alfabetización en IA tales como:
1) Saber formular un problema, consulta o desafío de modo que la IA sea capaz de abordarlo.
2) Saber utilizar las técnicas del promting para descomponer un problema complejo y subtareas que pueden ser abordadas por aplicaciones de IA generativa.
3) Saber emplear dichas técnicas para mejorar o refinar los resultados iniciales hasta lograr el resultado esperado; ese te manejo de las técnicas del prompting se conoce como pre-entrenamiento o fine-tunning dependiendo de cómo se realice.
4) Tener un conocimiento tecnológico básico de las aplicaciones y software de IAGen disponible para ser capaz de elegir la aplicación más eficaz para abordar el problema.
El último paso del marco, la reflexión, puede utilizarse para fomentar también las competencias en IA, ligando dicha reflexión con los aspectos éticos que planea, por ejemplo, utilizar la herramienta de IAGen en una determinada actividad profesional, con los riesgos para la protección de datos y la privacidad del usuario que los estudiantes pueden advertir utilizando estas herramientas, o con los prejuicios o sesgos raciales, culturales o sociales que pueden advertirse en la información o resultados iniciales que nos presenta la herramienta de IA
Puesto que el marco PAIR implica la formulación de un problema o consulta la utilización de este marco en los métodos de evaluación permite fomentar la alfabetización en evaluación del propio alumnado. Son los estudiantes quienes formulan el problema o consulta que les permite relacionar el conocimiento teórico y/o práctico que han aquirido en una disciplina académica con las responsabilidades que van a desempeñar en su vida laboral. Son también los estudiantes quienes eligen y utilizan la herramienta de IA tal y como se esperaría de un profesional en dicho campo o disciplina.
¿Qué es la alfabetización en evaluación? La alfabetización en evaluación define la capacidad que tiene un estudiante de:
entender el propósito de la evaluación en su disciplina académica,
saber relacionar dicha evaluación con unos objetivos de aprendizaje determinados,
comprender las instrucciones que se proporcionan en una tara de evaluación evaluación,
ser capaz juzgar de modo crítico el proyecto o tarea proporcionado como evidencia de que se ha acquirido un conocimento relevante en la disciplina, y si dicho conocimiento cumple o no con los criterios de calidad definidos en el criterio de evaluación.
Inconvenientes de usar el marco PAIR
Como se ha dicho anteriormente, el marco PAIR requiere de un alumnado que sea lo suficientemente maduro y con una mínima alfabetización en evaluación. Lejos de adoptar un role pasivo, el alumno/a se convierte en un examinador activo capaz de formular un problema o consulta complejos que responda al propósito de la evaluación y de cubrir los objetivos de aprendizaje del curso. El alumno debe estar preparado para evaluar a otros, o para evaluarse a sí mismo, de acuerdo a un criterio o métrica de evaluación.
En cierto modo, en el marco de referencia PAIR se da por hecho que el alumnado poseé un conocimiento previo de habilidades cognitivas y competencias propias de un grado formativo superior, como la capacidad de pensamiento crítico, la capacidad de descomponer un problema complejo en subproblemas o subtarea, la capacidad de utilizar pensamiento reflexivo y de ser capaz de plasmar dicha reflexión por escrito utilizando un lenguaje mínimamente académico y profesional. Tal y como es el nivel de los nuevos estudiantes universitarios en todo el mundo, podría darse el caso de que, en los primeros años de estudios universitarios, no todos los estudiantes han desarrollado un pensamiento crítico o saber realizar una reflexión mínimamente madura (y, además, articularla en el lenguaje en que se imparte la disciplina académica). El marco PAIR se debe utilizar con un alumnado lo suficientemente maduro y que ha adquirido competencias académicas básicas, como son la lectura y escrituras académicas, saber investigar y descomponer un problema complejo en subtareas, saber cómo formular un problema, etc.
El hecho de que el alumnado sea capaz de seleccionar y evaluar las herramientas de IAGen implica que el alumno poseé un conocimiento básico de dichas herramientas, lo que puede no ser cierto. Por eso, antes de utilizar el marco PAIR como parte de la tarea de evaluación es necesario conocer:
1) Qué grado de competencias en IA tiene el alumnado.
2) A qué herramientas de IAGen tiene acceso el alumanado para evitar la discriminación tecnológica; por ejemplo, si el examen o trabajo de curso implica la utilización de un generador de texto-a-texto para la realización de tareas básicas como resumir, analizar y sintetizar la bibliografía asociada al exámen/trabajo de curso, aquellos alumnos que puedan permitirse una subscripción de pago a los LLMs de mejores prestaciones en el mercado tendrán ventaja sobre los alumnos que solo pueden utilizar las versiones gratuitas (que, muchas veces, no incluyen los últimos desarrollos de los modelos de lenguaje); se deben utilizar siempre las herramientas promovidas por los propios reglamentos o recomendaciones de la institución universitaria y garantizando igualdad de acceso a dichas herramientas.
3) Qué formación inicial en IAGen se requiere para que los alumnos puedan aplicar de modo satisfactorio los pasos 2) y 3) del modelo PAIR.
Finalmente, un método de evaluación basado en el marco de referencia PAIR deja en manos del alumno la sinceridad con respecto al papel que la IA ha desempeñado realmente en la resolución del problema o tarea, o con respecto a la generación del producto o resultado final. Se espera que el alumno interaccione con dicha herramienta, y que proporcione un discurso reflexivo sobre su interacción con la herramienta de IAGen, pero una evaluación mal diseñada, o muy simple, conlleva el riesgo de que sea IAGen la que resuelva la tarea o problema tras una primer instrucción en el prompt y con mínima intervención por parte del alumno. No debemos formular problemas o consultas excesivamente simples en las que el valor añadido por parte del alumno/o sea nulo. Lógicamente, see corre el riesgo de que el alumno no sea sincero en su reflexión final, en particular con respecto a cuál ha sido el grado de intervención con la IA para lograr el resultado final.
Asimismo, el alumno puede utilizar herramientas de IAGen no autorizadas o que conllevaban riesgos con respecto a la protección de datos personal, que infringen los derechos de copyright o los marcos regulatorios de IA nacionales y supranacionales de modo consciente o inconsciente. La decisión final con respecto a la IA queda en manos del alumno.
El modelo o marco de referencia PAIR presenta ventajas e inconvenientes, como cualquier marco de referencia aplicado a la evaluación. Los docentes deben considerar cuidadosamente la madurez del alumnado con respecto a la evaluación y su grado de competencias y conocimientos en IA antes de utilizarlo