Christmas crackers: Cómo integrar la IA en la evaluación universitaria
Recomendaciones para integrar la IA en la evaluación universitaria
En el Reino Unido, se denominan “Christmas crackers” a unos tubos hechos de cartón y recubiertos de un plástico brillante que se utilizan en las celebraciones navideñas. Normalmente, el Christmas cracker se abre entre dos personas, que rompen el tubo cogiendo cada persona uno de los extremos y tirando del tubo. En su interior, el Christmas cracker guarda regalos simbólicos, de motivación navideña, que también incluye valiosos consejos, como las llamadas “galletas de la fortuna china”.
He querido que estas recomendaciones para un uso ético de la IA en la evaluación universitaria sean, así, como una especie de regalo de Christmas cracker que pongo al servicio de la comunidad.
Escribí las siguientes recomendaciones para el curso “Desarrollo de las competencias en AI aplicadas a la evaluación: hacia una evaluación más inteligente” que escribí para el Vicerrectorado de Innovación Educativa de la ULPGC. Con este curso, la universidad se ha convertido en pionera en la impartición de un curso específicamente diseñado para el personal docente y enfocado a formarles en la integración de la IA generativa en las estrategias y métodos de evaluación.
Espero que mis recomendaciones sean de utilidad. Allá van:
Conocer primero cuál es el nivel de competencias en IA de los alumnos,
así como el acceso que tienen a las herramientas de IA generativa:
· ¿qué tipo de herramientas de IAGen utilizan nuestros estudiantes para apoyar su aprendizaje?,
· ¿están familiarizados todos los estudiantes con este tipo de herramientas?
· ¿tienen todos acceso a las herramientas de IAgen?
· ¿son conscientes los estudiantes de los riesgos y limitaciones de estas herramientas?
2. Establecer una política clara de uso de IA generativa tanto para los trabajos de curso como para las tareas de evaluación.
Para alumnos que no son lo suficientemente maduros sobre el propósito de la evaluación, será el docente quien establece la política de uso de la IA (en otros casos, alumnado y docente pueden acordar esta política, como veremos). La política de uso debe dejar claro:
a. Las herramientas de IAGen que se permiten y las que no.
b. Qué maneras de usar la IA están permitidos y, por el contrario, qué usos no se permiten.
c. Cómo debe citarse la contribución o ayuda recibida de la IA en las tareas de evaluación.
d. Qué usos de la IA se considerarían ilícitos o plagio y qué medidas disciplinarias se aplicarían en dicho caso.
Por ejemplo, si la política de uso establece que “se permite usar la IA para editar el texto del examen”, la acción de “editar un texto” puede ser interpretada de forma muy distinta por cada estudiante. Una política de uso sin ambigüedad debería aclarar declarar: “Está permitido usar la IA generativa para corregir ortografía, puntuación y gramática básica, pero no para escribir frases o párrafos enteros buscando una mayor concisión, claridad, etc.”
Al establecer y acordar políticas de uso de la IAGen para apoyar la evaluación y el aprendizaje debe evitar cualquier tipo de ambigüedad.
3. Acordar una política de uso de IA generativa con el alumnado en los casos en que éste se considere suficientemente maduro.
En estos casos se aconseja involucrar a los estudiantes en el proceso de creación de políticas de uso de la AI en el curso para fomentar la apertura, la honestidad y la confianza, que son componentes importantes de la integridad académica. Cuando los estudiantes y el docente acuerdan de un modo no jerárquico cómo usar la IA de un modo ético para apoyar la evaluación, es más fácil comprender y aprobar las normas de uso de la IA y el propósito de que existan tales normas. Se trata de “reglas del juego” que han sido pactadas y acordadas en común.
4. Revisar y -si es necesario- expandir la política de uso de la AI a lo largo del curso.
La política inicial, pactada al principio del curso, puede ser evaluada y, eventualmente, modificada o expandida a lo largo de las diferentes actividades de aprendizaje y tareas de evaluación. Es posible que, durante la realización de dichas actividades, surjan nuevos aspectos a considerar o dilemas sobre el uso permitido o no de la AI. En ese caso, se puede replantear la política de uso involucrando a los estudiantes en la discusión: por ejemplo, si surge una nueva herramienta de IA durante el curso que es capaz de emular la creatividad humana, se puede organizar un debate con los estudiantes del curso, y discutir los peligros y las ventajas de permitir una herramienta así para realizar las actividades del curso.
5. Incorporar tareas de evaluación formativas que requieran la participación activa del alumno y que no pueden completarse por sí mismas mediante un LLM o agente de IA Generativa.
Ejemplo de tales tareas serían:
· Cada alumno/a debe realizar presentación oral en clase sobre uno tema del curso.
· Un proyecto de evaluación grupal en donde todos los miembros del grupo deben puntuar las contribuciones al proyecto final de sus compañeros.
· Cada alumno/a debe presentar un caso de estudio con unas circunstancias y unos datos específicos para cada caso.
· Un proyecto, consulta o problema basado en un escenario profesional real y donde el estudiante tiene que proporcionar una solución o respuesta de acuerdo con un contexto y entorno social muy específicos (aquí pueden utilizarse todas las técnicas de diseño de evaluación auténtica que hemos visto en unidades anteriores)
6. Involucrar a los estudiantes en el aprendizaje activo a lo largo del curso.
Para evitar un uso inapropiado -o un sobreuso de la IA- deben diseñarse actividades de aprendizaje que promuevan un aprendizaje activo y con interacciones síncronas, tanto si el curso es presencial como online: por ejemplo, la facilitación de debates, simulaciones, juegos, resolución de problemas, respuestas rápidas a preguntas formuladas durante la clase.
Cuando el aprendizaje activo tiene lugar en entornos sincrónicos- ya sea de modo presencial, híbrido u online-las oportunidades de que la IA sea quien complete la tarea se reducen.
7. Evaluar el propio proceso de resolución de la tarea de examen, y no solamente la solución proporcionada.
Si el aprendizaje activo se lleva a cabo fuera del aula, o en entornos asincrónicos online, se puede pedir al alumnado que proporcione una evidencia de todo el trabajo asociado con la resolución de la tarea de evaluación o examen: notas tomadas de las discusiones con el docente o con otros compañeros, correos electrónicos donde se pregunta o se investiga la posible solución, copia del primer borrador, o las primeras pruebas, posibles hipótesis consideradas, soluciones descartadas, etc.
Como hemos visto en el marco PAIR, también se puede incluir un elemento de reflexión en la propia tarea de examen: por ejemplo, que los alumnos reflexiones sobre cómo han llegado a una determinada solución, las dificultades que han encontrado en la realización del proyecto y cómo las han solucionado, etc.
8. Incluir evaluaciones progresivas -formativas o sumativas- al o largo del curso en lugar de una sola evaluación final.
De esta forma, se realiza un seguimiento mejor del proceso de aprendizaje real del alumnado en lugar de que éste tenga que presentar una sola evidencia de la adquisición de conocimientos, competencias o habilidades. Algunas formas de incluir esta evaluación progresiva durante el curso serían:
· Para los casos en que se evalúe un proyecto, prototipo, artefacto digital, etc., los alumnos deben presentar un primer prototipo o borrador del proyecto para recibir feedback del docente y/o de los propios compañeros.
· Incluir tareas de clase que fomenten la evaluación por pares.
· Incluir proyectos de evaluación grupal, como ya se ha comentado.
· Pedirle al propio alumno que autoevalúe la calidad de su trabajo.
Incluir tareas de evaluación progresiva a lo largo del curso en donde el estudiante asume un papel activo en la evaluación, bien como evaluador de sí mismo y de otros, o bien como colaborador en una proyecto grupal, facilita que el estudiante se comprometa con la política de uso permitido para la AI en el curso.
9. Integrar la reflexión de modo constante en la evaluación.
Como ya se ha comentado, introducir un elemento de reflexión facilita que los estudiantes sean conscientes de su propio proceso de aprendizaje. Por ejemplo, en la tarea de evaluación se pueden incluir preguntas reflexivas de tipo:
“¿Qué desafíos encontraste para lograr la resolución de la tarea o proyecto?”
“¿Qué conocimientos adquiriste?”
“¿Qué habilidades desarrollaste?
Se pueden utilizar también preguntas reflexivas para ayudar a los estudiantes a ser conscientes de las competencias o conocimientos en IA que han adquirido al emplear una herramienta de IA para la tarea de evaluación y de acuerdo a la política de uso definida para el curso.
10. Incluir elementos metacognitivos en la evaluación.
Es difícil que la IA pueda responder completamente a preguntas que cuenta con elementos metacognitivos y estas preguntas ayudan al alumnado a centrarse en el propio proceso de aprendizaje. Ejemplo de preguntas metacognitivas serían:
· “Describe cómo tu trabajo o proyecto demuestra que has adquirido el conocimiento/competencia/habilidad especificados en el criterio de evaluación.
· “Demuestra cómo aplicarías el conocimiento o competencia X en un entorno profesional”
11. Aprovechar los propios materiales y las actividades de aprendizaje del curso para la evaluación sumativa.
El contenido generado a través de las actividades del curso (como publicaciones en foros de discusión, tareas grupales, presentaciones estudiantiles, debates síncronos, quizzes, encuestas, etc.) puede ser referenciado en preguntas de exámenes y tareas.
Cuando la solución, respuesta o proyecto de la tarea de examen se ve restringida a fuentes muy específicas (como los materiales del curso, o las opiniones e información que han sido intercambiados por los alumnos como parte de las interacciones de aprendizaje que han tenido lugar durante el curso) se dificulta que la IA pueda lograr la resolución completa de la tarea de examen y se fomenta que el alumno/a trabaje en la solución final.
12. Evitar acciones, tareas o procesos cognitivos que la IA generativa puede realizar bien para tareas de evaluación realizadas en un entorno no controlado.
La IA generativa es buena imitando procesos cognitivos como memorizar, analizar y resumir y en tareas de carácter general como:
definir términos,
responder preguntas basadas en analizar datos,
·resumir, producir contenido (texto, imagen, video, audio) que responde a indicaciones.
La evaluación final puede incluir este tipo de tareas y es ético permitir a los estudiantes que utilicen la AI como herramienta para ayudarlos en dichas tareas. Pero, se desaconseja que, en un entorno no controlado, la evaluación final consista en algo tan simple como una acción o proceso que la AI puede realizar bien.
Cuando se diseñan evaluaciones basadas en tareas similares a las mencionadas y entornos no seguros, se debe añadir elementos de mayor complejidad como parte de la tarea de evaluación: introducir preguntas metacognitivas, utilizar sólo materiales o datos de clase, introducir un elemento de reflexión, etc.
13. Restringir ciertas evaluaciones a un entorno seguro (vigilado y controlado). Cuando se realicen tareas de evaluación que la IA Gen puede realizar bien, como las anteriormente citadas, la evaluación debe realizarse en un entorno controlado y bajo supervisión humana.
En cursos online, este entorno seguro puedo lograrse mediante el llamado “online proctoring software” (sistemas de proctoring online).
