Evaluación mediante pruebas

1. Introducción a la evaluación mediante pruebas

La evaluación mediante pruebas es uno de los métodos tradicionales de evaluación de los estudiantes.  Aunque existen métodos más novedosos de valoración de las capacidades, destrezas y actitudes del estudiante las pruebas objetivas siguen siendo un mecanismo ampliamente utilizado. Las pruebas pueden ser realizadas en papel o con medios informáticos, pueden ser prácticas manuales, orales, valoradas con puntuación, con listas de control, con rúbricas, etc.  

La utilización de las nuevas tecnologías aporta un valor añadido a los tradicionales exámenes en papel pues permiten una corrección, en algunas ocasiones automática y con una realimentación inmediata sobre los resultados. Además, pueden encaminar al estudiante hacia itinerarios de preguntas diferentes en función de sus respuestas.

Las pruebas utilizadas para evaluación con herramientas informáticas de corrección automática permiten una mayor objetividad al no estar influenciadas por las apreciaciones personales del docente. El planteamiento de la prueba requiere un mayor esfuerzo por parte del docente, pero la necesidad de seguir unas pautas de actuación y unos requisitos marcados (valorar cada pregunta antes de la resolución de esta por los estudiantes, añadir campos de retroalimentación en función de las respuestas. definir un tiempo límite para la prueba, etc. ) suelen producir unas pruebas mejor elaboradas ya que requieren afinar muy bien todas las posibles respuestas válidas y la valoración que le otorgas.

Podemos realizar diferentes tipos de pruebas con herramientas informáticas, desde los tradicionales exámenes tipo test a las lecciones en las que el estudiante, en función de sus respuestas, es guiado hacia unas u otras preguntas. Se pueden plantear ejercicios cerrados de respuesta única o permitir contestaciones más abiertas, se pueden poner unos datos fijos a un problema o dar un rango variable de datos para que cada estudiante resuelva, el mismo problema, con datos diferentes. Es posible, a partir de una base de preguntas, construir exámenes diferentes para cada estudiante con solo algunas de ellas, elegidas aleatoriamente de la base global. Se puede ajustar la dificultad de las preguntas 

(Charman, 1999) señaló algunas ventajas del uso de evaluación en línea:  “Frecuencia de la evaluación, retroalimentación inmediata, corrección automática, fiabilidad en la medición (estabilidad, precisión) debido al tipo de pruebas (objetivas) utilizadas, mayor flexibilidad de acceso (espacio y tiempo) y mejora de la motivación de los estudiantes en el proceso de evaluación “

D., Charman (1999). Issues and impacts of using computer based assesments (CBAs) for Formative Assesment. Computer-assisted assesment in higher education- London. Kogan P., 85-94.

2. Pautas a seguir en la elaboración de pruebas

3. Elaboración de preguntas para cuestionarios cognitivos

Este capítulo consta de 3 apartados. El primero de ellos, trata sobre la clasificación de los tipos de preguntas, de acuerdo al formato de las respuestas, cerrada, semiconstruida y abierta.

El segundo apartado, se enfoca en la realización en los cuestionarios cognitivos de preguntas de respuesta cerrada o semiconstruida, de acuerdo a una pautas de construcción.

Por último, en el tercer apartado nos centraremos en la guía de corrección o de codificación, según las preguntas planteadas en el cuestionario cognitivo.

Esta guía e infografías, elaboradas por el INEE, recogen el proceso de elaboración de una prueba de evaluación.

3.1. Tipos de preguntas

Habitualmente la clasificación de los tipos de preguntas se realiza atendiendo a su formato de respuesta. Las preguntas se pueden clasificar como: respuesta cerrada, semiconstruida y abierta. Dentro de cada uno de estos tipos, existen a su vez diferentes formatos de preguntas. 

• Las preguntas de respuesta cerrada son aquellas que no requieren de una elaboración o construcción por parte de la persona que realiza la prueba, sino que solamente precisan que esta seleccione una opción de entre varias ofrecidas, relacione diferentes posibilidades, ordene ciertas opciones, etc. 
• Las preguntas de respuesta semiconstruida exigen la elaboración de una respuesta breve por parte de la persona evaluada. En general solicitan que esta rellene una o varias casillas o espacios con una palabra o cifra, complete varias frases, o responda a alguna cuestión con una respuesta corta.
• Las preguntas de respuesta abierta o construida son aquellas que exigen construcción por parte de la persona evaluada y, por tanto, necesitan de un corrector o correctora que revise el procedimiento llevado a cabo para alcanzar la respuesta, compare este proceso con los ejemplos recogidos en la guía de codificación y decida qué puntuación le corresponde. 

Tanto las preguntas de respuesta cerrada como semiconstruida pueden ser evaluadas automáticamente, sin necesidad de un corrector. Respecto a la utilidad de cada tipo de pregunta, las de respuesta cerrada y las de respuesta semiconstruida se consideran adecuadas para medir:

• Conocimientos de terminología, hechos específicos, principios, métodos y procedimientos.
• La habilidad para identificar hechos y principios, interpretar relaciones de causa-efecto y justificar métodos y procedimientos.
• La habilidad para realizar operaciones aritméticas concretas.
• La habilidad para identificar la adecuación de afirmaciones de hechos, definición de términos, frases de principios y similares.
• La habilidad para reconocer relaciones de causa-efecto o aspectos de lógica.
• La habilidad para reconocer y recordar datos básicos.
• La capacidad para la interpretación simple de datos.

En cuanto a las preguntas de respuesta abierta, son de utilidad en la evaluación de la ejecución de una actividad compleja, la evaluación de la resolución de un problema o la evaluación de la capacidad de desarrollo de una respuesta. Se profundizará más adelante en el bloque IV  en este tipo de preguntas y su evaluación mediante rúbricas.

Subtipos de preguntas cerradas:

Existen varios subtipos de preguntas de respuesta cerrada:

• Preguntas o ítems de respuesta cerrada de opción (o elección) múltiple. Se presenta un enunciado con varias alternativas de las cuales solo una es correcta. Los componentes que configuran este tipo de preguntas son:

• Tronco o vástago: parte inicial de la pregunta en la que se especifica la tarea. Puede ser una pregunta, instrucciones, una frase incompleta, etc.

• Opciones: todas las alternativas de respuesta al tronco.

• Clave: respuesta correcta.

  Distractores: opciones incorrectas: se proponen para “distraer” al alumnado con conocimiento parcial debido a su apariencia de opciones plausibles.

• Preguntas o ítems de respuesta cerrada de opción múltiple compleja. Estas preguntas pueden presentar varios planteamientos: 

A) El más habitual es el de un conjunto de afirmaciones con respuesta dicotómica, es decir, a cada una de las cuales debe responderse eligiendo entre dos alternativas: verdadero/falso, sí/no, causa/consecuencia, etc.

B) Preguntas o ítems de opción múltiple con varias opciones correctas. Son ítems con la misma estructura que las preguntas de opción múltiple en la que varias de las opciones presentadas son correctas 

• Pregunta de respuesta cerrada de emparejamiento o relación: en estas preguntas la persona evaluada debe emparejar los elementos presentados en dos o más conjuntos de información según la relación existente entre ellos. También se clasificarían dentro de este tipo de preguntas aquellas consistentes en rellenar huecos siempre que se proporcione un listado de términos o elementos entre los que haya que seleccionar. Para relacionar los distintos elementos se pueden usar flechas, números, letras, etc.




Preguntas de respuesta cerrada en la plataforma Moodle:

Dentro de la plataforma Moodle, las preguntas de respuesta cerrada se corresponden con los tipos que se enumeran a continuación y que se describirán en el apartado 3 de este bloque: opción múltiple; verdadero/falso, emparejamiento, arrastrar y soltar, arrastrar y soltar sobre texto, arrastrar y soltar sobre una imagen, calculadas de opción múltiple, elige la palabra perdida, emparejamiento aleatorio. 




Subtipos de preguntas semiconstruidas.

Existen dos grandes subtipos de preguntas de respuesta semiconstruida, según la respuesta correcta sea única e inequívoca o que existan diferentes posibilidades de respuesta, todas ellas válidas.

A. Pregunta de respuesta semiconstruida con respuesta única inequívoca (tipo hueco o GAP). La persona evaluada debe rellenar uno o varios espacios en blanco (gaps, en inglés) con la información disponible en la propia pregunta o en algún contexto al que se asocie. 

B. Pregunta de respuesta semiconstruida con varias respuestas posibles. En este tipo de preguntas existen numerosas posibilidades de respuesta, todas ellas correctas, y que no solo se diferencian en el modo de registrarlas (mayúsculas o minúsculas, cifras o letras…). Por ejemplo, se incluirían en este grupo de preguntas las que piden que se indiquen dos adjetivos de los que aparecen en un texto (si en el texto figuran más de dos) o que se citen dos obras de un autor, por ejemplo.


Preguntas de respuesta semiconstruida en la plataforma Moodle:


Dentro de la plataforma Moodle, las preguntas de respuesta semiconstruida se corresponden con los tipos que se enumeran a continuación y que se describirán en el apartado 3 de este bloque: respuesta corta, numérica, respuestas anidadas (cloze).




En este archivo podéis ver algunos ejemplos de tipos de preguntas de respuesta cerrada, semicontruida y abierta.

Incluimos la siguiente Infografía elaborada por el Instituto Nacional de Evaluación Educativa (INEE) sobre el tipo de preguntas para la elaboración de pruebas de evaluación.







Material elaborado por el Instituto Nacional de Evaluación Educativa (INEE)

3.2. Pautas para la redacción de preguntas de respuesta cerrada o semiconstruida

Para la redacción de preguntas de respuesta de tipo cerrada se deben tener en cuenta las siguientes pautas:

El tronco o vástago

• Debe tener sentido por sí mismo y presentar un problema definido. El enunciado debe, por tanto, estar redactado de tal forma que conduzca a una reflexión de la que se deduzca la opción de respuesta correcta.
• En las pruebas competenciales las preguntas deben hacer referencia a un contexto concreto que para su resolución requieran activar procesos cognitivos de grados superior en los que el alumnado deba comprender, analizar, extraer información, diseñar, sintetizar, justificar o extraer conclusiones. Debe evitarse reproducir frases de los apuntes o libros de texto, especialmente si se realizan a distancia y con material a disposición del alumnado. 
• Debe proporcionar solo información precisa para responder y no contener información irrelevante.
• Siempre que sea posible, deben emplearse formas positivas en la redacción. Es especialmente importante evitar la doble negación.
• Debe formularse en forma de pregunta o, en todo caso, de oración incompleta. Deben evitarse enunciados que empiecen o contengan un espacio en blanco.

La clave y los distractores

• La clave debe ser evidentemente correcta. 
• Los distractores deben ser plausibles, mutuamente excluyentes y con una redacción ser clara y concisa. La redacción de distractores de calidad es una tarea compleja. Lo más conveniente es redactar tantos como sea posible atendiendo a los errores y aciertos previsibles que el alumnado pudiera cometer para descartar aquellos que resulten menos plausibles en un cribado posterior.
• Se debe distribuir la posición de la clave al azar, evitando usar siempre la misma posición. Esto se puede lograr bien aleatorizando la posición de la clave mediante la plataforma Moodle o bien ordenando las alternativas por algún criterio objetivo (longitud, numérico, etc.).
• Las opciones deben concordar sintácticamente con el enunciado de la pregunta. Si una palabra o frase se repite en todas las opciones, se debe valorar su eliminación o llevarla al tronco.
• Debe evitarse la redacción de los distractores con frases negativas, especialmente si el enunciado está también formulado negativamente.
• No se deben utilizar opciones del tipo “todas las anteriores” y “ninguna de las anteriores”. Estas opciones conducen a una falta de cohesión interna del ítem y hacen que sea más fácil elegir la respuesta correcta teniendo un conocimiento parcial.
• Todas las opciones deben ser homogéneas, esto es, de similar longitud, complejidad y estructura sintáctica. 
• Las opciones de respuesta no deben suponer diferentes reflexiones o razonamientos. Es el enunciado del ítem el único que debe provocar la reflexión por parte de la persona evaluada. 
• No es conveniente poner más de dos o tres distractores. 
• En las baterías de preguntas dicotómicas, las afirmaciones deben de ser independientes entre sí, de forma que la respuesta a una de ellas no dé pistas sobre las otras. No conviene presentar más de cuatro o cinco afirmaciones. Puede concederse acierto parcial si la persona evaluada responde correctamente a todas las opciones salvo a una o alguna de ellas. 
• Las directrices para contestar a las preguntas de emparejamiento o relación deben ser específicas, indicando claramente qué elementos deben relacionarse (los elementos de una columna con los de otra, palabras e imágenes, nombres y adjetivos…), cómo hacerlo (por ejemplo, mediante flechas), etc.
• En caso de utilizar plataformas de evaluación digital, deben tenerse en cuenta las funcionalidades que estas ofrecen, ya que este tipo de preguntas puede necesitar una modificación de formato al pasar de formato papel a digital. En ocasiones puede hacerse necesario cambiar la redacción original e incluso la guía de corrección. 

Pautas específicas para preguntas semiconstruidas

• Debe describirse claramente la respuesta que se espera del alumno. Si se trata, por ejemplo, de una pregunta de matemáticas cuya respuesta es un número decimal, debe indicarse el número de cifras decimales que se debe incluir en su respuesta. Se puede orientar la respuesta con un ejemplo.
• Si se deben responder dos cuestiones es preferible indicarlo en el formato de respuesta, sobre todo cuando la evaluación se dirija a grupos de corta edad.
• Si se trata de una pregunta de completar espacios, debe evitarse introducir demasiados en un mismo elemento (por ejemplo, en una oración). Es preferible tener solo uno o dos espacios por elemento u oración.

En este archivo os mostramos algunos ejemplos de ítems mal construidos y cómo mejorarlos.

Material elaborado por el Instituto Nacional de Evaluación Educativa (INEE)

3.3. La guía de corrección y el cuestionario cognitivo

Una prueba de evaluación completa no solo está formada por la relación de preguntas o ítems que se le formularán al alumnado, sino que debe acompañarse con una guía de corrección o codificación para cada una de las preguntas que la integran. 

En cuanto a las preguntas cerradas, estas suelen codificarse como correctas (código 1) o incorrectas (código 0). Es interesante codificar las respuestas en blanco con un código diferente al de respuesta incorrecta, por ejemplo con código 9. Este nos permitirá identificar si, por ejemplo, las preguntas finales fueron las que el alumnado no respondió y analizar si el tiempo que se dejó para realizar la prueba era suficiente o por el contrario era escaso. Debe tenerse en cuenta que Moodle no permite desmarcar las respuestas una vez seleccionadas, solamente permite modificar la opción seleccionada. Si se quisiera mantener la posibilidad de respuesta en blanco debería añadirse al programar las preguntas una opción para “No sabe/no contesta”.

En cuanto a la penalización por marcar respuestas incorrectas, suele aconsejarse que se registre una penalización de (1/(número de opciones -1) en las preguntas de opción múltiple. Esta es una medida para evitar las respuestas al azar aunque también puede no penalizarse o hacerlo de otra forma.

La guía de corrección de las preguntas semiconstruidas debe ser especialmente cuidadosa en la enumeración de las respuestas que se darán por correctas. Debe tenerse en cuenta el criterio de evaluación o indicador de logro que pretende medir y no se debe penalizar, por ejemplo, por respuestas correctas que no se expresen en un determinado formato si esto no ha sido indicado en el enunciado: faltas de ortografía, erratas en el deletreo, escritura en mayúsculas o minúsculas o con cifras o letras, por ejemplo, etc.  Por otro lado, no debe proponerse que se proporcione información adicional u optativa a la respuesta que va a ser considerada como correcta: es el caso de preguntas del tipo “cita al menos tres”, que deben evitarse; si el ítem se va a codificar como correcto con tres respuestas válidas no es necesario solicitar más. 

En cuanto a la configuración final del cuestionario cognitivo, este debe contener en general preguntas de tipos variados, adecuadas a la tabla de especificaciones planificada y de forma que se cumplan las ponderaciones de preguntas (o puntuación de las mismas) establecidas con anterioridad a la elaboración de la prueba. Los porcentajes planificados hacen referencia tanto a los temas o bloques de contenido como a los procesos cognitivos y contextos.

Las preguntas contenidas en una prueba de evaluación deben ser independientes entre sí, sin embargo es habitual agruparlas en estímulos o contextos de forma que a cada estímulo se le asocian varias preguntas que, para responderse correctamente, requieren de la información en él proporcionada.

También debe prestarse atención al orden en el que figurarán las preguntas ya que si las más sencillas se sitúan al principio puede desmotivar al alumnado con mayor nivel de competencia. Por el contrario, si inicialmente figuran las más complejas, resultará frustrante para el alumnado de niveles competenciales inferiores. Existen plataformas de evaluación que adaptan el orden de aparición de las preguntas a las respuestas que van proporcionando los alumnos o alumnas según van realizándola, pero estas exceden de este curso de formación. Estas observaciones sobre el orden de las preguntas solo pretenden que en el momento de configurar un cuestionario de evaluación se reflexiones sobre el orden de las preguntas, sobre todo al configurarlo aleatoriamente, ya que este puede afectar al rendimiento del alumnado, además de que si hay varias preguntas asociadas a un mismo contexto (estímulo) puede dar lugar a pérdida de coherencia. 

En este archivo podéis ver algunos ejemplos de guías de corrección para preguntas cerradas, semicontruidas. La corrección de las preguntas semiconstruidas y abiertas suele realizarse mediante escalas de valoración o rúbricas. En el siguiente bloque del curso se describirán brevemente las rúbricas. Estas preguntas se denominan “de tipo ensayo” en Moodle.

Incluimos la siguiente Infografía elaborada por el Instituto Nacional de Evaluación Educativa (INEE) sobre la elaboración de pruebas de evaluación.

Material elaborado por el Instituto Nacional de Evaluación Educativa (INEE)

4. Elaboración de cuestionarios en moodle

La herramienta básica para la elaboración de pruebas en Moodle es el cuestionario.

La gran variedad de tipos de preguntas (calculadas, de emparejamiento, de ensayo, de opción múltiple, respuestas anidadas, etc.) que pueden incluirse en un cuestionario permite una gran versatilidad a la hora de configurar un examen y nos da la posibilidad de adaptarlo a cualquier materia (inglés, matemáticas, historia, lengua, etc.).

Aunque en los cuestionarios de Moodle es posible tener preguntas en las que los estudiantes contesten de forma libre a una pregunta (preguntas tipo ensayo) cuando se aprovechan mejor sus características es cuando se utilizan las preguntas de corrección automática en las que las respuestas están cerradas. Si se desean pruebas de texto libre lo más adecuado es utilizar las tareas que veremos en el tema siguiente.

Antes de entrar en detalle en las posibilidades que ofrece moodle vamos a describir los aspectos que nos permite configurar y los tipos de preguntas que tenemos disponibles así como la evaluación que se puede realizar en los cuestionarios.

4.1. Aspectos configurables del cuestionario

4.2. Tipos de preguntas

4.3. Evaluación del cuestionario

La valoración del cuestionario es numérica con una puntuación máxima. Se puede definir la puntuación mínima para considerarlo como superado.

Cada pregunta puede tener diferente puntuación.

Si una misma pregunta aparece en diferentes cuestionarios, porque la reutilizamos, la puntuación asignada por defecto a la pregunta puede modificarse para que sea diferente en cada cuestionario. 

Cada respuesta, de una misma pregunta, también puede tener diferente puntuación (unas pueden valer un punto y otras 4, por ejemplo), además se pueden penalizar las respuestas incorrectas con diferentes valoraciones. Es decir, en una misma pregunta una respuesta puede restar 1 punto y otra 2 puntos.

Se puede penalizar cada nuevo intento (si permitimos varios intentos) con un porcentaje. Por ejemplo, si aciertas a la primera sumarás 1 punto y si aciertas al segundo intento 0,75 puntos.

5. La retroalimentación

Un aspecto importante de la evaluación que contribuye decisivamente a la mejora de la enseñanza es la retroalimentación que realicemos a las actividades de evaluación que realizan nuestros alumnos.

La retroalimentación es un aspecto fundamental de la formación del estudiante, pero para que cumpla adecuadamente con su papel tiene que llevarse a cabo siguiendo ciertas pautas que amplificarán su función formativa:

• Tiene que realizarse en un momento próximo a la entrega de la prueba o producto por parte del estudiante. Una retroalimentación tardía pierde una gran parte de su capacidad.
• Tiene que estar centrada en los aspectos fundamentales. No hay que apabullar al estudiante con una cantidad ingente de comentarios.
• Hay que elegir adecuadamente el sistema de comunicación: escrito, oral, con comparación con la solución o con las pruebas de los compañeros, etc.
• El objetivo es motivar al estudiante, valorar lo positivo es tan importante como identificar los errores.
• Tiene que estar personalizada, aunque esto no signifique, necesariamente, individualizada. Pueden hacerse grupos reducidos con la misma problemática para focalizar los comentarios en aspectos comunes al grupo. Se puede aprovechar la colaboración de otros estudiantes para mejorar la personalización con correcciones entre pares.
  

• Debe estimular al cambio de proceder del estudiante y, si es posible, a solventar los problemas indicados en la propia prueba o producto. La aplicación práctica inmediata siempre aporta un plus de conocimiento. 

  Además, en la enseñanza en línea además de tener en cuenta los aspectos anteriores hay que tener en cuenta la parte afectiva, intentar añadir emoticonos, gift animados o vídeos. Hay que tener un cuidado especial con el lenguaje utilizado porque la falta de contacto físico trae, a menudo, malas interpretaciones. La parte emotiva es, en muchos casos, fundamental para tener una base sobre la que construir la formación.

Rebeca Anijovich, Retroalimentación formativa, , SUMMAN 2020, EduCaixa.

José Manuel Pérez Lobato y Javier Sanz Rodríguez.

6. Créditos

Autores del curso:

Javier Sanz Rodríguez
José Manuel Pérez Lobato

Instituto Nacional de Evaluación Educativa (INEE)

Créditos

Área de Formación en Línea y Competencia Digital Educativa del INTEF
Este curso y sus materiales se distribuyen con licencia Creative Commons 4.0

Instituto Nacional de Tecnologías Educativas y de Formación del Profesorado
Ministerio de Educación y Formación Profesional