Matriz de especificaciones: ítems, pilotaje

Una vez que se han identificado todos los criterios que configuran la matriz, es necesario generar preguntas o ítems que estén vinculados con ellos. Además es necesario hacer un elevado número de preguntas de forma que se puedan pilotar (ponerlas en práctica para comprobar que lo que se ha establecido en la matriz de especificaciones es contrastado por la realidad de lo que ocurre al enfrentar al alumnado a las mismas). Es decir, si una pregunta ha sido creada para medir un proceso cognitivo, que realmente lo mida. Seguramente de las preguntas que se han realizado, muchas se eliminarán, normalmente por un mal funcionamiento o anomalías observadas al aplicarlas con un grupo de alumnos, una mala redacción del enunciado, error en algunas de las respuestas, duplicidad de claves, errores tipográficos, que la dificultad esté en la forma de preguntar y no en lo que se pregunta, etc.

Los procesos de prepilotajes y pilotajes se realizan con alumnos que no tendrán dificultad en responder a lo que se les pregunta, de manera que lo que se analiza es la validez y viabilidad del ítem. Por ejemplo, si diseñáramos una prueba para 2º de ESO lo podríamos pilotar con alumnos de 3º de ESO en el momento de inicio del curso escolar (octubre o noviembre). Las evaluaciones internacionales realizan el estudio piloto un año antes que el estudio principal, en el mismo curso académico y con una cohorte de alumnos de iguales características a las que un año más tarde tendrán los alumnos que realizan el estudio principal, y del que se obtienen resultados. Al final, la prueba quedará configurada de forma que existan un conjunto de preguntas que recorran todos los procesos cognitivos y conocimientos.

Hay que considerar que las evaluaciones internacionales no pretenden evaluar al alumno, sino al sistema. Se emplea al alumno como elemento mínimo de información y solo contesta una parte del conjunto total de preguntas de la prueba. Si un alumno tuviese que realizar una de estas pruebas contestando a todos los ítems tardaría unas siete horas, por lo que se hace una distribución matricial de las preguntas para que todas ellas sean contestadas un número suficiente de veces, pero no todos los alumnos contestan las mismas, ya que las pruebas son de aproximadamente 50 minutos por competencia evaluada.

Debemos tener en cuenta que cuando un profesor hace un examen, normalmente establece un par de preguntas relativamente sencillas para tratar de que el mayor número de alumnos se aproxime al aprobado. De igual modo incluye una o dos preguntas para diferenciar aquellos alumnos que destacan y el resto de preguntas podríamos considerarlas de dificultad intermedia. En estas pruebas pasa algo parecido, por eso descontextualizar una pregunta del conjunto de la prueba no tiene mucho sentido. Hay preguntas muy fáciles, para conocer el alumnado que al menos llega a este nivel mínimo y quien no lo alcanza. De igual modo interesa saber qué porcentaje destaca de entre todo el alumnado, de ahí la existencia de algunas preguntas de cierta complejidad, siendo el grueso de dificultad intermedia que es donde normalmente se sitúa la mayor parte del alumnado.

Nota

En las matrices de especificaciones de diversas evaluaciones educativas que vamos a ver a continuación, figura el porcentaje de ítems para cada dominio (peso relativo), referido tanto a los contenidos como a los procesos cognitivos.