Evaluaciones Estandarizadas: ¿Cómo funciona el proceso de validez de las pruebas en Lirmi?

El proceso de construcción de las pruebas Lirmi se basan en los estándares internacionales definidos en el documento Standards for Educational and Psychological Testing (AERA,APA & NCME,2014), los cuales le otorgan validez a las evaluaciones (Case, Jorgensen y Zucker, 2004). Este proceso se inicia con la definición del marco de referencia y las especificaciones técnicas, continúa con la elaboración y validación de las preguntas, y culmina con el armado y diagramación de las pruebas que se aplican a los estudiantes.

1. Definición curricular y especificaciones. Se realiza una revisión y análisis de las bases curriculares, priorización curricular,  programas de estudios y estándares de aprendizaje del Mineduc. Luego se elaboran las tablas de especificaciones, donde se determinan los ejes, objetivos de aprendizajes, habilidades e indicadores que serán evaluados, así como también la cantidad de preguntas que se asociaron a cada eje y habilidad cognitiva con el objetivo de resguardar   la coherencia, cobertura curricular y representatividad, donde el  "Informe técnico del Simce" es uno de los principales referentes.

2. Elaboración y validación de las preguntas . Las pruebas están formadas por ítems de selección múltiple, pues este formato permite reportar información  de la mayoría de los constructos a evaluar en forma efectiva y eficiente, asegurando validez, confiabilidad y objetividad del instrumento en su totalidad (Downing y Haladyna, 2006).  Las preguntas  se construyen a partir de un enunciado para el cual existe una única opción correcta (clave) y tres distractores (opciones incorrectas), que recogen errores plausibles . Los distractores se elaboran sobre la base de errores comunes que cometen los estudiantes que no han logrado los aprendizajes (Haladyna y Rodríguez, 2013). 

Las preguntas son elaboradas por comisiones internas, lideradas por un coordinador de área, que realiza revisiones diarias y reuniones semanales con el fin de resguardar los criterios técnicos en la construcción de ítems como la formulación del enunciado, contexto, opción de respuesta correcta, plausibilidad de los distractores y justificación de los mismos, coherencia del ítems con la habilidad y aprendizaje evaluado. Finalizado el proceso de elaboración, otro equipo  revisa todos los ítems en base a criterios técnicos de elaboración y disciplinarios, donde los ítems pueden ser  “rechazados”, “modificados” o  “aprobados”. Finalmente los ítems aprobados son  aplicados, para ver su comportamiento empírico e indicadores psicométrico, y así poder seleccionar los mejores para la prueba definitiva

3. Prueba definitiva. En  la prueba definitiva , se utilizan los ítems que han sido aprobados a partir del análisis de sus propiedades psicométricas, es decir, poseen la suficiente calidad y efectividad para ser parte de la prueba. Para ello se analizan las propiedades métricas de los ítems, para seleccionar aquellos que tienen buen comportamiento y a la vez, descartar aquellos que no muestran un funcionamiento adecuado. Para este análisis psicométrico se consideran los siguientes indicadores: grado de dificultad, capacidad discriminativa, funcionamiento de distractores, plausibilidad de los distractores y grado de  omisión.

Es importante recalcar que los ítems de las pruebas son elaborados y revisados  por comisiones de docentes con formación y experiencia en medición y evaluación de los aprendizajes. De manera permanente existe un proceso de revisión y análisis de ítems

Referentes:

- AERA, APA y NCME (2014). Standards for Educational and Psychological Testing. Washington: autores. 

- Agencia de  Calidad de la Educación. Informe Técnico del Simce

- Case, B., Jorgensen M. y Sucker S. (2004). Alignment in Educational Assessment: Assessment Report. San Antonio, Texas: Pearson Education Inc. 

- Downing, S. y Haladyna, T. (2006). Handbook of Test Development. Mahwah, New Jersey: Lawrence Erlbaum Associates. 

- Haladyna, T. M. & Rodriguez, M. (2013). Developing and validating test items. New York: Routledge. 

- Martínez, M. R. (2005). Psicometría: Teoría de los Test Psicológicos y Educativos. Madrid: Editorial SÍNTESIS, S.A. 

- MINEDUC. Bases Curriculares y Programas de Estudios

- Patti Shank (2021). Write Better Multiple-Choice Questions To Assess Learning

Si tienes cualquier duda al respecto, te puedes comunicar con nosotros a través del chat en línea disponible en tu pantalla en cada uno de los módulos de plataforma en [Ayuda] -> [Chat en vivo].

El contenido de este artículo fue creado con ❤  por el equipo de Formación de Lirmi.

¿Fue útil este artículo?
Usuarios a los que les pareció útil: 0 de 0