Proceso de elaboración y desarrollo del examen

1.1.        Planificación y diseño

1.1.1.     El examen se sustenta en una teoría específica de la lengua que se describe con detalle.

El examen responde a un modelo explícito de competencias y habilidades de uso de la lengua.

1.1.2.     Se hacen explícitos los objetivos del examen y de las pruebas que lo componen.

Los objetivos del examen y pruebas que lo componen se definen y explican para garantizar una interpretación y un uso adecuados de las calificaciones.

1.1.3.     Se especifica la variedad de lengua que se evalúa.

Se especifica la variedad de lengua que se evalúa en relación con los objetivos explicitados del examen, y cómo se refleja en sus diferentes componentes: instrucciones, textos de entrada, tareas e ítems, textos de salida, etc.

1.1.4.     Se describe el perfil de la población candidata a la que va dirigido el examen.

Se describen las características (edad, género, estudios, etc.) relevantes de la población candidata, en relación con los objetivos del examen.

1.1.5.     Se establecen equivalencias entre el examen y los estándares de rendimiento a los que se  referencia.

Se realizan procedimientos para determinar las equivalencias entre el nivel del examen y los estándares de rendimiento, internos o externos, a los que se referencia.

1.1.6.     Se describen las características del examen y su coherencia con los objetivos.

Se describen y explicitan las características del examen con respecto al número de niveles de dominio evaluados (global o progresivo), el tipo de interpretación de las calificaciones (con referencia a la norma o al criterio), o a su modalidad de administración (por ejemplo, adaptativo o lineal). Las características del examen guardan una relación adecuada con sus objetivos.

1.1.7.     Se describe el constructo del examen.

Se describe de manera clara el constructo que mide el examen y sus diferentes componentes. El constructo se basa en el modelo explícito de competencias y habilidades de uso de la lengua que sustenta el examen.

1.1.8.     Se describe la estructura y los componentes del examen.

Las especificaciones del examen describen de manera precisa su estructura, el formato de las pruebas que lo componen, el tipo de tareas que se incluyen, los diferentes tipos de actuación esperados y el sistema de puntuación que se usa para otorgar las calificaciones.

1.2.        Elaboración de las pruebas

1.2.1.     Las pruebas se desarrollan a partir de unas especificaciones previamente establecidas.

Las pruebas se desarrollan de acuerdo con especificaciones sobre las siguientes características: estructura del examen, contenido de las diferentes pruebas y tareas y de su organización jerárquica, constructo que subyace a cada una de ellas, formato estandarizado de las instrucciones, características (longitud, tipología, etc.) de los textos de entrada y de las tareas.

1.2.2.     El proceso de producción y edición de las pruebas, así como los subprocesos involucrados, están descritos en todas sus fases.

Se describen de manera clara y detallada todas las etapas del proceso de producción de las pruebas del examen, desde las primeras propuestas hasta la versión final, así como los procedimientos que se llevan a cabo durante el proceso de edición.

1.3.        Ensayos, pilotaje y calibraciones

1.3.1.     Se aplican procedimientos y herramientas para evitar sesgos en relación con la población candidata.

Se aplican mecanismos que garantizan la equidad de las pruebas del examen y evitan posibles sesgos que puedan favorecer o perjudicar a grupos específicos de candidatos.

1.3.2.     Se realiza una validación de contenido de las pruebas.

Se llevan a cabo todos los procedimientos establecidos para validar el contenido de las pruebas del examen aplicando, como mínimo, procedimientos cualitativos.

1.3.3.     Se realizan pilotajes de las pruebas.

Se establecen mecanismos para pilotar y validar los siguientes aspectos de la prueba: formato de los cuadernillos y hojas de respuesta (color, claridad, tamaño de la fuente), instrucciones (claridad, sencillez, precisión), dinámica del proceso de administración (orden de las pruebas, tiempo concedido a cada una, etc.).

1.3.4.     Se documentan los procesos de formación en estándares de contenido y para la unificación de criterios de los evaluadores de tareas, ítems y muestras orales, empleando procedimientos sistemáticos y normalizados.

Se describen los procedimientos que se utilizan para formar a los miembros de los paneles que evalúan tareas, ítems y muestras de las pruebas, en los estándares de contenido y se realizan procesos de unificación de criterios para la estandarización de las pruebas.

1.3.5.     Se realizan procedimientos de estandarización de ítems, tareas y muestras de producción oral o escrita.

Se realizan procedimientos para evaluar el grado de dificultad e idoneidad de ítems, tareas y muestras de producción oral o escrita en relación con los estándares de referencia.

1.3.6.     Se realizan pilotajes con muestras representativas de la población candidata.

Se describen los procedimientos técnicos implementados en el pilotaje para obtener muestras suficientes y representativas de la población candidata.

1.3.7.     Se realizan análisis psicométricos y los ajustes necesarios.

Se llevan a cabo procedimientos de análisis psicométricos relativos a la dificultad de los ítems y a su capacidad de discriminación y se realizan los ajustes necesarios de acuerdo con los resultados de tales análisis.

1.3.8.     Se llevan a cabo procedimientos para establecer puntos de corte.

Se establecen puntos de corte, seleccionando la metodología adecuada al examen y al contexto. Se miden y preservan la consistencia interna y externa de los evaluadores y la estabilidad de los resultados a lo largo de las administraciones.