Flecha izquierda3. RedactarFlecha derecha

Una vez definido el tipo de preguntas, es necesario hacer que las mismas estén bien redactadas y basadas en contenidos relevantes (no preguntar sobre cosas o aspectos residuales del programa porque ya no sabe muy bien qué preguntar). De modo general, es primordial cuidar el lenguaje y escribir de forma clara, simple, precisa y concisa. Abajo se presentan seis recomendaciones fundamentales para la redacción de cualquier formato de pregunta:

- Utilice material novedoso para poder examinar un nivel de pensamiento más complejo. Evite parafrasear el libro de texto. Puede usar tablas, gráficos o figuras que requieran interpretación.

- Mantenga las preguntas independientes unas de otras de modo que no se den pistas entre sí y que no sea necesario haber acertado una pregunta previa para poder responder correctamente a otra pregunta.

- Cada pregunta debe basarse en contenidos importantes. Evite contenidos demasiado específicos o demasiado generales.

- Evite preguntas con “truco” (engañosas).

- Edite y corrija las preguntas para que no haya faltas de ortografía.

- Mantenga una complejidad lingüística apropiada para el grupo que está siendo evaluado.

Además de las recomendaciones anteriores, la redacción de las preguntas tiene algunas particularidades para cada formato, podrá leer algunar sugerencias haciendo clic en el formato deseado.

Opción Múltiple

En las preguntas de OM la tarea del estudiante es elegir la opción correcta de entre una lista de alternativas [ver ejemplo]. Estas preguntas se componen de un enunciado, una opción correcta y varias respuestas incorrectas a las que llamamos distractores; la función de los distractores, de ahí su nombre, es atraer a los estudiantes con conocimientos erróneos.

En el análisis exhaustivo de un ítem se calcula la correlación entre la omisión al ítem y el total en el resto del test. Indique cuál de las siguientes correlaciones consideraría usted más adecuada:Enunciado
a) 0,25
b) 0,025
c) -0,25
Distractor
Distractor
Correcta
Alternativas

Un tipo especial de preguntas de opción múltiple son las denominadas de opción múltiple compleja, en ellas las opciones de respuesta son combinaciones de alternativas previamente indicadas. [ver ejemplo]. En general se recomienda evitar este tipo de formato, ya que: a) es difícil redactar buenos ítems, con frecuencia dan pistas sobre la respuesta correcta [ver explicación]; c) no mejoran en fiabilidad, d) lleva más tiempo responderlos y d) son peor aceptados por los estudiantes.

A continuación se presentan las directrices para la redacción de preguntas de opción múltiple que se fundamentan en el trabajo de Haladyna y Rodríguez (2013).

Recomendación referida al contenido:

- Cada pregunta debe estar dirigida a evaluar un objetivo de aprendizaje identificado por la celdilla de la tabla de especificación. [ver más]

Recomendación referida al estilo:

- Reduzca la cantidad de lectura de cada ítem. Evite la palabrería excesiva.

Recomendaciones referidas al enunciado:

- Incluya la idea central clara y concisamente en el enunciado y no en las opciones. [ver más]

- Exprese el enunciado de manera afirmativa, evitando frases negativas. Si no puede evitar usar términos negativos destáquelos con mayúsculas o negrita. [ver más]

- El enunciado se puede formular como una pregunta o como una frase a completar. Si se usa el formato completar, intenta que el espacio en blanco esté al final del enunciado y no al principio para reducir la carga de la memoria de trabajo.

Recomendación referida al formato:

- Presente las opciones de las preguntas verticalmente en vez de horizontalmente. [ver más]

Recomendaciones referidas a las opciones:

- Haga que los distractores se parezcan a la opción correcta en el estilo gramatical, forma y longitud.

- Usualmente con tres opciones es suficiente. Use opciones que sean plausibles y discriminativas. [ver más]

- Asegúrese que sólo una de esas opciones es la respuesta correcta y que es indiscutiblemente correcta. Además, los distractores deben ser incuestionablemente erróneos. [ver más]

- Varíe la colocación de la respuesta correcta entre las opciones posibles.

- Coloque las opciones en un orden lógico o numérico. [ver más]

- Mantenga las opciones independientes. No deben solaparse.

- Evite usar las opciones NINGUNA DE LAS ANTERIORES, TODAS LAS ANTERIORES y NO LO SÉ. [ver más]

- Escriba las opciones de forma afirmativa, evite términos negativos tales como NO o EXCEPTO. Si no puede evitar estos términos destáquelos con mayúsculas o negrita.

- Evite dar pistas sobre la respuesta correcta [ver ejemplo], tales como:

a. que la respuesta correcta sea la más larga. [ver más]

b. usar determinantes específicos como SIEMPRE, NUNCA, COMPLETAMENTE o ABSOLUTAMENTE. [ver más]

c. que la opción correcta presente asociaciones por sonido similar o palabras idénticas o parecidas a términos del enunciado.

d. pares o tríos de opciones que den pistas al examinado sobre la opción correcta. [ver más]

e. opciones claramente absurdas o ridículas.

f. opciones con diferente contenido y estructura gramatical.

- Use errores habituales de los estudiantes para escribir los distractores. Haga plausibles todos los distractores.

Bibliografía

Attali, Y. & Bar-Hillel, M. (2003). Guess Where: The Position of Correct answers in Multiple–Choice Tests Items as a Psychometric Variable. Journal of Educational Measurement, 40(2), 109-128.

Cassels, J. R. T., & Johnstone, A. H. (1984). The effect of language on student performance on multiple choice tests in chemistry. Journal of Chemical Education, 61(7), 613-615.

Casu, G. y García, C. (2013). El solapamiento y la longitud diferencial de las opciones: efectos sobre la dificultad y la discriminación. Actas del XII Congreso de Metodología de las Ciencias Sociales y de la Salud. Santa Cruz de Tenerife.

García, C. Ponsoda, V. y Sierra, A. (2009). ¿Cómo evaluamos? Análisis de ítems de opción múltiple y su relación con errores en la construcción. Actas del XI Congreso de Metodología de las Ciencias Sociales y de la Salud. Málaga, 344-349.

Haladyna, T.M. & Rodríguez, M. C. (2013). Guidelines for Writing Selected-Response Items. In Developing and Validating Multiple Choice Items. New York: Routledge.

Verdadero - Falso

El formato Verdadero – Falso (V-F) está, en principio, desaconsejado. Los principales problemas asociados a este formato son que:

- tienden a incluir contenidos sólo memorísticos,

- se observa un fuerte efecto de los aciertos por azar,

- con frecuencia los enunciados son ambiguos y si se formulan con mucha claridad y matiz son claramente verdaderos o falsos, y

- tienden a ser menos fiables que las pruebas de opción múltiple; por ejemplo, serían necesarios más de 50 ítems V-F para alcanzar la misma fiabilidad obtenida con 40 ítems de opción múltiple.

Emparejamiento

En las preguntas de emparejamiento la información se organiza en dos columnas: enunciados y respuestas. Los enunciados suelen presentarse a la izquierda y las opciones a la derecha.

Columna A

Enunciados
Columna B

Respuestas

( ) Enunciado 1 ...

( ) Enunciado 2 ...

( ) Enunciado 3 ...

( ) Enunciado 4 ...

( ) Enunciado 5 ...

( ) Enunciado 6 ...

a. Respuesta 1

b. Respuesta 2

c. Respuesta 3

d. Respuesta 4

e. Respuesta 5

f. Respuesta 6

g. Respuesta 7

h. Respuesta 8

Las preguntas de emparejamiento han mostrado ser muy útiles para usarse con objetivos instruccionales (durante el desarrollo de las clases). Su principal ventaja es que pueden evaluar relaciones entre una cantidad importante de elementos de modo muy rápido.

Se recomiendan para evaluar relaciones entre autores y logros, fechas y acontecimientos, términos y definiciones, símbolos y conceptos, plantas o animales y su clasificación, principios e ilustraciones o partes y funciones en otros.

Recomendaciones referidas a las instrucciones:

• Las instrucciones de la pregunta deben indicar claramente si cada respuesta puede usarse más de una vez, sólo una vez, o en ninguna ocasión. También deben indicar cómo proporcionar la respuesta.

Ejemplo de instrucciones: “La columna A contiene … y la columna B ….; escriba en la columna A la letra que corresponde a la … y que aparece en la columna B. Cada opción de la columna B pueden usarse en una sola ocasión”.

Recomendaciones referidas a los enunciados y respuestas:

• Disponga los enunciados y las respuestas en la misma página.

• Use enunciados y respuestas homogéneas; no use información de distintas temáticas en la misma pregunta.

• Evite que la lista de enunciados sea demasiado larga (se recomienda entre 4 y 8 enunciados).

• Use más respuestas que enunciados (se recomiendan entre 8 y 10 respuestas).

• Use respuestas cortas y ordenadas lógicamente (típicamente una o dos palabras). Las definiciones y descripciones deberán incluirse en la columna de enunciados.

Nota: existen otras variaciones del formato de emparejamiento como el emparejamiento triple o el emparejamiento ampliado. Información adicional sobre la aplicación de estos formato en un contexto médico se puede consultar aquí.

Bibliografía

Linn, R. L. y Gronlund, N. E. (2000). Measurement and assessment in teaching,(8 th. Ed.) Des Moines, IA: Prentice Hall.

Nitko, A. J. (2001). Educational assessment of students. Des Moines, IA: Prentice-Hall.

Respuesta Corta

En el formato de respuesta corta el estudiante responde con una palabra o frase.

Es preferible usar preguntas que el formato completar frases. El formato completar frases se suele desaconsejar ya que con frecuencia evalúa conocimientos a un nivel cognitivo muy básico (recuerdo o reconocimiento). En caso de usarlo es conveniente que:

1. se limite el número de espacios a uno o dos.

2. se dejen todos los espacios para todas las frases de la misma longitud.

3. se pongan los espacios en blanco al final de la frase, y no al principio.

Al redactar preguntas cortas es conveniente, primero redactar la respuesta correcta y luego redactar el enunciado. Al hacerlo de este modo, es más fácil que nuestra pregunta se corresponda de forma clara con la respuesta que deseamos obtener.

Las preguntas cortas pueden ser muy útiles para explicar relaciones causa-efecto y hacer comparaciones. Por ejemplo:

¿Cuáles son las principales causas de…?

¿Cuáles serán los efectos más probables de…?

Describa las similitudes y diferencias entre…

Compare los siguientes 2 procedimientos en…

Las recomendaciones para la redacción de este tipo de preguntas son las mismas que las correspondientes a las preguntas de ensayo o desarrollo, por lo que recomendamos la lectura del apartado sobre Respuesta Larga.

Respuesta Larga

El objetivo al usar el formato de respuesta larga es evaluar cómo organiza el estudiante la información, cómo relaciona las ideas y las expresa por escrito. Las directrices que se ofrecen a continuación se han extraído del trabajo de Hogan y Murphy (2007).

Es fundamental muestrear bien los contenidos y los procesos cognitivos implicados en las preguntas. Es necesario preguntarse ¿Cómo de indicativa es la respuesta a esta pregunta sobre el contenido particular que estoy intentando evaluar?

No olvidemos que la muestra de las preguntas de respuesta abierta es más reducida que en las preguntas de opción múltiple, ya que lleva más tiempo contestar a las preguntas de respuesta abierta y las limitaciones de tiempo de la evaluación suponen que a menudo sólo podamos recoger un pequeño número de tareas. Por lo tanto, aquí es aún más importante redactar bien cada pregunta para que evalúe los contenidos y las destrezas cognitivas que nos interesan.

Recomendaciones referidas a la preparación de las preguntas: [ver más]

1. Las preguntas deben referirse a los objetivos instruccionales definidos en la tabla de especificaciones.

2. Identifique aquellos contenidos que son especialmente apropiados para los ítems de respuesta abierta; evalúe procesos complejos y no mero recuerdo.

3. Una dificultad habitual con los ítems de respuesta abierta es que la tarea no esté lo suficientemente clara para el examinado. Para clarificar la tarea:

a. Use las palabras cuidadosamente para obtener la respuesta deseada. [ver más]

b. Proporcione indicaciones sobre los límites de tiempo, espacio y puntuación para cada pregunta. [ver más]

c. Asegúrese de que las palabras empleadas se adaptan al nivel de los examinados.

d. Puede ayudar que un colega lea los ítems y compruebe si son claros.

4. Evite el uso de preguntas optativas: al permitir la elección entre preguntas compromete la comparabilidad entre las respuestas de los examinados. [ver más]

5. A la vez que prepara las preguntas de respuesta abierta especifique como deben puntuarse las respuestas para obtener una plantilla de corrección o rúbrica. No espere hasta después de que la pregunta haya sido administrada. [ver más]

6. Usualmente es preferible usar más preguntas con menos tiempo para cada una que menos preguntas a las que se les pueda dedicar más tiempo. [ver más]

Recomendaciones referidas la puntuación de las preguntas:

1. Puntúe los ítems sin conocer la identidad del examinado. Puede ser útil barajar los exámenes de modo que no aparezcan siempre en el mismo orden.

2. Use una rúbrica que se concentre en el objetivo de la evaluación. No permita que factores extraños influyan sobre las puntuaciones. Por ejemplo, si queremos medir el conocimiento, diferencie la ortografía, gramática… de los contenidos y use criterios de puntuación independientes para cada uno.

3. Use una rúbrica que defina claramente el procedimiento para puntuar. Si puntúa un número grande de exámenes vuelva a consultar periódicamente la rúbrica y/o re-puntúe los primeros exámenes para asegurar una aplicación consistente de la misma. Lea un número reducido de exámenes antes de proceder a una aplicación sistemática de la rúbrica.

4. Cuando hay varias preguntas de respuesta abierta, puntúe todos los exámenes para cada pregunta y luego pase a la siguiente pregunta. [ver más]

5. Cuando las puntuaciones en una pregunta de respuesta abierta sean particularmente importantes asegúrese de usar múltiples fuentes de información, por ejemplo, preguntas adicionales.

Recomendaciones referidas a la construcción de las rúbricas:

Las rúbricas son guías para puntuar las preguntas o trabajos de los estudiantes que consisten en criterios pre-establecidos de rendimiento. Hay dos tipos de rúbricas: holísticas (RH) y analíticas (RA).

En la RH el profesor puntúa el trabajo como un conjunto sin juzgar las partes que lo integran separadamente usando una única escala. En la RA el profesor puntúa separadamente las partes del producto en base a una serie de dimensiones y cada dimensión se evalúa de modo independiente. Luego las puntuaciones en las dimensiones se suman para obtener una puntuación global.

Las RH: [ver ejemplo] Las RA [ver ejemplo]

• Son más adecuadas cuando evaluamos habilidades muy correlacionadas y es difícil describir la respuesta en términos de rasgos específicos.

• Se deben usar cuando no hay una única respuesta correcta.

• Se deben usar si los errores en las partes del trabajo se pueden tolerar siempre y cuando la calidad global del trabajo sea alta.

• Se consigue una evaluación unidimensional.

• La puntuación es más rápida que si se usa una  RA.

• La información que proporcionan al estudiante es limitada.

• Son adecuadas para una evaluación sumativa.

• Proporcionan una única puntuación global.

• Se deben usar si hay sólo una o dos respuestas aceptables y la creatividad no es un rasgo esencial de las respuestas de los estudiantes.

• Se consigue una evaluación multidimensional.

• Tiende a producir puntuaciones con mayor fiabilidad interjueces.

• La puntuación es más lenta. En ocasiones el profesor tiene que examinar el mismo trabajo en varias ocasiones.

• Ofrecen un feedback mucho más rico al estudiante y al profesor. Permiten identificar fortalezas y debilidades del trabajo.

• Son adecuadas para una evaluación formativa (no sólo puntuar, también dar feedback).

• Proporcionan una puntuación para cada dimensión.

Las RH: [ver ejemplo]

• Son más adecuadas cuando evaluamos habilidades muy correlacionadas y es difícil describir la respuesta en términos de rasgos específicos.

• Se deben usar cuando no hay una única respuesta correcta.

• Se deben usar si los errores en las partes del trabajo se pueden tolerar siempre y cuando la calidad global del trabajo sea alta.

• Se consigue una evaluación unidimensional.

• La puntuación es más rápida que si se usa una  RA.

• La información que proporcionan al estudiante es limitada.

• Son adecuadas para una evaluación sumativa.

• Proporcionan una única puntuación global.

Las RA [ver ejemplo]

• Se deben usar si hay sólo una o dos respuestas aceptables y la creatividad no es un rasgo esencial de las respuestas de los estudiantes.

• Se consigue una evaluación multidimensional.

• Tiende a producir puntuaciones con mayor fiabilidad interjueces.

• La puntuación es más lenta. En ocasiones el profesor tiene que examinar el mismo trabajo en varias ocasiones.

• Ofrecen un feedback mucho más rico al estudiante y al profesor. Permiten identificar fortalezas y debilidades del trabajo.

• Son adecuadas para una evaluación formativa (no sólo puntuar, también dar feedback).

• Proporcionan una puntuación para cada dimensión.

Ver pasos para desarrollar una rúbrica.

Bibliografía

Hogan, T. P. y Murphy, G. (2007). Recommendations for Preparing and Scoring Constructed-Response ítems: What the Experts Say. Applied Measurement in Education, 20(4), 427-441.

Baldwin, D., Fowles, M., & Livingston, S. (2005). Guidelines for constructed-response and other performance assessments. Princeton: Educational Testing Service. Retrieved August, 7, 2010. [descargar PDF]