El 60% de las preguntas del MIR no servirían para discriminar

Según un estudio de la Universidad de Navarra sobre las pruebas realizadas de 2009 a 2013, cambios como la reducción de opciones de respuesta habrían mejorado el examen de 2016.

Nuria Monsó. Madrid |nuria.monso@unidadeditorial.es | 22/02/2016 00:00

Varios alumnos observan los listados de una prueba MIR. (DM)

El examen MIR es clave para casi todos los graduados de Medicina. Según la puntuación que saquen, tendrán más o menos posibilidades de realizar la especialidad que deseen y en el centro que quieran. Un estudio de la Universidad de Navarra, publicado en BMC Medical Education, cuestiona que dicha prueba tenga una calidad óptima: un 70 por ciento de las preguntas tendrían algún fallo técnico y, en concreto, el 60 por ciento de dichas cuestiones estarían redactadas de tal forma que no servirían para discriminar entre mejores y peores candidatos.

El estudio analiza los cuestionarios de las pruebas MIR de 2009 a 2013 (en total 1.143 preguntas) a partir de una adaptación de las recomendaciones para elaborar exámenes delNational Board of Medical Examiners (NBME) de Estados Unidos, encargado de la prueba obligatoria para ejercer en dicho país, el United States Medical Licensing Examination (Usmle).

Los autores dividieron los errores técnicos en dos tipos: aquellos que facilitan que personas familiarizadas con los exámenes tipo test acierten con más facilidad sin conocer realmente la respuesta correcta, y los que complican innecesariamente el examen, no por el contenido sino por la forma de la pregunta, perjudicando por igual a candidatos mejor y peor preparados.

"La mejor pregunta, ideal desde el punto de vista técnico, es la que se puede contestar sólo con el contenido del enunciado, sin necesidad de leer las opciones", explica a DM Manuel Alegre, uno de los autores del estudio y neurofisiólogo en la Clínica Universidad de Navarra.

Alegre apunta que los defectos técnicos más graves "son los que favorecen el uso de trucos para superar el test, aunque no se conozca a fondo la materia". En ese grupo entrarían las preguntas que contienen una opción no plausible o en aquellas donde la respuesta correcta es la más completa de todas las opciones.

Otro tipo de errores son las llamadas dificultades irrelevantes: "Complican la forma de preguntar y perjudican tanto a los candidatos que están bien preparados como a los que no; la cuestión ya no es eficaz para evaluar". Por ejemplo, las que tienen un enunciado negativo: "Sería como preguntar cuál de las opciones no es la capital de Alemania, ni la de Francia ni la del Reino Unido, en lugar de hacerlo directamente por la capital de España".

Nota media más baja
Durante el periodo analizado, los autores detectaron que alrededor de un 30 por ciento de las preguntas estaban bien planteadas. El resto presentaban al menos uno de los dos tipos de defectos técnicos. Del total de preguntas con fallos, entre un 30 y 20 por ciento, según el año, tenían errores que facilitaban los aciertos; el 60 por ciento, defectos que complicaban el examen.

Respecto al primer tipo, Alegre señala que durante el periodo estudiado "bajaron de un 30 a un 20 por ciento las preguntas con estos errores. El único que se mantuvo constante e incluso se incrementó ligeramente fue la presencia de opciones no plausibles".

En cambio, apenas varió la presencia complicaciones innecesarias, como las preguntas concatenadas o las que no se pueden responder sin leer todas las opciones. "Son errores más complicados de evitar, pero nos parece que el porcentaje es demasiado alto y eso perjudica a la calidad del examen MIR", afirma Alegre.

Los efectos de este tipo de errores "son que el candidato tiene que dedicar más tiempo a esas cuestiones y que, al ser confusas, tienden a bajar la nota media de todos los aspirantes". Respecto a esto último "podría tener sentido si el propósito fuera evitar que muchos candidatos pasaran la nota de corte, pero en el caso del MIR, es relativa [el 35 por ciento de la nota media de los 10 mejores exámenes]".

"Es posible que haya preguntas con defectos que, comparando resultados, sí discriminen correctamente", matiza Alegre, "pero no es lo habitual según la literatura científica".

Mejoras en 2016
Aunque no han podido analizar el último examen a fondo, Alegre considera que se han dado pasos positivos: "El Ministerio de Sanidad ha reducido de 5 a 4 el número de respuestas posibles, lo que probablemente disminuirá la cantidad de opciones no plausibles".

Además, este año sólo se ha realizado una pregunta por imagen, en lugar de dos cuestiones que solían estar relacionadas, evitando otra dificultad técnica.

Preguntas de calidad y expediente, claves para el MIR

Los profesionales consultados por DM creen que el examen MIR es una buena prueba, pero piden mejoras en los contenidos y que se valore adecuadamente el expediente académico, que supone el 10 por ciento de la nota final.

Manuel Alegre, uno de los autores del estudio de la Universidad de Navarra sobre la prueba, señala que "sería aconsejable que el Ministerio de Sanidad facilitara formación a las personas a las que pide que faciliten preguntas para el examen MIR", explicándoles por qué no se recomiendan determinadas formas de redacción.

Respecto al contenido, Milagros García, presidenta de Sociedad Española de Educación Médica (Sedem), sugiere aumentar la cantidad de cuestiones más prácticas, como los casos clínicos e imágenes "y evitar las preguntas sobre procedimientos obsoletos que casi ningún médico tiene que hacer o información teórica que no le sirve para su día a día, como la prevalencia del cáncer de pulmón en España".

"Nos gustaría que el examen se centrara menos en conocimientos clínicos y más en evaluar habilidades y actitudes, como la exploración, la comunicación con el paciente, la profesionalidad, pero es complicado abordarlas de forma eficaz", señala Ricardo Rigual, presidente de la Conferencia Nacional de Decanos de las Facultades de Medicina.

Al respecto, García apunta que "las pruebas prácticas serían muy costosas, y hay que recordar que al examen MIR se presentan 10.000 candidatos". Alegre añade que la parte práctica del examen de Estados Unidos, "tiene muy poca influencia en la nota: sirve fundamentalmente para eliminar a quienes no dominan el inglés".

Expediente
Otra de la propuesta de los decanos de Medicina es mejorar la influencia del expediente académico en la nota: "para ser más precisos, sería necesario que la nota del expediente académico puntuase en una escala del 1 al 10, en lugar del 1 al 4", dice Rigual.

El Consejo Estatal de Estudiantes de Medicina (CEEM), presidido por Víctor Expósito, apoya esa medida, aunque insiste en "la necesidad de evaluar cómo influye la universidad de origen en la nota del MIR".

Otra de las propuestas del Consejo para evitar que las diferencias de cada facultad influyan en la nota es "publicar un temario oficial del examen MIR, con referencias bibliográficas claras y actualizadas". Una medida que rechazan tajantemente los decanos, que creen que acabaría sesgando la enseñanza y aprendizaje en el grado hacia dichos contenidos.

Academias: la prueba "es adecuada"

Las academias MIR recuerdan que el Ministerio de Sanidad permite que se invaliden hasta 10 preguntas: "Hemos detectado que suele haber unas pocas cuestiones en las que también fallan los mejores alumnos, pero para eso están las impugnaciones", señala Paula Jiménez, coordinadora de MIR Asturias. Defiende que en los dos últimos exámenes las notas han coincidido en mayor medida con lo que se espera por los simulacros. Antonio Martín, coordinador de profesores CTO Medicina, argumenta que "la ventaja del examen tipo test es que es una prueba objetiva" y según su parecer, "la mayoría de las preguntas del MIR no tienen contenido superfluo o están mal planteadas".