La intención de esta ponencia es presentar información de la aplicación piloto del portafolios de evaluación desarrollado con el propósito de fortalecer el proceso actual de certificación del Consejo Mexicano de Ginecología y Obstetricia. Para el diseño recuperamos información derivada de la investigación educativa en el ámbito de la formación de profesionales de la salud, sobre el papel de la comunicación, el profesionalismo y la colaboración interprofesional en la solución de casos clínicos. Se presenta también evidencia del funcionamiento del portafolios, obtenida mediante la aplicación piloto de las tareas evaluativas basadas en casos clínicos que lo integran.

Desarrollamos un marco teórico de soporte a la evaluación de competencias en el que consideramos su carácter integrador, y la importancia del contexto en el que ocurre la práctica profesional.1 De acuerdo con la clasificación del National Research Council,2 el carácter integrador de la competencia implica que se ponen en juego recursos tanto cognitivos, como inter e intrapersonales en la solución de problemas. El dominio cognitivo incluye tres conjuntos de competencias:

El dominio intrapersonal incluye otros tres conjuntos de competencias:

El dominio interpersonal incluye dos conjuntos de competencias:

El modelo actual de evaluación para la certificación consiste en la presentación de un examen de opción múltiple con reactivos de conocimiento y reactivos asociados a casos clínicos, con lo que se cubre la dimensión cognoscitiva con representatividad de las 15 Actividades Profesionales Confiables (APROC) validadas para la especialidad.3

A partir de la incorporación del portafolios, podrá obtenerse evidencia de las dimensiones inter e intrapersonales, como la capacidad para establecer una comunicación efectiva, respetuosa y empática con las pacientes y sus familiares, y una colaboración interprofesional ética y responsable, para brindar una atención integral a las pacientes.

Hacer evaluación auténtica, a partir de casos que simulan situaciones reales comunes que atienden los especialistas tanto en consultorios como en el ámbito hospitalario, permite recuperar elementos contextuales importantes para valorar su efecto en el desempeño observado. El portafolios se diseñó en dos fases:

En el presente trabajo, solo nos vamos a referir a la fase de certificación del portafolios, en la que se optó por la simulación, mediante videos producidos con inteligencia artificial a partir de los guiones de interacción, producidos como parte del desarrollo de los casos para las 15 APROC en dos tareas específicas. El trabajo de diseño y desarrollo de las tareas evaluativas y los casos se llevó a cabo con la participación de especialistas de los comités del Consejo, profesores asociados y titulares de Centros Formadores invitados, conforme a los estándares de la AERA, APA y NCME4 (2014) y los de CONACEM.5 En cuanto a la estructura de las tareas, a manera de estímulo y para promover la interacción, se presenta una breve descripción de un caso clínico con un video, después de una primera respuesta oral videograbada de la persona sustentante, se presenta información complementaria de seguimiento a la paciente y se solicita volver a grabar una respuesta oral, con base en la nueva información, simulando una interacción. Para finalizar la tarea, la persona evaluada debe proporcionar una justificación escrita de su interacción.

Para la valoración y calificación estandarizada de la interacción oral y la justificación escrita, se desarrollaron rúbricas analíticas para estimar apropiadamente las respuestas alternas equivalentes en calidad. La construcción de rúbricas se llevó a cabo con apego a los desempeños esperados de las matrices de muestreo y el modelo de Dreyfus y Dreyfus6 basado en evidencia de investigación de la comparación entre el desempeño profesional de personas expertas y noveles. En paralelo a la elaboración del portafolios, se desarrolló una plataforma informática para su aplicación en línea, con los módulos de aplicación y el de calificación, con todas las medidas de seguridad y de protección de datos personales, que se requieren en este tipo de evaluaciones.

Diseño del piloto. Para seleccionar a los 30 participantes del piloto, se utilizó un muestreo aleatorio sistemático estratificado. El tipo de sostenimiento del centro formador (público o privado) se empleó como estrato explícito. Dentro de cada estrato, el marco muestral se ordenó por región, entidad federativa y número de egresados, estas variables operaron como estratos implícitos. Una vez obtenidas las listas de residentes de los centros formadores seleccionados, se eligieron al azar a los participantes de acuerdo con la cuota de cada centro.

Procedimiento. Cada residente participante de la muestra respondió las dos tareas que conforman el portafolios. Cada tarea cuenta con 15 casos para representar las APROC, por lo que se aplicaron los 30 casos. También se les pidió responder un cuestionario sobre su experiencia y se programaron entrevistas cognitivas durante el proceso de respuesta de las tareas evaluativas con cuatro participantes, para obtener evidencia de los procesos cognitivos implicados en la solución de las tareas.

Resultados principales. El análisis cualitativo de las entrevistas cognitivas arroja evidencia de validez de constructo y de la pertinencia de las tareas evaluativas, siendo congruente con la opinión de los residentes misma que se obtuvo para los distintos elementos de las tareas y los casos clínicos, mediante un cuestionario con una escala de 5 niveles.

En la gráfica 1 se presentan los resultados de los 7 aspectos valorados de la tarea evaluativa 1. En la gráfica 2, los mismos aspectos valorados para la tarea evaluativa 2. En términos del porcentaje de personas con un grado de acuerdo de 4 y 5 en color verde y menor a 4 en color rojo.

Entre los aspectos mejor valorados están la pertinencia del formato y su capacidad para observar la comunicación, la empatía y la colaboración, mientras que las áreas de mejora se concentran en:

En cuanto a la plataforma, el 94% de los residentes tienen una opinión favorable sobre su funcionamiento.

A manera de conclusión. Los resultados respaldan la pertinencia del portafolios como estrategia para la evaluación de las dimensiones inter e intrapersonal que se ponen en juego en la interacción con las pacientes y la colaboración interprofesional. Además, se obtuvo información sobre áreas de mejora menores, que no impactan la estructura ni de la plataforma ni de las tareas evaluativas. Está en proceso ahora el piloto de calificación con las rúbricas elaboradas, que se llevará a cabo con 10 profesores asociados, previa capacitación en el uso de las rúbricas elaboradas para valorar el desempeño en las dos tareas evaluativas, lo que permitirá mejorar tanto las rúbricas, como los procesos de calificación de las respuestas obtenidas.