El conocido programa ChatGPT enfrentó hace pocas semanas el examen de licencia médica para ejercer en los Estados Unidos.
Esta noticia ha causado gran sensación en la comunidad médica y en los curiosos de todo el mundo que siguen esta tecnología, quienes no han dejado de mostrar su entusiasmo y preocupaciones al respecto.
¿Quieres conocer más al respecto? Continúa leyendo hasta el final.
¿En que consistio el examen de licencia médica que le realizaron a ChatGPT?
El Examen de Licencia Médica de Estados Unidos (USMLE) es el instrumento que permite a los médicos recién graduados obtener su licencia de ejercicio en el país.
Dicho examen consta de tres tipos diferentes de preguntas agrupadas por la manera en que se responden y los temas que abarcan.
De esta manera, cubre todos los temas presentes en los programas de educación médica, incluyendo anatomía, bioquímica, fisiología, farmacología y otros relacionados con la medicina clínica.
Debido a las exigentes normativas del programa, los médicos deben mostrar un alto nivel de conocimiento científico y habilidades clínicas para superarlo y poder ejercer medicina.
¿Cómo fue el desempeño de ChatGPT en el USMLE?
Un grupo de científicos publicaron recientemente un artículo con los resultados de someter al chatbot ChatGPT al USMLE en junio de 2022, fecha que es superior a la última actualización de la base de datos de esta IA.
En sentido general, ChatGPT tuvo un buen desempeño y suspendió por un estrecho margen la realización del examen pues su umbral de preguntas acertadas no rebasó el 60% necesario.
No obstante, su rendimiento estuvo condicionado por un importante factor. Y es que, para su correcta implementación, no realizó ninguna pregunta que incluyese imágenes clínicas, fotografías médicas o gráficos.
Esto se debe a que esta IA se circunscribe al modelo de interpretación de lenguaje escrito de manera exclusiva.
Es decir, las más de 370 preguntas que se le propusieron a la IA pertenecían a uno de estos tres tipos en formato texto:
- Preguntas que requieren justificar la respuesta
- Preguntas que requieren seleccionar la opción correcta
- Preguntas de respuesta abierta u opinión personal
En todas ellas, ChatGPT logró una media de concordancia de aproximadamente el 95% de las veces entre el enunciado de la pregunta y la respuesta que daba. Datos que avalan muy bien sus avances en la comprensión de textos.
Pese a esto, es en el contexto dónde encontró sus mayores limitaciones.
Explicado en pocas palabras, esto significa que cuando las preguntas carecían de amplia información adicional, la IA tuvo más problemas para obtener las respuestas correctas.
Podemos decir que las limitaciones de ChatGPT para entender el contexto de las preguntas fueron las siguientes:
- Dificultad para comprender la intención detrás de una pregunta; es decir, puede responder incorrectamente o sin ningún significado.
- No puede procesar relaciones a largo plazo entre preguntas y sus respuestas, por lo que tiene dificultades al tratar con un tema complejo.
- Su capacidad para usar el lenguaje natural se ve limitada por su inteligencia artificial disminuida.
- A menudo no puede responder a preguntas con respuestas cualitativas u opiniones personales que carece del contexto necesario.
Pese a esto, los autores del estudio se mostraron muy ilusionados al respecto de los resultados, pues estos apuntan que, pese a sus defectos, la IA es capaz de producir enunciados coherentes y válidos al menos en una parte de la mayoría de sus respuestas.
¿Significa que ChatGPT podría ejercer como médico?
Ni mucho menos, como antes enunciamos el chatbot ChatGPT se limita a la comprensión del lenguaje natural y al procesamiento de lenguaje.
Es decir, no está diseñado para realizar diagnósticos, recomendar tratamientos o reemplazar a los médicos.
Esto da al traste con que no reúne los requisitos mínimos necesarios para ejercer como médico en Estados Unidos, incluso si su tecnología continúa avanzando.
En lo que sí puede tener gran utilidad es como herramienta complementaria para el estudio y el ejercicio de la profesión médica.
En primer lugar, una de las conclusiones del estudio es que la estructura de los exámenes es mejorable.
Gran parte del éxito de ChatGPT en la prueba se debe a que el examen hace énfasis en conocimientos que exigen más memorización y aplicación de diferentes conocimientos en casos prácticos.
Estos últimos son el centro de la medicina, pues como ciencia y como praxis, depende mucho de la creatividad de encontrar como cada patología se hace presente en cada cuerpo humano diferente.
En segundo lugar, la capacidad de esta IA para recopilar y poner a disposición de los doctores respuestas y análisis detallados de multitud de casos podría ser de gran ayuda a la hora de buscar diagnósticos diferenciales.
Por lo que se puede esperar que un futuro próximo, las IA aumenten su valor en el área de la medicina sin temor alguno de que reemplacen a nuestros médicos siendo valiosas herramientas al servicio de la profesión.