Алгоритм ChatGPT Large Language Model (LLM) компании OpenAI почти сдал экзамен на получение медицинской лицензии в США. Это очень сложный тест для человека, но бот с искусственным интеллектом приблизился к успешной сдаче экзамена без какой-либо подготовки — просто на основе поиска в Интернете. Однако пока никто не собирается лечить людей с его помощью, хотя, скорее всего, этому помешает юридическая, а не практическая сторона вопроса.
Алгоритм ChatGPT уже удивил людей своей способностью писать программный код, сдавать экзамены в бизнес-школе и другими умными вещами. Однако попытка сдать экзамен на получение медицинской лицензии США (USMLE) — это еще одно достижение машинного алгоритма. Для успешной сдачи этого экзамена, который состоит из трех частей, требуется от 300 до 400 часов подготовки. Способность ChatGPT научиться последовательно и по теме отвечать на вопросы экзамена USMLE позволяет предположить, что однажды искусственный интеллект либо сам сможет давать медицинские советы, либо, что более вероятно, станет помощником врача для постановки более точных диагнозов.
«ChatGPT показал результаты на уровне или близком к пороговому для сдачи всех трех экзаменов без специального обучения или подкрепления», — пишут исследователи в опубликованной работе. — ChatGPT также продемонстрировал высокий уровень последовательности и проницательности в своих объяснениях».
Исследование было проведено экспертами стартапа Ansible Health. Ранее было установлено, что в Интернете нет прямых ответов на вопросы USMLE. Таким образом, ChatGPT генерировал новые ответы на основе полученных данных по теме вопросов.
При показателе успешности в 60% правильных ответов на все вопросы, ChatGPT набрал от 52,4% до 75% на всех трех экзаменах. В 88,9% ответов алгоритм выдал по крайней мере один значимый ответ, который исследователи назвали «новым и неочевидным, хотя и клинически обоснованным».
«Достижение проходного балла в этом печально известном сложном экспертном тесте, причем без какой-либо человеческой поддержки, знаменует собой замечательную веху в развитии клинического искусственного интеллекта», — говорится в заявлении для прессы авторов исследования.
Более того, ChatGPT превосходит медицинский искусственный интеллект PubMedGPT, обученный отвечать на подобные вопросы, на 50,3% по точности. Что же произойдет, если человеческий эксперт обучит ChatGPT медицинским навыкам?
