Performance of ChatGPT in medical licensing examinations in countries worldwide: A systematic review and meta-analysis protocol
by Mingxin Liu, Tsuyoshi Okuhara, Xinyi Chang, Hiroko Okada, Takahiro Kiuchi
Introduction
In November 2022, the online artificial intelligence (AI) chatbot ChatGPT was released to the public, and swiftly garnered global attention because of its ability to provide detailed answers to complex queries. In medical field, ChatGPT has shown great potential to be used in medical education and has excelled in many English-language medical licensing examinations. However, due to the variability of medical licensing examinations in different countries, and ChatGPT’s particular proficiency in English, the previous literatures showed that ChatGPT is unable to pass medical licensing examinations from non-English-speaking countries or those not administered in English. To the best of our knowledge, this is the first study to review whether ChatGPT can demonstrate consistent accuracy across diverse medical licensing examinations and be used in medical education across countries.
Objective
In this study protocol, we aimed to analyze and review the differences in performance of ChatGPT in medical exams in various language environments and countries, as well as its potential in medical education.
Methods and analysis
A systematic review and meta-analysis was conducted using PubMed, Web of Science, and Scopus to collect papers testing the performance of ChatGPT in medical licensing examinations. We imported all the collected literatures into Rayyan and screened the literatures based on the selection criteria and exclusion criteria. The risk of bias and quality of included studies was assessed by using Mixed Methods Appraisal Tool (MMAT). Data from included studies was extracted into an Excel spreadsheet. All of the above processes were completed by two reviewers independently. A third reviewer was consulted in cases of disagreement. Finally, we provided both quantitative and qualitative analysis of the findings from the included studies.
Trial registration
PROSPERO registration number: CRD42024506687.
Moscow.media
Частные объявления сегодня
Диана Гурцкая рассказала, как ей живется после смерти мужа
Оздоровительное путешествие c Angsana Velavaru
Эксперты ГПМ Радио выступят на ежегодной конференции РАР в Сочи
Выиграть миллион на «Юмор FM» помогает улыбка
EuroMillions jackpot rolls over to £185,000,000 after no one claims ticket
Gap says Trump’s tariffs could cost the company a whopping $300 million, sending shares into a tailspin
Trump’s tariffs are headed for a constitutional showdown at the Supreme Court that could reshape presidential power for decades
Australia approves 40-year extension for contentious gas plant
Подтверждена совместимость платформы SpaceVM и ОС «ОСнова»: шаг к единой экосистеме отечественных ИТ-решений
«Деловые Линии» и BIA Technologies назвали ТОП-3 наиболее эффективных ИИ-решений для логистики
НПС модернизирует два участка трассы «Новороссия» в Ростовской области
Elden Ring Nightreign Equilibrious Beast boss guide: How to beat Libra
Самый милый и жестокий шутер-рогалик AK-xolotl перенесли на Android
This underwater city builder had me more emotionally invested in my corals than SimCity does in my human citizens, and you can try it at the next Steam Next Fest
The Kingmakers system requirements show that the hardest part of running the game may be finding 80 GB free for the install
Культура на русском. Креативные индустрии 5.0
В Центральном округе Росгвардии проходят мероприятия ко Дню защиты детей
Покупки для детей в ТРЦ «Нора»
ВЦ «Раздолье» и «1С» подвели итоги проекта импортозамещения ПО в компании GRASS
«Потолок весь упал»: пассажирка сошедшего с рельсов в Брянской области поезда вспомнила о произошедшем
Матрасы-коконы, просроченные таблетки и проезд: что ждет ярославцев с 1 июня
Москвичей оштрафуют на 80 тыс. рублей за шум: как избежать санкций?
Каперсы: фото, описание, польза и вред для организма, и с чем едят
Число пострадавших при обрушении моста под Брянском увеличилось до 35
В Ярославле московские цены и провинциальные зарплаты
Импортозамещение в Бурятии обсудят в Народном Хурале
Пенсии вырастут у всех: как изменятся выплаты родителям и опекунам с 1 июня
Касаткина победила Бадосу и вышла в 1/8 финала «Ролан Гаррос»
Соболенко предложила тренерам, называвшим ее глупой, оставить работу в теннисе
Рыбакина: Я знаю, как Свентек себя чувствует на парижских кортах
Пол прокомментировал победу над Хачановым
На актера сериала «Плевако» Волнова завели дело об уклонении от службы в армии
Зарплата домохозяйкам: начнут ли в России платить за домашний труд
Актер сериала "Плевако" Волнов стал фигурантом дела об уклонении от армии
Четыре авиалайнера 1 июня в аэропорту Владивостока прилетают и вылетают вне графика
Музыкальные новости
Объявлены даты и программа Летнего фестиваля Дениса Мацуева в Суздале
«Дороги просто нет»: певец Стас Пьеха решил пойти на концерт в Ижевск пешком из Кирова
Депутат ЗСК Виктор Тепляков принял участие в 60-й сессии краевой Думы
Певец Shaman признался, что боится безразличия слушателей
ВЦ «Раздолье» и «1С» подвели итоги проекта импортозамещения ПО в компании GRASS
Культура на русском. Креативные индустрии 5.0
В Центральном округе Росгвардии проходят мероприятия ко Дню защиты детей
Покупки для детей в ТРЦ «Нора»
Специальный показ анимационного фильма «Ай да Пушкин!» на фестивале «Пушкинфест» в Тверской области
Гордость России обыграла беглянку из Москвы благодаря подарку ребенка. Теперь ее ждет предательница страны
В Центральном округе Росгвардии проходят мероприятия ко Дню защиты детей
Жена Овечкина Шубская заявила, что следующий сезон станет последним в НХЛ
Владимир Ефимов: В Западном Дегунине около 700 горожан приступили к осмотру жилья по программе реновации
ДТП произошло на внешней стороне 103-го километра МКАД с участием машины и мотоцикла
"Авито" запустил онлайн-бронирование такси в Москве и Санкт-Петербурге
В Москве на Онежской улице из-за массового ДТП образовалась пробка
Путин поставил вопрос жизни и смерти
Неожиданное заявление о Трампе от западных аналитиков: считают ли они заслугой Путина?
Для участников специальной военной операции обеспечат возможность поступления на муниципальную службу
Визит вдовы Абэ к Путину подарил надежду в нормализацию отношений России и Японии
Правительство США утвердило новую вакцину против COVID-19 для применения
Новые условия безвиза планируют согласовать в июне Россия и Китай
Московские медики и психологи помогут пострадавшим под Брянском
Московские врачи ждут на вокзале пассажиров с поезда, сошедшего с рельсов
По факту массового заболевания пассажиров теплохода в Угличе возбуждено уголовное дело
Косметолог Никитенко назвала бьюти-процедуры, которые можно делать во время беременности
В Госдуме Зеленскому посоветовали почитать русского классика
Раздвоение личности Зеленского / Германия без защиты / Макрон: не просто пощечина! / ДОБРОВЭФИРЕ
В Центральном округе Росгвардии проходят мероприятия ко Дню защиты детей
Чемпионат по игре «Камень, ножницы, бумага» пройдет в рамках «Лета в Москве»
Руководство РФС назвало причины задержки снятия санкций с России
Андреева пробилась в четвертьфинал «Ролан Гаррос»
Собянин поблагодарил московских спасателей за труд и профессионализм
Собянин: количество пожаров в Москве снизилось в четыре раза
Собянин: Столичные спасатели прибывают в любую точку Москвы менее чем за 7 минут
Сергей Собянин назвал имена победителей профессионального конкурса для учителей
Какие ягоды из Красной книги есть в лесах Подмосковья и что грозит за их сбор
За сутки в России было ликвидировано 44 природных пожара
NBC: В США активисты требуют отключить суперкомпьютер Маска
В Бахчисарайском парке родились редкие животные и птицы
На актера сериала «Плевако» Волнова завели дело об уклонении от службы в армии
В Москву после ЧП под Брянском выехал резервный поезд с пассажирами
Число пострадавших при обрушении моста на поезд выросло до 69 человек
Эвакуация после аварии: 7 жертв на Брянской железной дороге
Жаркое, дождливое и опасное: какое лето ждет россиян
Город будущего — в твоих руках: жители Архангельской области выбирают, какие места благоустроят к 2026 году
Арктика с женским лицом: Архангельск готовится к масштабному форуму лидеров и идей
Заместитель прокурора Архангельской области и Ненецкого автономного округа Павел Матанцев провел личный прием работников ГУП НАО «Нарьян-Марская электростанция»
«Поэма» в сердце города: новый уровень жизни в центре Симферополя
Клубный дом Моне - жилой комплекс, вдохновленный искусством
Акция «Поздравь библиотеку с праздником».
Встреча друзей «Библиотека – волшебное место, где книгам не скучно, где всем интересно».
1 июня 2018 г.- Вручение орденов «Родительская слава» 2018.
Эвакуация после аварии: 7 жертв на Брянской железной дороге
Осужденному жителю Севастополя отказали в переводе в колонию ближе к дому
Синоптики сообщили москвичам о теплой и сухой погоде 1 июня
