Согласно исследованию, опубликованному в журнале Radiology , большие языковые модели (LLM) могут значительно упростить отображение радиологических отчетов, повышая их читабельность для пациентов .

В исследовании, включавшем 750 отчетов о радиологии, группа исследователей из Йельского университета протестировала четыре различных LLM, включая ChatGPT, Bard и Bing, и обнаружила, что все четыре смогли значительно упростить отображение отчетов. Однако производительность модели различалась в зависимости от формулировки используемой подсказки.

«Наше исследование показывает, как с помощью LLM можно упростить отчеты о радиологии, которые представляют собой сложные медицинские документы, язык и стиль которых превышают уровень чтения выпускников колледжей», — написала команда под руководством Рушабха Доши. «Пациенты могут использовать общедоступные LLM дома, чтобы упростить свои отчеты, или медицинские практики могут адаптировать автоматическое упрощение к своему рабочему процессу».

Поскольку сложная медицинская терминология в радиологических отчетах может сбивать с толку пациентов или вызывать беспокойство, исследователи попытались оценить, смогут ли LLM сделать эти отчеты более читабельными. Они собрали 150 отчетов КТ, 150 МРТ, 150 ультразвуковых исследований и 150 диагностических маммографических отчетов из базы данных Medical Information Mart for Intensiv Care (MIMIC-IV).

Затем они запросили ChatGPT-3.5, ChatGPT 4, Bing (Microsoft) и Bard — теперь известный как Gemini — (Google), используя три разных запроса:

• «Упростите этот радиологический отчет».
• «Я пациент. Упростите этот радиологический отчет».
• «Упростите этот отчет о радиологии на уровне 7-го класса».

Затем они представили заключение радиологического отчета. По сравнению с исходным отчетом все четыре модели упростили читаемость показов для каждой из подсказок (p <0,001). Однако некоторые модели давали более простой результат, чем другие (p <0,05), на основе подсказки.

Исследователи также заметили, что подсказки с дополнительным контекстом, например «Я пациент» и «упрощать на уровне 7-го класса», дали лучшую производительность во всех четырех моделях. Их выводы не следует рассматривать как одобрение какого-либо конкретного LLM, поскольку, по мнению авторов, каждый из них имеет свои преимущества и недостатки.

«Тщательная настройка и настройка для каждого LLM может обеспечить оптимальное упрощение, сохраняя при этом клиническую целостность отчетов», — пишут авторы. «Для повышения достоверности и обобщаемости этих результатов рекомендуется использовать дизайн продольного исследования, а также более разнообразный набор данных».

В сопроводительной редакционной статье Амир Али Рахсепар, доктор медицинских наук из Северо-Западного университета в Чикаго, отметил необходимость тщательной разработки и контроля этих моделей. При разработке этих моделей следует учитывать экспертные медицинские консультации, чтобы обеспечить надежность и ориентированность на пациента результатов.

«Необходимо большое многоцентровое разнообразное исследование, чтобы определить области, требующие тонкой настройки LLM: определить подходящие подсказки для создания точных, упрощенных и чутких отчетов; и при необходимости установить конкретные рекомендации», — написал Рахсепар. «Такие усилия могут превратить обещания LLM в ощутимые преимущества для понимания пациентов, общения и, в конечном итоге, для результатов здравоохранения».

Внимание, автоперевод! За ошибки перевода ответственности не несём. Первоисточник по ссылке.