Широко используемая система искусственного интеллекта (ИИ), обученная интерпретировать аномалии грудной клетки и опорно-двигательного аппарата, не прошла квалификационные рентгенологические экзамены в Великобритании и уступила кандидатам-людям, что позволяет предположить, что ИИ еще не готов заменить радиологов, опубликовано исследование. 21 декабря в BMJ нашел.

Исследователи выбрали 300 снимков опорно-двигательного аппарата и грудной клетки для быстрой отчетности и сравнили производительность коммерчески доступного инструмента искусственного интеллекта с эффективностью 26 рентгенологов, сдавших экзамен на членство в Королевском колледже радиологов (FRCR) в прошлом году.

Когда неинтерпретируемые изображения были исключены, кандидат ИИ достиг точности 79,5% и прошел два из 10 пробных исследований FRCR, в то время как средний радиолог достиг точности 84,8% и прошел четыре из 10 пробных исследований, отмечает ведущий автор доктор Сьюзан Ченг Шелмердин. , доктор медицинских наук, детский радиолог-консультант Детской больницы Грейт-Ормонд-стрит в Лондоне и его коллеги.

Чувствительность для кандидата на ИИ составила 83,6%, а специфичность (способность правильно идентифицировать пациентов без состояния) — 75,2% по сравнению с 84,1% и 87,3% для рентгенологов.

Среди 148 из 300 рентгенограмм, которые были правильно интерпретированы более чем 90% рентгенологов, кандидат AI был правильным в 134 (91%) и неправильным в остальных 14 (9%). В 20 из 300 рентгенограмм, которые более половины рентгенологов интерпретировали неправильно, кандидат ИИ был неверным в 10 (50%) и правильным в остальных 10.

«Мы смотрели только на то, насколько хорошо ИИ работал на наборе изображений, без какой-либо синергии или взаимодействия с человеком, но в будущем мы действительно хотим знать, как ИИ меняет результаты лечения пациентов и клинические решения», — сказал Шелмердин AuntMinnieEurope.com на сайте AuntMinnieEurope.com. 22 декабря.

Проверка скорости и точности

Авторы разработали 10 «пробных» экзаменов для быстрой отчетности на основе одного из трех модулей, составляющих квалификационный экзамен FRCR. Каждое пробное обследование состояло из 30 рентгенограмм. Чтобы пройти, кандидаты должны были правильно интерпретировать не менее 27 (90%) из 30 изображений в течение 35 минут.

Кандидатом на ИИ был Smarturgences v1.17.0, разработанный французской компанией ИИ Milvue и продаваемый с февраля 2020 года. Он используется клинически в более чем 10 европейских больницах и был обучен для оценки рентгенограмм MSK на предмет переломов, опухших и вывихнутых суставов, коллапса легких и т. д. .

Были сделаны допуски на изображения частей тела, которым ИИ не обучался, и они были сочтены неинтерпретируемыми.

26 рентгенологов были в основном в возрасте от 31 до 40 лет, 62% из них были женщинами. Они немного переоценили вероятную производительность кандидата на ИИ, предполагая, что в среднем он будет работать почти так же хорошо, как они сами, и превзойдет их как минимум в трех из 10 пробных экзаменов.

Исследователи признали, что они оценили только один инструмент ИИ и использовали пробные экзамены, которые не были рассчитаны по времени или под наблюдением, поэтому рентгенологи, возможно, не чувствовали такого большого давления, чтобы сделать все возможное, как на реальном экзамене. Но это исследование является одним из наиболее полных перекрестных сравнений между радиологами и ИИ, по словам Шелмердина.

По их словам, необходимо дальнейшее обучение продукта ИИ, особенно для случаев, считающихся «неинтерпретируемыми», таких как рентгенограммы брюшной полости и осевого скелета.

Неиспользованный потенциал ИИ

ИИ может облегчать рабочие процессы, но участие человека по-прежнему имеет решающее значение, отметили Ванесса Рэмптон, старший научный сотрудник и заведующая кафедрой философии ETH Zurich, и Афина Ко, врач-резидент Университета Оттавы, Канада, в связанной редакционной статье под названием «Роботы, радиологи и результаты» . .”

Они признают, что использование ИИ «обладает неиспользованным потенциалом для дальнейшего повышения эффективности и диагностической точности для удовлетворения целого ряда требований здравоохранения», но говорят, что правильное выполнение этого «подразумевает лучшее информирование врачей и общественности об ограничениях искусственного интеллекта и повышение их прозрачности. “

Исследования в этой области идут полным ходом, и это исследование подчеркивает, что сдача экзамена FRCR по-прежнему приносит пользу от человеческого прикосновения, отметили они.

Глядя в будущее

Шелмердин и ее коллеги в настоящее время сотрудничают с академическими и коммерческими партнерами в области педиатрической визуализации, включая педиатров, врачей скорой помощи, медсестер, рентгенологов и рентгенологов.

«Мы узнаем, будут ли клинические решения приниматься без ИИ или после того, как изменится мнение ИИ, и как это может повлиять на пациентов, когда ИИ станет более распространенным», — сказала она.

Компания Milvue AI совершенствует обучение своей модели искусственного интеллекта и надеется, что обновленная версия продукта сможет интерпретировать рентгенограммы позвоночника; на данный момент ИИ не может интерпретировать рентгенограммы позвоночника, зубов, лица и брюшной полости.

«Мы надеемся снова протестировать новую модель ИИ в будущем и посмотреть, сможет ли она улучшить результаты тестов и пройти больше пробных экзаменов!» сказал Шелмердин, который является главным исследователем Fracture Study , британского проекта, финансируемого Национальным институтом здравоохранения и исследований, изучающего, как ИИ можно использовать для интерпретации педиатрических изображений.

«Мы разрабатываем алгоритмы искусственного интеллекта, чтобы определить, как мы можем лучше оценивать детские переломы на рентгенограммах, а также влияние, которое это оказывает на принятие решений человеком в клинической практике», — сказала она.

Источник