Независимо от уровня опыта, рентгенологи склонны к предвзятости автоматизации при чтении маммограмм при поддержке программного обеспечения на основе искусственного интеллекта (ИИ), предполагают результаты, опубликованные 2 мая в журнале Radiology .

Исследователи под руководством доктора Томаса Драча из Кельнского университета в Германии обнаружили, что точность прогноза ИИ существенно влияет на эффективность рентгенологов при оценке маммограмм по категории BI-RADS.

«Эта информация может быть использована радиологами, чтобы более критически относиться к предложениям ИИ и убедиться, что они не полагаются исключительно на поддержку ИИ при оценке маммограмм», — сказал Драч AuntMinnieEurope.com .

Рентгенологи все чаще используют алгоритмы искусственного интеллекта и машинного обучения, в том числе при визуализации молочной железы, чтобы повысить точность диагностики. Хотя предыдущие исследования предполагали, что радиологи и ИИ могут хорошо работать вместе, остается опасение, что рентгенологи могут чрезмерно полагаться на такие системы поддержки принятия решений, создавая то, что иначе известно как систематическая ошибка.

Два типа ошибок связаны с предвзятостью автоматизации, когда речь идет о маммографии. К ним относятся ошибки совершения, при которых нормальная маммография ошибочно диагностируется как злокачественная, и ошибки упущения, при которых маммография со злокачественным новообразованием неправильно диагностируется как нормальная.

Драч и его коллеги хотели определить, как предвзятость автоматизации может повлиять на рентгенологов с разным уровнем опыта, когда речь идет о чтении маммограмм с поддержкой ИИ.

Интерфейс системы диагностики на основе ИИ

Интерфейс диагностической системы на основе ИИ показывает (A) загрузку новой маммограммы, (B) выполнение оценки изображения, (C) отображение результатов оценки изображения с помощью тепловой карты и (D) отображение результатов изображения оценка с отключенной тепловой картой. Изображения предоставлены RSNA.

В своем проспективном исследовании 27 рентгенологов с неопытным (в среднем 2,8 года), средним (в среднем 5,4 года) и очень опытным (в среднем 15,2 года) уровнями прочитали 50 маммограмм и предоставили свои оценки BI-RADS, будучи с помощью системы ИИ. Маммограммы были получены в период с 2017 по 2019 год и были представлены в двух рандомизированных наборах. Они включали обучающий набор из 10 маммограмм с правильной категорией BI-RADS, предложенной системой ИИ, и набор из 40 маммограмм, в которых неправильная категория BI-RADS была предложена для 12 маммограмм.

Исследователи обнаружили, что прогнозы категории BI-RADS системы искусственного интеллекта оказали значительное влияние на рентгенологов. Рентгенологи хуже присваивали правильные оценки BI-RADS для случаев, когда система ИИ предлагала неправильную категорию BI-RADS.

Эффективность рентгенологов при помощи системы искусственного интеллекта в правильной оценке маммограмм
Неопытные рентгенологи Рентгенологи со средним опытом Очень опытные рентгенологи
Правильные прогнозы ИИ 79,7% 81,3% 82,3%
Неверные прогнозы ИИ 19,8% 24,8% 45,5%
р-значение < 0,001 < 0,001 0,003

Команда также сообщила, что неопытные рентгенологи значительно чаще следовали предложениям системы ИИ, когда она неверно предлагала более высокую категорию BI-RADS, по сравнению со средними (средняя степень смещения, 4 против 2,4) и очень опытными (средняя степень смещения, 4 против 1.2) читателей.

Кроме того, команда сообщила, что неопытные читатели были менее уверены в своих собственных рейтингах BI-RADS по сравнению со средними и очень опытными читателями.

Дратч сказал, что результаты команды подчеркивают необходимость соответствующих мер предосторожности для смягчения предвзятости автоматизации. К ним относятся предоставление пользователям уровней уверенности в системе поддержки принятия решений, обучение пользователей процессу рассуждений и обеспечение того, чтобы пользователи чувствовали ответственность за свои собственные решения.

Он сказал AuntMinnie.com , что будущие исследования будут углубляться в процесс принятия решений радиологами, использующими ИИ, возможно, с использованием технологии отслеживания взгляда, чтобы лучше понять, как рентгенологи интегрируют информацию, предоставленную ИИ.

«Мы также стремимся изучить наиболее эффективные методы представления результатов ИИ рентгенологам таким образом, чтобы поощрять их критическое участие, избегая при этом ловушек предвзятости автоматизации», — сказал он.

В сопроводительной редакционной статье д-р Паскаль Бальтцер из Венского медицинского университета предложил четыре таких ключевых стратегии. К ним относятся непрерывное обучение и образование, обеспечение ответственности за решения рентгенологов посредством сравнительного анализа производительности в сочетании с постоянной обратной связью, прозрачностью и проверкой алгоритмов, а также использование ИИ в качестве системы сортировки, работающей в фоновом режиме.

«Реализуя эти стратегии, мы можем использовать потенциал ИИ в визуализации молочной железы, сводя к минимуму риски, связанные с предвзятостью автоматизации», — пишет Бальцер.

Источник