Рентгенография грудной клетки остается наиболее распространенным радиологическим исследованием, и интерпретация ее результатов может быть затруднена.

Цель

Изучить потенциальную пользу помощи искусственного интеллекта (ИИ) в обнаружении аномалий грудной клетки на рентгенограммах грудной клетки путем оценки работы рентгенологов с разным уровнем квалификации, с помощью ИИ и без нее.

Материалы и методы

Пациенты, прошедшие рентгенографию грудной клетки и КТ грудной клетки в течение 72 часов в период с января 2010 года по декабрь 2020 года во французской государственной больнице, прошли ретроспективное обследование. Рентгенограммы включались случайным образом до тех пор, пока не было достигнуто 500 рентгенограмм, при этом около 50% рентгенограмм имели отклонения от нормы. Старший торакальный радиолог прокомментировал рентгенограммы для пяти аномалий (пневмоторакс, плевральный выпот, консолидация, образование в средостении и прикорневой зоне, узел в легком) на основе соответствующих результатов КТ (основная истина). В общей сложности 12 читателей (четыре торакальных рентгенолога, четыре врача общего профиля, четыре ординатора радиологии) прочитали половину рентгенограмм без ИИ и половину рентгенограмм с ИИ (ChestView; Gleamer). Изменения чувствительности и специфичности измеряли с помощью парных t- тестов.

Полученные результаты

В исследование были включены 500 пациентов (средний возраст 54 года ± 19 [SD]; 261 женщина, 239 мужчин), при этом 522 отклонения от нормы были видны на 241 рентгенограмме. В среднем для всех читателей использование ИИ привело к абсолютному увеличению чувствительности на 26 % (95 % ДИ: 20, 32), 14 % (95 % ДИ: 11, 17), 12 % (95 % ДИ: 10, 17), 12 % (95 % ДИ: 10, 32). 14), 8,5% (95% ДИ: 6, 11) и 5,9% (95% ДИ: 4, 8) для пневмоторакса, консолидации, узла, плеврального выпота, а также средостения и внутригрудного образования соответственно (P < 0,001 ) . . Специфичность увеличилась с помощью ИИ (3,9% [95% ДИ: 3,2, 4,6], 3,7% [95% ДИ: 3, 4,4], 2,9% [95% ДИ: 2,3, 3,5] и 2,1% [95% ДИ: 2,3, 3,5] и 2,1% [95% ДИ: 3, 4,4]. 1,6, 2,6] для плеврального выпота, медиастинального и внутригрудного образования, консолидации и узла соответственно), за исключением диагноза пневмоторакса (-0,2%; 95% ДИ: -0,36, -0,04; P = 0,01). Среднее время чтения составило 81 секунду без ИИ по сравнению с 56 секундами с ИИ (снижение на 31%, P < 0,001).

Заключение

Интерпретация рентгенограмм грудной клетки с помощью искусственного интеллекта привела к абсолютному повышению чувствительности для всех рентгенологов различного уровня квалификации и сокращению времени считывания; специфичность повышалась при ИИ, за исключением диагностики пневмоторакса.

© РСНА, 2023

Краткое содержание

Помощь искусственного интеллекта может повысить точность обнаружения аномалий грудной клетки на рентгенограммах у рентгенологов с разным уровнем квалификации, что приведет к заметному повышению чувствительности и сокращению времени интерпретации.

Ключевые результаты

  • ■ В ретроспективном исследовании 500 пациентов, которым была проведена рентгенография грудной клетки и КТ грудной клетки по поводу всех типов отклонений, интерпретация рентгенограмм грудной клетки с помощью искусственного интеллекта (ИИ) привела к повышению чувствительности на 6–26% ( P < 0,001) для всех читателей. включая торакальных рентгенологов, врачей общего профиля и ординаторов радиологии.

  • ■ Среднее время чтения составило 81 секунду без ИИ по сравнению с 56 секундами с ИИ (снижение на 31%, P < 0,001), с сокращением на 17% для рентгенограмм с аномалиями по сравнению со снижением на 38% для рентгенограмм без отклонений.

Введение

Несмотря на растущее использование КТ и МРТ, рентгенография грудной клетки остается наиболее часто выполняемым радиологическим исследованием во всем мире. В 2006 году только в США было получено 129 миллионов рентгенограмм грудной клетки ( 1 ). Рентгенография грудной клетки часто является первым методом визуализации и занимает центральное место в скрининге, диагностике и лечении широкого спектра заболеваний. Он до сих пор широко используется из-за своей экономической эффективности и низкой дозы радиации. Однако интерпретация рентгенограмм грудной клетки может быть затруднена из-за наложения костных структур, неравномерного качества изображения и низкого контрастного разрешения. Эти ограничения могут затруднить обнаружение аномалий в определенных местах, таких как верхушки легких и ретрокардиальная область, особенно если эти аномалии небольшие или едва заметные, или при точном различении различных аномальных структур. По этим причинам рентгенологи обычно демонстрируют высокую вариабельность результатов анализа рентгенограмм грудной клетки между наблюдателями ( 2 , 3 ). Кроме того, учитывая растущее количество получаемых рентгенограмм, многие страны сталкиваются с нехваткой рентгенологов, что приводит к неспособности соблюдать требования к отчетности ( 4 ).

Все эти причины привели к разработке систем автоматизированного обнаружения (САПР) на основе искусственного интеллекта (ИИ) ( 5 , 6 ). Действительно, потенциальные преимущества автоматизированного анализа рентгенограмм грудной клетки многочисленны и включают повышенную чувствительность к тонким результатам, определение приоритетности неотложных случаев и автоматизацию утомительных повседневных задач. Использование систем CAD также может помочь врачам скорой помощи ( 7 ) и стажерам-рентгенологам ( 8 ), когда старшие рентгенологи недоступны. Среди различных применений ИИ в диагностической визуализации ( 9–13 ) системы CAD для рентгенографии грудной клетки с использованием алгоритмов глубокого обучения ( 14 ) уже продемонстрировали высокую эффективность при обнаружении узлов в легких ( 15–25 ) , скрининге на туберкулез ( 26 , обнаружении пневмоторакса 16 , 24 , 25 , 27 ) и обнаружение многих других аномалий грудной клетки ( 16 , 28-31 ) .

Таким образом, это исследование было направлено на изучение потенциальной пользы помощи ИИ в обнаружении пяти аномалий грудной клетки на рентгенограммах грудной клетки путем оценки работы рентгенологов с разным уровнем знаний, как с помощью ИИ, так и без нее.

Материалы и методы

Исследование финансировалось компанией Gleamer, которая разработала программное обеспечение ChestView AI. Несколько авторов (SB, NER, JV, LL, TN, AD) работают в Gleamer в качестве консультантов, сотрудников или соучредителей. Другим авторам (CM, PK, HK, GC) компания Gleamer иногда платила за маркировку рентгенограмм грудной клетки. Ни у одного из других авторов не было конфликта интересов, о котором нужно было бы сообщить. Комитет по этике больницы Кочин (номер одобрения AAA-2021-08054) одобрил это исследование. Необходимость в информированном согласии была отменена из-за ретроспективного дизайна исследования.

Состав набора данных

Ретроспективно оценивались торакальные изображения пациентов, которые посещали больницу Кочин (Париж, Франция) в период с января 2010 г. по декабрь 2020 г. Пациенты были включены в исследование, если им была проведена рентгенография грудной клетки и КТ грудной клетки в течение 72 часов без интеркуррентных событий между двумя исследованиями. Пациенты были отобраны из отделений неотложной помощи, плановых госпитализаций, экстренных госпитализаций из-за отклонений, обнаруженных на рентгенограммах грудной клетки, или дневных стационаров для биопсии легких под контролем КТ с последующей рентгенографией грудной клетки в тот же день. Приблизительно 20 000 пациентов, соответствующих этим критериям, были идентифицированы с помощью системы архивирования изображений и передачи данных. Из них рентгенограммы были отобраны старшим торакальным радиологом (SB, 7-летний опыт работы в области торакальной визуализации) для создания сбалансированного набора данных нормальных и аномальных рентгенограмм различной сложности. Рентгенограммы отбирались случайным образом до тех пор, пока не было достигнуто целевое количество в 500 рентгенограмм, из которых около половины имели отклонения ( рис. 1 ). Выбор 500 рентгенограмм был основан на достижении статистической достоверности и обеспечении оперативной осуществимости, в то же время включая разнообразное сочетание случаев за 10-летний период, охватывающее широкий спектр отклонений и демографических данных пациентов.

Блок-схема исследования показывает процесс сбора данных, создание набора данных, его разделение на подмножества, а также распределение подмножеств и задач двум группам в этом исследовании.  ИИ = искусственный интеллект.
Рисунок 1: Блок -схема исследования показывает процесс сбора данных, создание набора данных, его разделение на подмножества и распределение подмножеств и задач двум группам в этом исследовании. ИИ = искусственный интеллект.

После достижения квоты на 500 рентгенограмм пациенты были исключены. В результате набора данных была получена 241 (48%) аномальная и 259 (52%) нормальная рентгенограммы ( таблица 1 ) и были случайным образом разделены на две подгруппы (A и B) с одинаковыми номерами для каждой аномалии и одинаковыми уровнями сложности. Этот набор данных был создан и аннотирован на этапе разработки алгоритма искусственного интеллекта, поэтому торакальный рентгенолог, ответственный за создание набора данных, не знал о его работе.

Таблица 1: Характеристики пациентов, включенных в исследование

Таблица 1:

САПР-система

ChestView (версия 1.2.0; Gleamer) — это коммерчески доступная CAD-система на базе искусственного интеллекта. Это медицинское устройство класса IIa, сертифицированное CE по стандарту медицинского оборудования (MDR), предназначенное для обнаружения пяти аномалий (пневмоторакс, плевральный выпот, уплотнение, образование в средостении и прикорневой зоне и узел) на рентгенограммах грудной клетки с цифровой визуализацией и коммуникациями в медицине с полным разрешением. Алгоритм представляет собой глубокую сверточную нейронную сеть, основанную на системе обнаружения объектов Detectron2 ( https://github.com/facebookresearch/detectron2 ), которая работает как двухэтапный детектор объектов. Алгоритм был разработан на основе набора данных из 115 000 рентгенограмм из нескольких радиологических отделений, собранных с января 2011 года по июнь 2022 года. Набор данных, используемый для этого исследования, не использовался для обучения, проверки или тестирования программного обеспечения искусственного интеллекта (подробности в приложении) . С1 ).

Основные данные

Торакальный рентгенолог, отвечающий за выбор изображений (SB), прокомментировал рентгенограммы грудной клетки на предмет пяти аномалий (пневмоторакс, плевральный выпот, консолидация, образование в средостении и прикорневой зоне и узелок в легком). Основная истина была установлена ​​путем рисования ограничивающих рамок вокруг каждой из пяти аномалий на рентгенограмме грудной клетки с использованием изображений КТ грудной клетки. Затем два независимых торакальных рентгенолога (SB, SD) классифицировали аномалии как видимые или невидимые на рентгенограмме ( рис. 2 ). Разногласия (81 из 755, κ = 0,71) были решены консенсусом. В случае трех постоянных разногласий был привлечен третий читатель (ЭК). Читатели 2 и 3 (SD, EC) не имеют отношения к компании. Невидимые отклонения исключались из анализа, а эффективность оценивалась только для тех аномалий, которые были классифицированы как видимые на рентгенограмме двумя независимыми читателями. Аннотации выполнялись на специальной веб-платформе, разработанной Gleamer.

(A, B) Рентгенограммы грудной клетки некальцинированных узлов (стрелки), классифицированных как видимые (A) и невидимые (B) двумя торакальными рентгенологами, отвечающими за основную информацию.  Основная истина была установлена ​​с помощью компьютерной томографии грудной клетки.  Каждая аномалия была классифицирована как видимая на рентгенограмме и КТ или не видимая на рентгенограмме, но видимая на КТ.
Рисунок 2: (A, B) Рентгенограммы грудной клетки некальцинированных узлов (стрелки), классифицированных как видимые (A) и невидимые (B) двумя торакальными рентгенологами, отвечающими за основную информацию. Основная истина была установлена ​​с помощью компьютерной томографии грудной клетки. Каждая аномалия была классифицирована как видимая на рентгенограмме и КТ или не видимая на рентгенограмме, но видимая на КТ.

Читатели

В этом исследовании приняли участие двенадцать читателей: четыре ординатора радиологии (между 2-м и 4-м годами ординатуры), четыре рентгенолога общего профиля (NER, LL, CM, TN; средний стаж 17 лет) и четыре торакальных рентгенолога (GC, PK, HK). , MPR; средний стаж 14 лет). Читатели были разбиты по специальностям и уровню стажа и разделены на две группы. Группе 1 было поручено читать подмножество A без AI, а затем читать подмножество B с AI, тогда как группе 2 было поручено читать подмножество B без AI, а затем читать подмножество A с AI. Рентгенограммы грудной клетки были представлены в случайном порядке. Читатели не знали клинической информации, аннотаций торакального рентгенолога и результатов КТ. Читателям было предложено разместить маркер выбранной аномалии для каждой аномалии, обнаруженной на изображении. Все читатели прошли 30-минутное обучение и прочитали набор из 10 рентгенограмм непосредственно перед началом исследования, чтобы ознакомиться с веб-платформой аннотаций.

Время чтения автоматически регистрировалось платформой от открытия рентгенограммы грудной клетки до проверки аннотации.

Статистический анализ

Основными результатами были показатели каждого поражения (чувствительность, специфичность), основанные на определениях рабочих характеристик приемника со свободным ответом, рассчитанные для диагностики каждой из пяти аномалий ( Приложение S1 ). Вторичные результаты включали анализ подгрупп, основанный на уровне квалификации рентгенологов, и анализ влияния ИИ на время чтения. Бутстрэппинг служил методом повторной выборки для оценки изменчивости ИИ.

Изменение показателей выражается в абсолютной разнице. Парные t- тесты использовались для анализа производительности как с искусственным интеллектом, так и без него, с порогом значимости, установленным на уровне двусторонних 5% ( P < 0,05). Весь статистический анализ проводился (SB, JV) с использованием программного обеспечения Python (версия 3.9, 2020 г.; SciPy Pandas) и R (версия 4.1.2, 2021 г.; R Foundation for Statistical Computing).

Полученные результаты

Характеристики набора данных

Окончательный набор данных включал 500 пациентов ( рис. 1 ), из которых 261 (52%) были женщинами и 239 (48%) мужчинами; в целом средний возраст составил 54 года ± 19 (СО). Набор данных включал 241 рентгенограмму по крайней мере с одним видимым отклонением ( таблица 1 ), всего 522 отклонения (2,2 на пациента). Было 38 пациентов (8%) с боковой рентгенограммой грудной клетки, 48 (10%) с прикроватной рентгенограммой грудной клетки и 31 (6%) с рентгенограммой, полученной в сидячем положении; у всех остальных пациентов была только заднепередняя рентгенограмма.

Производительность чтения без помощи искусственного интеллекта

Наибольшая чувствительность наблюдалась при выявлении пневмоторакса у торакальных рентгенологов (чувствительность 75,7%; 95% ДИ: 64, 85) и при выявлении плевральных выпотов у врачей общей практики (чувствительность 66,2%; 95% ДИ: 60, 72). ) и ординаторы радиологов (чувствительность 65,3%; 95% ДИ: 59, 72) ( таблицы 2 , S1 ). Наименьшая чувствительность наблюдалась при выявлении образований средостения и прикорневых желез у ординаторов радиологического отделения (чувствительность 31,1%; 95% ДИ: 24, 38). Самая низкая чувствительность наблюдалась при обнаружении узлов в легких: чувствительность составила 51,8% (95% ДИ: 47, 57) у торакальных рентгенологов и 38,1% (95% ДИ: 33, 43) у врачей общего профиля.

Таблица 2. Средняя чувствительность ИИ и читателей без и с ИИ для каждого типа аномалий

Таблица 2:

У всех читателей наибольшая специфичность наблюдалась при выявлении пневмоторакса, достигая 99,7% (95% ДИ: 99,1, 99,9), 99,9% (95% ДИ: 99,4, 100) и 99,2% (95% ДИ: 98,9, 98,9). 99,7) для торакальных рентгенологов, врачей общего профиля и ординаторов радиологии соответственно ( таблица 3 ). Самая низкая специфичность наблюдалась при обнаружении узлов в легких (89%; 95% ДИ: 87, 91) у торакальных рентгенологов, при выявлении консолидации (86%; 95% ДИ: 83, 88) у врачей общего профиля и у обнаружение плеврального выпота (81%; 95% ДИ: 78, 83) у ординаторов радиологии.

Таблица 3. Средняя специфичность ИИ и читателей без и с ИИ для каждого типа аномалий

Таблица 3:

Торакальные рентгенологи без ассистента превзошли других специалистов, читающих без ассистента, с точки зрения чувствительности при обнаружении всех типов аномалий: наименьшая разница составила 3,8% (95% ДИ: 0,8, 6; P = 0,007) для рентгенологов общего профиля и плевральных выпотов, в то время как Наибольшая разница составила 35,7% (95% ДИ: 24, 47; P < 0,001) для ординаторов радиологии и пневмоторакса ( таблица 4 ).

Таблица 4. Абсолютная разница между чувствительностью торакального радиолога при обнаружении отклонений на рентгенограммах грудной клетки и чувствительностью других читателей в трех разных условиях

Таблица 4:

Производительность ИИ как автономного устройства и по сравнению с устройствами чтения без посторонней помощи

Алгоритм AI достиг самой высокой чувствительности при обнаружении плеврального выпота (89,0%; 95% ДИ: 81, 94) и имел самую низкую чувствительность к узлам в легких (60,3%; 95% ДИ: 53, 67; таблица 2 ). Алгоритм AI имел самую высокую специфичность для выявления пневмоторакса (99,0%; 95% ДИ: 97,7, 99,7) и самую низкую специфичность для консолидации (92,0%; 95% ДИ: 89, 94) ( таблица 3 ).

По сравнению со всеми считывателями без посторонней помощи, AI имел более высокую чувствительность ко всем типам аномалий, при этом наибольшая разница отмечалась для пневмоторакса (36,2%; 95% ДИ: 20, 54; P < 0,001), а наименьшая – для узлов (18,3%; 95% ДИ: 13, 24; P < 0,001) ( Таблица S2 ). ИИ также имел более высокую специфичность для всех аномалий, кроме пневмоторакса (-0,6%; 95% ДИ: -1,3, 0,1; P = 0,08). Площадь под кривой рабочей характеристики приемника (AUC) AI была выше, чем средняя AUC читателей без посторонней помощи (0,93 против 0,71 для консолидации) ( таблица S3 ).

Производительность чтения с помощью искусственного интеллекта

Для всех групп читателей помощь ИИ улучшила чувствительность выявления всех типов аномалий, за исключением новообразований средостения и ворот грудной клетки, рентгенологами грудной клетки (-0,5%; 95% ДИ: -1,7, 0,5; P = 0,32). У торакальных рентгенологов улучшение чувствительности было самым высоким при консолидации (10,3%; 95% ДИ: 6, 15; P < 0,001). Для врачей общего профиля (38,6%; 95% ДИ: 27, 50; P < 0,001) и ординаторов радиологических отделений (34,3%; 95% ДИ: 22, 46; P < 0,001) пневмоторакс был аномалией, обнаружение которой было наиболее полезным при выявлении Помощь ИИ. У торакальных рентгенологов наименьшее улучшение чувствительности наблюдалось при обнаружении узлов в легких (4,1%; 95% ДИ: 2, 6; P < 0,001); для общих рентгенологов – для диагностики новообразований средостения и прикорневых костей (5,0%; 95% ДИ: 2, 8; P = 0,002); а у резидентов – плевральный выпот (5,0%; 95% ДИ: 2, 8; P < 0,001).

Улучшение чувствительности было связано с увеличением специфичности для всех отклонений, за исключением выявления пневмоторакса, специфичность которого минимально снизилась с 99,9% до 99,2% (-0,7%; 95% ДИ: -12,2, -0,18; P = . 008) ( Таблица 3 ) для врачей общего профиля. Наибольшее улучшение было достигнуто при обнаружении узлов в легких (1,4%; 95% ДИ: 0,6, 2; P < 0,001). Наибольшее улучшение специфичности для врачей общей рентгенологии и ординаторов радиологии наблюдалось в отношении консолидаций (5,2%; 95% ДИ: 4, 7; P < 0,001) и плевральных выпотов (11,5%; 95% ДИ: 10, 14; P < 0,001). ), соответственно.

При использовании ИИ разница между торакальной и общей чувствительностью рентгенологов была уменьшена; однако торакальные рентгенологи сохранили более высокую чувствительность к обнаружению консолидации, чем обычные рентгенологи, с разницей в 3,2% (95% ДИ: 0,7, 6; P = 0,01). Несмотря на улучшение использования ИИ, чувствительность ординаторов радиологии оставалась ниже, чем чувствительность ассистентов торакальных рентгенологов, с разницей в 6,2% (95% ДИ: 4, 9; P < 0,001) при обнаружении узлов в легких, например . Таблица 4 показывает, что абсолютные различия в чувствительности между читателями были намного ниже при использовании ИИ по сравнению с режимом без посторонней помощи. При обнаружении пневмоторакса разница между рентгенологами общего профиля и рентгенологами грудной клетки уменьшилась с 34,3% (95% ДИ: 23, 46; P < 0,001) без помощи ИИ, но доказательств разницы не было (1,4%; 95%). ДИ: -1,4, 4,2; P = 0,32) при помощи ИИ.

Не было выявлено различий в чувствительности между рентгенологами общей практики, работающими с ИИ, и рентгенологами грудной клетки без ассистента в отношении пневмоторакса (80,0% [95% ДИ: 69, 89] против 75,7% [95% ДИ: 64, 85] при разнице в -4,3% [95% ДИ: -9; 0,5], P = 0,08) и образования в средостении и внутригрудных клетках (50,0% [95% ДИ: 42, 58] против 52,2% [95% ДИ: 45, 60] для разница составила 2,2% [95% ДИ: 0,0; 4,4], P = 0,05) ( таблица 4 ). Также не было выявлено различий в чувствительности к пневмотораксу между резидентами ассистированной радиологии и торакальными рентгенологами, работающими без ассистента (74,3% [95% ДИ: 62, 84] против 75,7% [95% ДИ: 64, 85] при разнице в 1,4 % [95% ДИ: -1,4, 4,2]; P = 0,32) и плевральный выпот (70,3% [95% ДИ: 64, 76] против 69,4% [95% ДИ: 63, 75] для разницы — 0,9% [95% ДИ: -2,2, 0,4]; P = 0,16). Ассистированные торакальные рентгенологи превзошли ассистированных рентгенологов общего профиля в выявлении консолидаций (73,9% [95% ДИ: 67, 80] против 70,7% [95% ДИ: 64, 77], при разнице в 3,2% [95% ДИ: 0,7, 5,9]; P = 0,01).

ИИ имел более высокую чувствительность, чем все ассистенты, в отношении плеврального выпота (89,0% против 75,5%, P = 0,003), консолидации (82% против 71%, P = 0,04), а также средостенных и внутригрудных образований (63,3% против 48,7%, P = 0,02) ( Таблица S3 ). Не было никаких доказательств разницы в специфичности между AI и вспомогательными читателями в отношении пневмоторакса (99,0% против 99,4%, P = 0,16) и консолидации (92,0% против 91,4%, P = 0,08). Таблица S1 показывает, что AUC AI была выше, чем средняя AUC вспомогательных читателей.

На рисунке 3 показаны примеры влияния ИИ на обнаружение поражений.

Рентгенограммы грудной клетки (слева) с анализом искусственного интеллекта (ИИ) и соответствующие корональные (вверху справа) и аксиальные (внизу справа) КТ-изображения, используемые в качестве исходных данных.  (А) ИИ обнаружил правое паравертебральное образование, которое представляло собой рецидив остеосаркомы.  Без помощи ИИ только один торакальный радиолог и один общий рентгенолог обнаружили образование, тогда как с помощью ИИ его обнаружили все читатели.  (B) AI обнаружил образование в легких, узелок в легких и небольшой пневмоторакс.  Без помощи ИИ только один торакальный радиолог и один общий радиолог выявили все отклонения, тогда как с помощью ИИ все отклонения выявили один торакальный радиолог, два общих рентгенолога и один ординатор.  Соответствующие корональные и аксиальные КТ-изображения показывают массу легкого (стрелки), узелок в легком (белые стрелки) и небольшой пневмоторакс (черные стрелки), которые должны были быть обнаружены на рентгенограмме грудной клетки.  (C) Рентгенограмма грудной клетки (слева) с анализом искусственного интеллекта (ИИ) и связанные с ней корональные (вверху справа) и аксиальные (внизу справа) КТ-изображения, используемые в качестве достоверных данных.  ИИ выявил уплотнение в середине правого легкого.  Из-за своего размера, плотности и формы это уплотнение очень напоминает узел, что может привести к путанице или неправильной интерпретации только на основании визуальной оценки.  КТ позволила подтвердить консолидацию, а не узел.  Двое жителей описали поражение как узел без помощи ИИ, тогда как все читатели описали его как консолидацию с помощью ИИ.  (D) Рентгенограмма грудной клетки (слева) и увеличенный вид (справа) того же изображения.  ИИ обнаружил небольшой верхушечный пневмоторакс справа.  Без помощи ИИ один ординатор и два общих рентгенолога пропустили это сообщение, тогда как с помощью ИИ его нашли все читатели.  (E) Рентгенограммы грудной клетки (слева) с анализом искусственного интеллекта (ИИ) и связанные с ними корональные (вверху справа) и аксиальные (внизу справа) КТ-изображения, используемые в качестве достоверных данных.  ИИ сообщил об истинно отрицательных результатах, полученных при компьютерной томографии для всех пяти отклонений.  Без ИИ один ординатор выявил узел под правой ключицей, а один врач общей радиологии и один ординатор выявили образование в левой прикорневой области.  При ИИ только у одного резидента наблюдалось образование левого прикорневого образования.  (F) Рентгенограмма грудной клетки (слева) и корональная КТ (справа).  ИИ обнаружил притупление левого реберно-диафрагмального угла, что не подтвердилось на КТ.  Притупление описали пять читателей без помощи ИИ и четыре читателя с помощью ИИ.  (G) Рентгенограмма грудной клетки (слева) и связанные с ней корональные (вверху справа) и аксиальные (внизу справа) КТ-изображения, используемые в качестве достоверных данных.  AI сообщила о ложноотрицательном обнаружении узла в левой нижней доле, подтвержденном КТ.  Только один торакальный рентгенолог обнаружил этот узел.
Рисунок 3: Рентгенограммы грудной клетки (слева) с анализом искусственного интеллекта (ИИ) и соответствующие корональные (вверху справа) и аксиальные (внизу справа) КТ-изображения, используемые в качестве исходных данных. (А) ИИ обнаружил правое паравертебральное образование, которое представляло собой рецидив остеосаркомы. Без помощи ИИ только один торакальный рентгенолог и один общий рентгенолог обнаружили образование, тогда как с помощью ИИ его обнаружили все читатели. (B) AI обнаружил образование в легких, узелок в легких и небольшой пневмоторакс. Без помощи ИИ только один торакальный радиолог и один общий радиолог выявили все отклонения, тогда как с помощью ИИ все отклонения выявили один торакальный радиолог, два общих рентгенолога и один ординатор. Соответствующие корональные и аксиальные КТ-изображения показывают массу легкого (стрелки), узелок в легком (белые стрелки) и небольшой пневмоторакс (черные стрелки), которые должны были быть обнаружены на рентгенограмме грудной клетки. (C) Рентгенограмма грудной клетки (слева) с анализом искусственного интеллекта (ИИ) и связанные с ней корональные (вверху справа) и аксиальные (внизу справа) КТ-изображения, используемые в качестве достоверных данных. ИИ выявил уплотнение в середине правого легкого. Из-за своего размера, плотности и формы это уплотнение очень напоминает узел, что может привести к путанице или неправильной интерпретации только на основании визуальной оценки. КТ позволила подтвердить консолидацию, а не узел. Двое жителей описали поражение как узел без помощи ИИ, тогда как все читатели описали его как консолидацию с помощью ИИ. (D) Рентгенограмма грудной клетки (слева) и увеличенный вид (справа) того же изображения. ИИ обнаружил небольшой верхушечный пневмоторакс справа. Без помощи ИИ один ординатор и два общих рентгенолога пропустили это сообщение, тогда как с помощью ИИ его нашли все читатели. (Е)Рентгенограммы грудной клетки (слева) с анализом искусственного интеллекта (ИИ) и соответствующие корональные (вверху справа) и аксиальные (внизу справа) КТ-изображения, используемые в качестве исходных данных. ИИ сообщил об истинно отрицательных результатах, полученных при компьютерной томографии для всех пяти отклонений. Без ИИ один ординатор выявил узел под правой ключицей, а один врач общей радиологии и один ординатор выявили образование в левой прикорневой области. При ИИ только у одного резидента наблюдалось образование левого прикорневого образования. (F) Рентгенограмма грудной клетки (слева) и корональная КТ (справа). ИИ обнаружил притупление левого реберно-диафрагмального угла, что не подтвердилось на КТ. Притупление описали пять читателей без помощи ИИ и четыре читателя с помощью ИИ. (G) Рентгенограмма грудной клетки (слева) и связанные с ней корональные (вверху справа) и аксиальные (внизу справа) КТ-изображения, используемые в качестве достоверных данных. AI сообщила о ложноотрицательном обнаружении узла в левой нижней доле, подтвержденном КТ. Только один торакальный рентгенолог обнаружил этот узел.

Время чтения

Среднее время чтения составило 81 секунду (95% ДИ: 79, 84) без помощи ИИ по сравнению с 56 секундами (95% ДИ: 54, 59) с помощью ИИ ( рис. 4 ). Использование ИИ привело к уменьшению времени на 25 секунд (95% ДИ: 22, 28; P < 0,001). Благодаря ИИ время чтения сократилось для каждой группы рентгенологов. Для торакальных рентгенологов оно сократилось на (а) 23 секунды (95% ДИ: 18, 28) с 85 секунд до 62 секунд, разница 27%; (b) на 21 секунду (95% ДИ: 18, 26), с 62 секунд до 41 секунды, разница 34%, для врачей общего профиля; и (c) на 29 секунд (95% ДИ: 23, 36), с 97 секунд до 68 секунд, разница 30% для ординаторов радиологии ( P < 0,001 для всех).

Гистограмма показывает среднее время чтения для каждой группы читателей без и с помощью ИИ, а также для рентгенограмм грудной клетки с аномальными результатами (положительный результат) и рентгенограмм грудной клетки без каких-либо отклонений от нормы (отрицательный результат).
Рисунок 4. Гистограмма показывает среднее время чтения для каждой группы читателей без и с помощью ИИ, а также для рентгенограмм грудной клетки с отклонениями от нормы (положительный результат) и рентгенограмм грудной клетки без каких-либо отклонений от нормы (отрицательный результат).

Улучшение времени чтения было более важным для нормальных рентгенограмм грудной клетки (уменьшение на 26 секунд; [95% ДИ: -29, -23] с 68 секунд до 42 секунд; улучшение на 38%), чем для аномальных рентгенограмм грудной клетки (уменьшение на 16 секунд). [95% ДИ: -21, -13] с 96 секунд до 80 секунд; улучшение 17%) ( P < 0,001).

Обсуждение

Хотя рентгенография грудной клетки остается наиболее часто выполняемым радиологическим исследованием, интерпретация полученных изображений может быть затруднена. Таким образом, мы провели ретроспективный анализ 500 пациентов, которым была проведена рентгенография грудной клетки и достоверная КТ грудной клетки в течение 72-часового периода. Наши результаты показали, что помощь ИИ привела к абсолютному увеличению чувствительности для всех читателей с различным уровнем опыта, включая врачей общей радиологии и ординаторов радиологии, при обнаружении всех пяти типов аномалий на рентгенограммах грудной клетки: с 5,3% для образований средостения и прикорневых желез до 25,3% для пневмоторакса ( P < 0,001). Специфичность повышалась при помощи ИО (с 2,1% [95% ДИ: 1,6, 2,6] для узлов до 3,9% [95% ДИ: 3,2, 4,6]), за исключением диагностики пневмоторакса (-0,2%; 95% ДИ: – 0,36, -0,04; P = 0,01). Хотя торакальные рентгенологи без ассистента превзошли обычных рентгенологов без ассистента по пяти типам аномалий, ассистированные торакальные рентгенологи исключительно превзошли ассистированных рентгенологов общей практики в обнаружении консолидаций (73,9% [95% ДИ: 67, 80] против 70,5% [95% ДИ: 64, 77] ]; P = 0,01). Наконец, среднее время чтения составило 81 секунду без ИИ по сравнению с 56 секундами с ИИ, что соответствует снижению на 31% ( P < 0,001), с сокращением на 17% для рентгенограмм с аномалиями и сокращением на 38% для рентгенограмм без отклонений.

ИИ как самостоятельное устройство для чтения имел более высокую чувствительность, чем все устройства для чтения без посторонней помощи, ко всем типам отклонений и более высокую специфичность, за исключением пневмоторакса. Интересно, что рентгенологи с помощью ИИ показали себя не лучше, чем ИИ в качестве автономного считывателя. Также было обнаружено, что AUC одного ИИ выше, чем у читателей-людей с помощью ИИ или без нее. Это показывает, что некоторые правильные определения ИИ были отклонены читателями, а это означает, что предложения ИИ могут быть проигнорированы из-за недоверия. Об этом явлении уже сообщал Шалекамп и др. ( 32 ), которые обнаружили, что 55% истинных узлов в легких первоначально были пропущены, но обнаружены с помощью CAD-системы, в конечном итоге были отвергнуты читателями. Это подчеркивает важность адекватной подготовки рентгенологов по включению предложений ИИ в свои показания ( 24 ).

В этом исследовании мы легко различали критические и некритические результаты, что имело решающее значение для оценки клинического воздействия ИИ. При критических состояниях, таких как пневмоторакс, плевральный выпот и консолидация, помощь ИИ привела к заметному улучшению чувствительности, что предполагает его потенциал для ускорения выявления и вмешательства. Для некритических результатов, таких как средостенные и внутригрудные образования и узелки, повышение чувствительности и специфичности при помощи ИИ предполагает потенциальную ценность ИИ в долгосрочном уходе за пациентами. В целом, улучшение диагностической точности, наблюдаемое в этом исследовании, соответствует тому, что сообщалось в аналогичных исследованиях ( 16 , 25 , 30 ). Увеличение чувствительности на 25% при выявлении пневмоторакса было выше, чем увеличение на 17%, о котором сообщил Ан и др. ( 16 ), и увеличение на 18%, о котором сообщили Хонг и др. ( 27 ). Для узлов в легких ранее сообщаемое увеличение чувствительности колебалось от 5% до 13% ( 15–17 , 20 , 22 ) по сравнению со средним увеличением на 11% в этом исследовании В нескольких исследованиях также не сообщалось о существенных изменениях в специфичности чтения при помощи ИИ ( 15–17 , 22 ) , как и в нашем исследовании.

Во многих исследованиях была принята парадигма многопользовательского исследования с несколькими случаями; однако более ранние публикации включали меньше случаев ( 18–20 , 25 , 30 ) , были нацелены на одну аномалию ( 15 , 18–22 ) или привлекали меньше читателей ( 16 , 19 , 21 , 25 31 ) . Предыдущие исследования использовали КТ в качестве эталона, но делали это непоследовательно ( 30 ) или со значительным интервалом времени ( 25 ), тогда как в нашем исследовании интервал между рентгенографией и КТ составлял максимум 72 часа. Еще одним методологическим преимуществом нашего исследования является то, что в нем участвовали два рентгенолога для определения видимости отклонений на рентгенограмме ( 30 ). Использование КТ для установления истины могло привести к более сложным случаям, поскольку могло быть проведено несколько КТ-исследований для подтверждения сомнений по поводу рентгенограмм грудной клетки. Различия в определении основной истины и выборе случаев затрудняют сравнение эффективности алгоритма в разных исследованиях. Например, при обнаружении узелков в легких Ан и др. ( 16 ) показали чувствительность 57%, ван Бик и др. ( 28 ) показали чувствительность 79%, а мы показали среднюю чувствительность всех читателей без посторонней помощи. 42%; однако это несопоставимо, поскольку решения искусственного интеллекта не оценивались в одном и том же наборе данных. Поэтому важно сравнивать эффективность ИИ с эффективностью экспертов-рентгенологов на одном и том же наборе данных.

Что касается влияния ИИ на время чтения, существуют противоречивые данные: в некоторых отчетах говорится о сокращении времени чтения на 10% ( 16 , 30 ), а в других — об увеличении более чем на 100% ( 31 ). В нашем исследовании сокращение времени чтения на 31% оказалось более важным, чем сообщалось ранее. Как и в исследовании Shin et al ( 33 ), мы заметили, что время, сэкономленное при чтении, больше для рентгенограмм без отклонений, которые составляют большинство рентгенограмм грудной клетки в клинической практике.

Наше исследование имело несколько ограничений. Во-первых, половина набора данных имела по крайней мере одно отклонение, видимое на рентгенограммах грудной клетки, что не отражает распространенность в рутинной практике, в среднем 2,2 отклонения на пациента. Во-вторых, читатели должны были отметить пять отклонений, которые могли привести к систематической ошибке. Сосредоточение внимания на пяти отклонениях вместо анализа всех возможных отклонений на рентгенограмме грудной клетки не соответствует сценариям клинической практики. В-третьих, исследование проводилось ретроспективно в условиях искусственного чтения. Читатели смогли посвятить время этой задаче без ограничений по времени и вне контекста текущего рабочего процесса. Наконец, рентгенологи не знали ни клинических показаний, ни истории болезни пациента, которая отражала бы повседневную практику. Это могло бы объяснить относительно низкую чувствительность при выявлении критических признаков, особенно пневмоторакса. В целом, все эти ограничения связаны с тем, что контекст этих показаний сильно отличается от контекста в реальных клинических условиях, что ограничивает возможность обобщения этой работы.

В заключение, наши результаты показывают, что помощь искусственного интеллекта при интерпретации рентгенограмм грудной клетки может повысить чувствительность, не влияя на специфичность для всех читателей, независимо от их уровня знаний, стажа или типа отклонения, а также может сократить время считывания рентгенограмм с и без аномалии. Для подтверждения этих преимуществ следует рассмотреть возможность проспективной оценки в клинической практике при естественной распространенности аномальных состояний.

Раскрытие информации о конфликте интересов: SB Работает в компании Gleamer. Соучредитель NER и главный медицинский директор Gleamer; Акционер компании Gleamer. СП , работающее в компании Gleamer. LL Медицинский советник Gleamer; поддержка участия в встрече или поездки из Gleamer; Акционер компании Gleamer. TN Никаких соответствующих отношений. А.Д. Соучредитель и научно-технический директор Gleamer; Акционер компании Gleamer. LD Никаких соответствующих связей. Э. Гильо Никаких соответствующих связей. Э. Гуйе Никаких соответствующих связей. SHZ Никаких соответствующих отношений. ЕС Нет соответствующих отношений. Гонорары консультанта CM за аннотации от Gleamer. ПК Нет соответствующих отношений. HK Нет соответствующих отношений. Институциональные гранты MPR от Национального института рака и Министерства здравоохранения Франции; гонорары от GE Healthcare; Бракко, Европейская школа радиологии; и Берингер Ингельхайм; председатель комитета по коммуникациям и внешним связям Европейского общества радиологии; учреждение получило в подарок программное обеспечение от Mevis, Gleamer, Aidence и Coreline. гонорары GC Consulting от Gleamer; гонорары от Кьези и Берингер Ингельхайм.

Подтверждение

Авторы благодарят д-ра Северин Данжер за ее участие в установлении истины.

Вклад автора

Вклад авторов: Гаранты целостности всего исследования, СБ, ТН, ЛД, МПР, ГК ; концепции исследования/план исследования или сбор данных или анализ/интерпретация данных, все авторы; составление или редактирование рукописи важного интеллектуального содержания, все авторы; утверждение окончательного варианта представленной рукописи всех авторов; обязуется обеспечить надлежащее решение любых вопросов, связанных с работой, всех авторов; литературное исследование, СП, AD, LD, Э. Гильо, MPR, GC ; клинические исследования, SB, NER, JV, LL, AD, LD, E. Guillo, E. Gouhier, SHZ, CM, PK, HK, GC ; экспериментальные исследования, Т.Н., Л.Д., Гильо Э., П.К .; статистический анализ, СП, Л.Д., Э. Гильо ; и редактирование рукописей, SB, JV, LL, LD, E. Guillo, EC, MPR, GC

При поддержке Gleamer.

Источник