Сообщается, что новая мультимодальная модель искусственного интеллекта (ИИ) на основе трансформатора, которая объединяет клинические данные, а также результаты рентгенографии грудной клетки, предлагает значительно улучшенную площадь под кривыми рабочих характеристик приемника (AUC) для более чем 20 состояний, включая острые цереброваскулярные заболевания, нарушения проводимости и пневмония.
В ретроспективном исследовании, недавно опубликованном в журнале Radiology , исследователи отметили, что для обучения модели искусственного интеллекта на основе трансформатора были использованы клинические данные и результаты рентгенографии грудной клетки из двух крупных баз данных пациентов и в общей сложности более 62 000 пациентов отделений интенсивной терапии (ОИТ). Авторы исследования впоследствии сравнили мультимодальную модель искусственного интеллекта с использованием только клинических данных и результатов рентгенографии грудной клетки для различных состояний.
В целом исследователи обнаружили, что мультимодальная модель искусственного интеллекта имела среднюю AUC 77 процентов для диагностики 25 состояний по сравнению с 70 процентами только для результатов рентгенографии грудной клетки и 72 процентами только для клинических параметров.
В частности, согласно исследованию, мультимодальная модель AI имела AUC на 21 процент выше (91 процент), чем только рентгенограммы грудной клетки (70 процентов), для диагностики острых цереброваскулярных заболеваний. Для гипертонии с осложнениями и вторичной гипертензии авторы исследования отметили 77 процентов AUC для мультимодального ИА, в отличие от 71 процента только для рентгенологических данных и 68 процентов, основанных только на клинических параметрах.
При застойной сердечной недостаточности (негиперинтенсивной) мультимодальный ИА имел AUC на 11 процентов выше (82 процента), чем только клинические параметры (71 процент). Исследователи также отметили 86 процентов AUC для мультимодальной модели искусственного интеллекта для диагностики дыхательной недостаточности, недостаточности и остановки дыхания у взрослых по сравнению с 76 процентами только для рентгенографии грудной клетки и 82 процентами только для клинических параметров.
«Для обоих исследованных наборов рентгенограмм с сопутствующими данными, не относящимися к визуализации, мы обнаружили последовательное увеличение диагностической эффективности, когда клинические данные, не относящиеся к визуализации, использовались вместе с данными визуализации. …Ожидается, что мультимодальные модели, которые смогут сочетать в себе широкий спектр модальностей, будут доминировать в будущем в области искусственного интеллекта», — написал соавтор исследования Дэниел Трун, доктор медицинских наук, сотрудник отделения диагностической и интервенционной радиологии. в Университетской клинике Ахена в Ахене, Германия, и его коллеги.
Авторы исследования подчеркнули, что карты внимания, созданные с помощью модели мультимодального трансформатора AI, обеспечивают самые высокие значения в субобластях рентгенограмм, которые могут быть более показательными для потенциальной патологии.
Три ключевых вывода
- Улучшена производительность диагностики. Модель мультимодального искусственного интеллекта (ИИ), которая объединяет клинические данные с результатами рентгенографии грудной клетки, продемонстрировала превосходную диагностическую эффективность по сравнению с использованием клинических параметров или только рентгенографии грудной клетки при различных состояниях, включая застойную сердечную недостаточность, хроническое заболевание почек, гипертонию, пневмония и многое другое.
- Увеличение AUC для определенных условий. Мультимодальная модель искусственного интеллекта продемонстрировала существенные улучшения в области под кривой рабочей характеристики приемника (AUC) для конкретных условий. Например, при диагностике острых цереброваскулярных заболеваний его AUC была на 21 процент выше, чем только при рентгенографии грудной клетки, и на 11 процентов выше, чем только клинические параметры при застойной сердечной недостаточности (негиперинтенсивной).
- Потенциал для будущих приложений ИИ. Исследование предполагает, что интеграция клинических данных и данных визуализации в мультимодальные модели искусственного интеллекта обещает повысить точность диагностики при различных заболеваниях. Авторы ожидают, что такие модели, способные комбинировать различные модальности данных, могут сыграть значительную роль в будущем искусственного интеллекта в здравоохранении.
Для некоторых состояний мультимодальный ИИ обеспечивает меньший прирост в обнаружении по сравнению с унимодальным использованием рентгенограмм грудной клетки или клинических параметров. Исследователи отметили 75 процентов AUC для мультимодального ИА при выявлении желудочно-кишечных кровотечений по сравнению с 74 процентами, основанными только на клинических параметрах. При хронической обструктивной болезни легких и бронхоэктазах мультимодальный ИА имел AUC 76 процентов по сравнению с 75 процентами только при рентгенологическом исследовании грудной клетки.
«…Диагностическая эффективность не обязательно может улучшиться за счет интеграции как визуализационных, так и невизуализирующих данных. Например, диабет преимущественно диагностируется без визуализации, тогда как диагноз пневмоторакса основывается в первую очередь на визуализации», — добавили Трун и коллеги.
Что касается ограничений исследования, авторы признали, что еще неизвестно, насколько хорошо модель искусственного интеллекта трансформатора будет работать с данными трехмерного изображения, поскольку исследование было сосредоточено на использовании данных двумерного изображения. По словам авторов исследования, объем данных для обучения архитектуры модели был сокращен за счет тестирования нейронной сети модели в контролируемом контексте обучения.
Источник
