Отражая бурный рост применения инструментов машинного обучения и искусственного интеллекта в радиологии, а также стремясь к более глубокому пониманию этого мощного инструмента, редакционная группа ITN продолжает освещать значительные достижения и опыт, которыми поделились те, кто возглавляет этот быстро развивающийся процесс. граница.
В этой статье редакционная группа делится второй частью состоящего из нескольких частей обзора информации, первоначально представленной во время основного доклада RSNA 2022 : « Назад к основам: что нужно знать радиологическим ИИ о радиологическом искусственном интеллекте ». В дополнение к двум экспертам, чьи сессии кратко изложены здесь, в группу вошли Дания Дэй, доктор медицинских наук , генеральный директор Массачусетского центра биомедицинской визуализации Гарвард-Мартинос , и Уолтер Виггинс, доктор медицинских наук , консультант Duke Health , Qure.ai , чей ценные идеи были опубликованы в июльском/августовском номере .
В преддверии RSNA 2023 , где обновления, продукты и новости о достижениях на этом фронте снова будут в центре внимания, ITN составил обзор ключевых моментов, сделанных в ходе этой важной сессии. Здесь представлена подборка тем, которыми поделились два широко признанных лидера в этой области, Кэтрин П. Андриол, доктор философии и Линда Мой, доктор медицинских наук , с обзором их глубокого участия и лидерства в этой области.
Обладательница золотой медали RSNA 2022 Кэтрин П. Андриол, доктор философии, доцент кафедры радиологии в Гарвардской медицинской школе , Женской больнице Бригама и директор по академическим исследованиям и образованию в Массачусетском офисе по науке о данных Генерала Бригама . Она является давним членом комитета RSNA по радиологической информатике и работает в подкомитетах по управлению машинным обучением и стандартам данных. Преподаватель программы сертификации RSNA Imaging AI и эксперт по предметам Комитета по надзору за грантами R&E Foundation, Андриол является содиректором программы Imaging AI in Practice Demonstration. Недавно она была сопредседателем конференции Общества информатики изображений в медицине (SIIM) по машинному обучению в медицинской визуализации (CMIMI), состоявшейся в начале октября в Балтиморе, штат Мэриленд.
Линда Мой, доктор медицинских наук, является профессором радиологии в Медицинской школе имени Гроссмана Нью-Йоркского университета, работает в Центре передовых инноваций и исследований в области визуализации Нью-Йоркского университета и Институте последипломных биомедицинских наук Нью-Йоркского университета им. Вилчека . Она является директором отдела МРТ молочной железы (клинической и исследовательской) в Сети здравоохранения Нью-Йоркского университета и одним из руководителей международной группы искусственного интеллекта в пяти медицинских учреждениях Нью-Йоркского университета в Лангоне . Примечательно, что Мой в настоящее время является редактором журнала RSNA Radiology , первой женщиной, назначенной редактором этого ведущего журнала в области медицинской визуализации. Кроме того, Мой является вице-президентом Общества визуализации молочной железы (SBI).
Основы искусственного интеллекта и машинного обучения
Представляя «Основные принципы искусственного интеллекта/машинного обучения в радиологии», Андриол одновременно обучал и поддерживал участников, начиная от новичков в карьере и заканчивая теми, кто в настоящее время использует доступные технологии в своей клинической практике.
Она предложила введение в алгоритмы, предложив участникам роль специалистов по обработке данных в радиологическом отделении больницы. Были представлены следующие сегменты: обзор основных принципов машинного обучения в радиологии; терминология; учебник о том, как это работает на высоком уровне; обсуждение благоприятных факторов и существующих ограничений; и как радиологи могут идти вперед и добиваться результатов. Отрывки предлагаются здесь.
«При определении уровня соответствующей терминологии я слышал, что многие люди используют термины « искусственный интеллект» (ИИ), «машинное обучение» (МО) и «глубокое обучение» как синонимы», — объяснил Андриоле. «Разница есть. Если говорить конкретно о машинном обучении, то это работа с пиксельными данными или самими изображениями», — отметила она. Как правило, сегодня практикующие специалисты проводят так называемое машинное обучение с учителем, когда математическая модель обучается на основе показа ей примеров, где мы знаем ответ, где есть метка (инсульт/нет инсульта, опухоль/нет опухоли и т. д.). ).
Искусственный интеллект — это более широкая область, в которой мы пытаемся заставить машину действовать как человек. Машинное обучение использует статистику или математику, чтобы учиться на опыте, то есть учиться на данных. А глубокое обучение — это лишь часть этого процесса с множеством скрытых слоев. Разница в том, что глубокое обучение, в частности при работе с изображениями, заключается в том, что оно изучает дискриминационные особенности, которые лучше всего предсказывают результат. Есть ли опухоль или нет? Доброкачественное оно или злокачественное? Это отличается от того, к чему вы привыкли с компьютерными системами обнаружения при визуализации молочной железы, которые представляют собой классическое машинное обучение, где обнаруженные особенности были обнаружены человеком. Здесь все зависит от данных. Глубокое обучение — это разновидность машинного обучения, разновидность искусственного интеллекта.
Говоря о машинном обучении, часто основное внимание уделяется использованию сверточной нейронной сети (CNN). Используется сверточная нейронная сеть, в которой вы можете видеть, что выходные данные предыдущего слоя становятся входными данными для следующего шага. Цель состоит в том, чтобы оптимизировать веса, чтобы определить, какая часть переносится на следующий шаг. «Свертка — это математическая операция, которая помогает нам привнести в данные локальные пространственные закономерности», — сказала она, пояснив далее, что они называются нейронными сетями, потому что они взаимосвязаны, как мы думаем, нейроны, не один к одному, а один ко многим. .
Андриол прошёлся по контролируемому набору машинного обучения, чтобы показать, как можно построить модель для обнаружения кровоизлияния или инсульта на КТ головы . «Мы показываем ему обучающий набор, в котором у нас есть данные, помеченные как без признаков инсульта, так и без признаков инсульта, и математическая модель повторяется до тех пор, пока мы не оптимизируем функцию или не минимизируем функцию потерь», — объяснила она. «Что такое функция потерь? Это просто разница между тем, что, по словам модели, происходит, и тем, что является истинным ответом. При этом мы оптимизируем или минимизируем эту функцию потерь, так что, когда мы показываем ей набор изображений или случай, который она никогда не видела при разработке модели, она может предсказать инсульт. Математически мы извлекаем функции из этих данных. Какие особенности? Все виды функций, которые вы, как рентгенолог, изначально ищете при интерпретации изображений, такие как различия в сжатии, размер, форма, границы, симметрия и текстура, что очень важно».
Построение модели включает в себя несколько этапов, а этапы предварительной обработки составляют 60–70% усилий. Первым жизненно важным элементом является разработка клинически значимого вопроса. Определение когорты данных чрезвычайно важно, подчеркнула она, отметив, что если это неверно, модель не будет столь интерпретируемой. Следующим этапом построения модели является сбор, нормализация и аннотирование данных — утомительный процесс. Существуют сложные, сложные данные, структурированные в электронных медицинских картах, неструктурированные данные в радиологических отчетах, данные медицинских изображений, геномные данные, а также данные о здоровье населения. Что касается визуализации, разные поставщики предлагают разные протоколы для проведения сложных исследований. Это может повлиять на модель, поэтому может быть полезно получить выборку различных типов протоколов.
Маркировка наборов данных очень утомительна, поскольку еще не установлен четкий объективный золотой стандарт. После того, как вы выполнили эти шаги предварительной обработки, вы начинаете с этой когорты данных и создаете обучающий набор, на основе которого модель будет разрабатываться и улучшаться. Далее разработчик обучает модель, задавая параметры и гиперпараметры модели. Затем проводится обзор изученного, соединение данных вместе и рассмотрение функций потерь и производительности.
Важные вопросы, которые следует задать: Какой вопрос необходимо решить? Какая когорта данных использовалась для обучения и тестирования модели? В каких случаях это не удается? Какие показатели производительности использовались? Могу ли я посмотреть, распространяется ли это на мои данные? И какая гарантия качества и мониторинг необходимы? «Всегда, всегда, всегда выполняйте критическую проверку кишечника», — подчеркнул Андриоль. Если это не имеет клинического смысла, вы берете на себя управление колесом. Это требует совместной работы врачей, специалистов по обработке данных, радиологов и других специалистов.
«ИИ имеет огромные перспективы для автоматизации не только диагностики, но и для облегчения рабочего процесса на протяжении всей цепочки визуализации. Надеемся, что это поможет получить высококачественную помощь в недостаточно обслуживаемых районах. Для вас это новый инструмент, но это не магия, это математика», — сказала Андриоле.
Как лучше всего оценить ценность ИИ в радиологической практике
Сосредоточившись на практическом применении ИИ в радиологической практике, Мой сосредоточился на ряде фундаментальных вопросов и соображений, которые необходимо задать тем, кто хочет использовать эту технологию.
Она призвала участников задать следующие вопросы: что это за система искусственного интеллекта? Как мне это интегрировать? Сколько это на самом деле стоит? Основной вопрос заключается в том, будет ли это решение ИИ работать в вашей практике. Каковы конкретные случаи использования? Как мы можем гарантировать, что это именно та система ИИ, которая нам нужна? Большинство систем искусственного интеллекта имеют узкую сферу применения, состоящую из одной или двух функций. Затем спросите, какую проблему решает решение ИИ: кто координирует разработку приложения? Она подчеркнула важность проведения оценки рентабельности инвестиций (ROI). Какова будет рентабельность инвестиций? И какие заинтересованные стороны сидели за столом, чтобы рассчитать эти инвестиции? Анализ выгод также даст ответ на ключевой вопрос. То есть кому приложение в первую очередь принесет пользу: нашей миссии или нашим пациентам?
Как только решение принято, вам действительно нужно поработать над собой и задать поставщикам множество вопросов. Дьявол кроется в деталях, особенно когда речь идет о качестве данных… Когда вы устанавливаете стандарт, он должен выходить за рамки опыта рентгенолога, потому что вы хотите, чтобы модель превосходила рентгенологов. Суть в том, что ни один алгоритм машинного обучения не может создать что-то из ничего. Ключевой вопрос заключается в том, подходят ли данные для ответа на основной вопрос.
«Нам необходимо протестировать систему ИИ на данных, которых она раньше не видела», — сказал Мой. «Небольшие наборы данных могут привести к неправильной оценке точности численности населения».
Она подчеркнула необходимость протестировать систему ИИ на данных, которые она уже видела раньше. Подавляющее большинство статей, принятых в радиологию в этом году, содержали один или несколько внешних наборов данных. Вы должны понимать, что вы создаете набор данных, и для его пилотного исследования и тестирования требуются значительные обязательства и усилия.
Говоря о совместимости, Мой обратил внимание на ключевой вопрос: доверяете ли вы ей? Она отметила: «Это важно, потому что научное сообщество, коллеги и пациенты должны доверять модели. Многие системы искусственного интеллекта представляют собой интерпретируемые черные ящики. Это вводит понятие предвзятости. Поскольку у нас есть концепция предвзятости, вы вносите предвзятость, потому что данные собирают небольшой, единый центр или даже один поставщик. Мы хотим, чтобы системы искусственного интеллекта распространялись на гетерогенные группы пациентов. Чтобы смягчить предвзятость ИИ, нам действительно нужны огромные и разнообразные наборы данных. Поэтому я бы сказал, что наше мышление должно строить доверие, сохраняя при этом скептицизм».
Подчеркивая важные соображения, которые следует учитывать командам радиологов, Мой также представил концепцию предвзятости автоматизации, при которой рентгенологи могут чрезмерно полагаться на решения искусственного интеллекта, предлагая следующее понимание: «Итак, во-первых, сейчас наблюдается нехватка показателей безопасности и рентгенологи могут использовать неподходящую систему. Это происходит чрезвычайно быстро».
Мой представил ряд исследований и статей, одна из которых показала, что более неопытные рентгенологи с большей вероятностью доверяют системе искусственного интеллекта. Есть два типа ошибок автоматизации, которые, по ее словам, возникают из-за неисправности алгоритма и либо не наблюдаются, либо просто игнорируются. Решения ИИ основаны на особенностях, невидимых для человеческого глаза. Остальные — ошибки комиссии, основанные на ошибочном принятии машинного решения. Она отметила, что это происходило на первых поколениях систем автоматизированного обнаружения.
Интеграция систем искусственного интеллекта в практику: оценка влияния на эффективность и инфраструктуру
Далее Мой рассказал об интеграции систем искусственного интеллекта в практику. Она рекомендует это сделать перед подписанием контракта: «Вы должны задать себе этот лакмусовый вопрос: является ли эта система «приятным иметь» или «необходимой» системой? Это потому, что бытует мнение, что ваша практика будет некачественной, если у вас не будет ИИ? В настоящее время большинство практик этого не делают, но эти ответы важно иметь в виду. В настоящее время существует множество инструментов, но реальность такова, что если вы решите приобрести инструмент ИИ, то он должен быть предназначен исключительно для решения проблем, с которыми вы сталкиваетесь в своей практике».
Подкрепляя свою рекомендацию одним из примеров использования, она спросила, сможет ли система искусственного интеллекта обнаружить на рентгенограмме грудной клетки нечто большее, чем просто пневмонию. Она сказала: «Помимо обнаружения поражений, какие еще навороты может выполнить система для вас? Самое главное: соответствует ли решение целям предприятия вашей больницы? Потенциал ИИ заключается в том, что он может повысить эффективность практики за счет сокращения затрат как на этапе разработки, так и на этапе переработки. На нижнем уровне это помогает рентгенологам, и кажется, что на верхнем уровне сегодня проявляется наибольшая эффективность… рекомендуется провести локальную оценку, чтобы показать, что система искусственного интеллекта будет работать в практике, и что рентгенологи просят у поставщиков бесплатную пробная версия и возможность без каких-либо обязательств протестировать продукт ИИ. Все это помогает определить, увеличит или отвлечет практика ИИ вашу рабочую нагрузку».
Мой далее призвал тех, кто рассматривает возможность создания таких систем, сосредоточиться на ключевых вопросах, призвав участников сессии приступить к полному пониманию, отметив: «Каковы требования к ИТ-инфраструктуре? Как ИИ повлияет на вашу рабочую нагрузку? Совместима ли система с существующей конструкцией вашей системы? В противном случае экономия времени может оказаться неосуществимой. При первом рассмотрении вопроса о покупке системы искусственного интеллекта свяжитесь с ИТ-отделом как можно раньше, чтобы убедиться, что вы используете их опыт в будущем».
Важность ценностного предложения
Мой подчеркнул важные факторы, которые следует учитывать при принятии решения о том, где, как и какая модель ИИ лучше всего вписывается в будущую радиологическую практику. Она добавила: «Ценностное предложение является ключевым моментом. Сейчас много ажиотажа. Задавать вопросы поставщикам, чтобы убедиться в том, что действительно возможно, а не в рекламе. Это действительно возможно? Действительно ли решение ИИ окупит себя? Крайне важно оценить затраты, которые повлекут за собой такие инструменты, и реалистично определить, будет ли модель лучше всего вписываться в нашу практику в будущем».
Другая сложная проблема — это измерение новой эффективности, особенно если это не больший объем или сокращение времени интерпретации, а то, что вы ожидали. «Я также думаю, что это сложно, потому что сейчас это мягкие меры… Как измерить снижение выгорания среди рентгенологов или как оценить, есть ли страх, что они уйдут? Поэтому это важно, но трудно измерить», — подчеркнула она.
В заключение Мой сделал заключительное замечание: «Как только практика решает сделать решительный шаг, после испытательного периода возникает проблема интеграции системы, которая занимает месяцы. В контракте предусмотрены прямые затраты, но есть и скрытые затраты, поскольку обучение рентгенологов может занять много времени. Существуют затраты на мониторинг решения искусственного интеллекта, обновлений и других важных компонентов, которые журнал RSNA Radiology опубликовал в нескольких статьях».