Лента новостей → Белорусские хирурги уже проводят операции с AR-очками! Технология — тоже наша.
Неожиданность года: оказывается, в Беларуси проводят операции с использованием шлемов смешанной реальности. То есть хирург натурально надевает на голову дорогущий Microsoft HoloLens и «видит сквозь кожу» сломанную кость внутри тела пациента. Это помогает нанести разметку и спланировать операцию. Согласитесь, звучит фантастично — особенно если вспомнить, что еще недавно в кабинетах УЗИ могли буркнуть «со своими надо приходить» в ответ на просьбу дать салфетку. Onliner встретился с соучредителем стартапа voka.io Павлом Орловым и узнал, как смешанная реальность пришла в белорусскую медицину.
Как это работает
— Идея такая: человека с, например, переломом ноги отправляют на компьютерную томографию, и потом эти данные превращаются в трехмерную модель, которая адаптирована для HoloLens. Все правильно?
— В общем, да. Есть набор «дайкомов» (DICOM), это медицинские данные, из которых наши специалисты делают 3D-модель, совместимую по формату с технологиями смешанной/дополненной реальности. Полученную 3D-модель, а иногда модель и рентгеновские снимки перелома пациента мы загружаем в HoloLens. Врач может руками вращать ее без необходимости что-то трогать на, допустим, сломанной ноге.
Решение сейчас используется на этапе предоперационного планирования. Пациент только поступил, у него опухшая нога. Такую конечность очень сложно прощупать, к тому же перелом со смещением — само по себе болезненно. Но врачу нужно ощупать ногу, составить план операции, определить типы доступа (места разрезов во время операции), подобрать пластины, которые будут имплантироваться пациенту.
Потом, когда пациент уже на операционном столе, хирургу нужно минимизировать количество и размеры разрезов мягкий тканей. То есть, например, делать не полостной разрез, а точечно, в нескольких местах небольшие разрезы. Это возможно, потому как хирург видит, где обломки и смещения кости. Нужно, условно, протолкать пластину и закрепить ее штифтами на кости.
— «Специалисты делают 3D-модель» — получается, это происходит не автоматически?
— Пока в мире нет средств, которые бы преобразовали облако вокселей в 3D-модель нужного для нашей задачи качества. Есть полуавтоматизированные способы, софта много. Но мы увидели, что автоматизированные инструменты могут убирать мелкие обломки, а они важны.
— Как при оскольчатых переломах?
— Да, там часто разрывы: кость перебита, смещена. При автоматическом моделировании обломки определенным образом убираются, неправильно рисуются границы. Другая проблема: HoloLens — мобильное устройство, и у него довольно серьезные ограничения по производительности. Это значит, что если создать модель кости автоматизированным способом, то кость с ее пористой структурой будет содержать несколько сотен тысяч полигонов. Они не нужны хирургу для работы, а модель при этом становится очень тяжелой.