Дополненная реальность постепенно проходит Пропасть разочарования, последовавшую за плохими потребительскими реализациями технологии на ранних этапах развития. Это нормально, с подобной проблемой так или иначе сталкивается практически любая технология — так было со смартфонами, принтерами, графическими интерфейсами, персональными компьютерами, планшетами; так будет с часами, очками, линзами, электронными имплантатами и многими другими вещами.
Протекающая сегодня стадия — время для того, чтобы производители определились со своим потребителем, выявив первичные рынки и маркетинговые модели. Мы не раз слышали, что дополненную реальность следует коммерциализировать на трёх столпах, имя которым «образование», «промышленность» и «здравоохранение». Ещё вернее объединить два из трёх направлений — например, образовательные и медицинские технологии. Этим путём пошли специалисты Самарского государственного медицинского университета, разработавшие AR-систему «Автоплан». Они любезно согласились ответить на вопросы Голографики, но сначала небольшой абзац с историей.
В январе 2014 года в рамках государственной программы «Развитие фармацевтической и медицинской промышленности Российской Федерации на период до 2020 года и дальнейшую перспективу» Министерством промышленности и торговли РФ был объявлен конкурс, дано техническое задание — свободное, ни к чему не обязывающее. На его основе разработчики СамГМУ создали подробный проект, с которым стали победителями конкурса по федеральной целевой программе. Он получил название «Разработка технологии и организация производства систем автоматизированного планирования, управления и контроля результатов хирургического лечения». Здесь начинается «Автоплан».
Что такое «Автоплан» и для чего он нужен?
«Автоплан» — система планирования и контроля операции. Она представляет собой многофункциональный комплекс, позволяющий на основе предоперационных исследований МРТ и КТ планировать проведение хирургических операций с помощью построения 3D-модели внутренних органов и тканей.
Этапы следующие. Перед операцией пациенты проходят стандартную процедуру компьютерной томографии. На основе этих данных врачи готовятся к операции. «Автоплан» помогает планировать хирургическое вмешательство путем построения индивидуальной анатомической модели внутренних органов и тканей пациента. Визуализируются как патологические образования, так и здоровые органы. Система универсальна и работает не только на всех популярных платформах (Windows, OS X, Linux), но и с данными томографов любого производителя.
Далее с 3D-моделью работает хирург, намечая план действий. Полученные сведения позволяют приступить к операции с лучшим пониманием положения новообразования относительно других органов и объёма хирургического вмешательства. Высокая точность модели даёт возможность использовать её в навигации с дополненной реальностью. Наложение модели происходит с погрешностью не более 5 миллиметров.
«Автоплан» позволяет детализировать структуры органа и, в свою очередь, более детально планировать направление диссекции (разрезов). В первой версии разработчики сфокусировались на четырёх направлениях, в которых можно применить систему – торакальной хирургии, абдоминальной хирургии, кардиологии и операциях на печени.
В торакальной хирургии систему используют при политравмах, опухолях в лёгких для определения положения новообразования и расчёта кратчайшего пути для его пункции. Система определяет и визуализирует места инвазии при опухоли забрюшинного пространства. В кардиологии — визуализирует протекание в местах образования тромбов. В абдоминальной хирургии «Автоплан» строит дерево сосудов и делит печень на сегменты, что способствует правильному принятию решения при резекции. Всё это снижает риск кровотечения, обеспечивает максимальную безопасность и эффективность проведения сложных хирургических вмешательств с минимальными повреждениями тканей пациента.
То есть, «Автоплан» сокращает число ошибок и сроки операции.
На основе каких решений создан Автоплан? Особенно интересуют очки, стереокамеры и их взаимодействие с медицинским оборудованием.
В состав «Автоплана» входят как аппаратная, так и программная часть. Программная базируется на нескольких библиотеках с открытым исходным кодом (cgal, vmtk, itk, boost). Алгоритмы по построению сегментаций органов разработаны и написаны командой СамГМУ.
Аппаратная часть состоит из комплекса стереокамер, активных маркеров, пульта управления и очков дополненной реальности. В первых двух макетах стереокамеры использовалась пара web-камер от Logitech. Их мы упаковали в свой корпус, модифицировали фильтр, чтобы они воспринимали излучение только в ИК-спектре. На данный момент за базу взяты камеры Bumblebee XB3 с ИК-линзами в собственном корпусе.
Активный маркер разработан полностью нами. У нас не серийное производство, а штучное, поэтому корпус печатается на 3D-принтере. Активный маркер есть двух типов — с беспроводным интерфейсом и с проводным. В беспроводном установлены батарейки, которые питают 4 светодиода. Светодиоды излучают в инфракрасном спектре. Маркер имеет уникальную геометрическую структуру, которая распознаётся системой.
Специальный инструмент с активным маркером используется для регистрации операционного поля. По опорным точкам впоследствии происходит наложение виртуальной модели. Второй маркер крепится к оголовью с очками дополненной реальности для отслеживания положения головы хирурга. Для точного и быстрого распознавания маркеров на видеопотоке используется мощное железо: Intel Core i7 + 16 ГБ RAM + 256 ГБ на SSD + соответствующая графика Nvidia.
С медицинским оборудованием всё описанное никак не взаимодействует. Это отдельная система, которая привносит дополнительные удобства в операционную.
Трудно ли пройти сертификацию такого комплекса для внедрения в реальное здравоохранение?
Сертификацию пройти трудно. Это отнимает не менее полугода и около миллиона рублей.
Встретились ли вы со значительными ограничениями в работе с современной дополненной реальностью?
В первую очередь встретились с ограниченным функционалом очков, существующих на рынке. Батарейка очень маленькая, очки тяжёлые, быстро и сильно греются. Другие очень громоздкие с толстыми линзами. В общем, всё, что можно представить у рядового пользователя дома и невозможно представить в операционной.
Камеры, установленные в существующие коммерческие продукты, такие как Google Glass и Epson Moverio, очень низкого разрешения, и, чтобы детектировать маркер, надо подносить его к очкам на расстояние 30 см, а во время операции постоянно так наклоняться не реально. Если нужна более подробная информация, то можно целую статью написать. Сейчас у нас детектирование положения пациента и наложение модели идёт не на маркер, а по опорным точкам. Это намного сложнее, но и намного удобнее. Один раз врач расставляет специальным маркированным инструментом эти точки, и затем система отслеживает передвижение как органа, так и врача.
Просмотр трёхмерных моделей — даже в виртуальной или дополненной реальности — вполне доступен некоторым потребителям, в том числе через обычные браузеры. Вы планируете предоставлять доступ к частям комплекса простым пациентам?
Доступ к частям комплекса для пациентов предоставлен не будет. Это только для врачей.
Проект реализуется в рамках финансирования Минпромторга России. Какие требования предъявило министерство и что дало взамен? При очевидном плюсе в виде денег, каковы минусы сотрудничества с госпрограммой?
Минусов нет. Кроме хорошего финансирования нам предоставили отличную экспертизу на защите этапов и площадку для общения со специалистами медицинской и технической сфер. Минпромторг приглашает на все выставки и форумы, которые проводит. Предлагает публиковать статьи в разных журналах, а также всячески поддерживает проект после получения гранта.
Требования по отчётной документации серьёзные, но не сильно бюрократизированные. То есть сдача отчётной документации не является основной задачей на протяжении всего проекта. Также нам показали производителей некоторых составных частей системы, о которых мы на российском рынке до этого никогда не слышали. Это дало возможность заказывать некоторые детали у российских, а не зарубежных компаний.
Голографика выражает благодарность за организацию интервью Анастасии Носенковой.
Далее: Реальная опасность дополненной реальности
