Якість сегментації 3d-зображень медичних знімків поліпшили за допомогою нейромережі

71

Дослідники сколтеха під керівництвом професора дмитра дилова та їх колеги з першого санкт-петербурзького державного медичного університету імені академіка і.п. Павлова розробили принципово новий підхід до задачі сегментації тривимірних зображень — визначення контурів складових частин складної структури. Колектив продемонстрував ефективність “сегментації негативного обсягу” на знімках щелепного суглоба, але метод застосуємо до самих різних об’єктів, в тому числі в будівництві і дизайні механічних деталей. Дослідження опубліковано в nature scientific reports.

” це дослідження дозволяє по-новому поглянути на стомлюючу задачу сегментації тривимірних зображень, яка часто зустрічається в медичній діагностиці, машинобудуванні та інших областях, — зазначає керівник дослідження дмитро ділов. – все почалося з того, що ми подумали: а що якщо замість того, щоб визначати точні контури 3d-об’єкта, сегментувати обсяг порожнин між його частинами? ці порожнини ідеально доповнюють шуканий звичними методами обсяг, як замкова щілина — ключ. Для перевірки цього підходу ми взяли найскладніший 3d-об’єкт, який змогли знайти».

Скронево-нижньощелепний суглоб, або снщс, розташований з обох сторін голови, спереду від вух, де два вертикальних виступу нижньої щелепи заходять в гнізда на скроневих кістках черепа (рисунок 1). Між кістками суглоба знаходиться м’який хрящової диск, який служить амортизатором. Оскільки снщс-парний суглоб, в якому до того ж поєднуються шарніроподібні і ковзаючі рухи, він є дуже складною системою, яку вкрай важко картувати в 3d.

Для того щоб розібратися в знімках комп’ютерної томографії снщс, досвідчені лікарі витрачають години і задіють спеціалізоване програмне забезпечення, в якому створюють 3d-модель суглоба. В ході цієї стомлюючої роботи вони вручну сегментують зображення, визначаючи точні контури кожної з двох кісток.

Малюнок 1. Розташування скронево-нижньощелепного суглоба. Скронева кістка і нижня щелепа окреслені зеленим і зеленим кольором відповідно. Зображення: олег рогов / сколтех

Як тільки отримана правильно сегментована 3d-модель суглоба, стоматолог, лицьовий хірург або інший лікар можуть запропонувати пацієнту способи лікування захворювань, пов’язаних з снщс. Такі можуть виникати в результаті ерозії суглоба, стискування зубів, артриту, травми або вродженої деформації щелепи. Симптоми-біль в суглобі і навіть на відстані від нього (в області шиї, вух, обличчя), а також труднощі при прийомі їжі і говорінні через зниження рухливості снщс. Існує навіть гіпотеза, що стан снщс може впливати на ходу і психологічний стан людини. Хоча порушення в цьому суглобі, як правило, піддаються лікуванню, вони складні в діагностиці, багато в чому саме через складність сегментації.

В якості демонстрації можливостей сегментації негативного обсягу наукова група з сколтеха, яка розробила цей підхід, зуміла повністю автоматизувати трудомістке завдання сегментації комп’ютерних томограм снщс. Завдяки глибокому навчанню, новій системі потрібно всього кілька секунд для обробки зображень, на інтерпретацію яких досвідченому лікарю знадобилося б не менше години, перш ніж можна буде витягти корисну пацієнтові інформацію.

” наші колеги з університету павлова розробили протокол для сегментації зображень снщс в 3d вручну. Раніше це робилося в 2d і займало ще більше часу. Ми використовуємо їх протокол і впроваджуємо новий підхід, який застосуємо до розмітки і людиною [рисунок 2], і машиною. Акцент зміщується з сегментування кісток, контури яких важко окреслити, на сегментування порожнин між ними. Звідси і назва: сегментація негативного обсягу”, – прокоментував один з авторів дослідження, олег рогов, науковий співробітник і головний розробник сколтеха.

малюнок 2. Етапи ручного розпізнавання скронево-нижньощелепного суглоба з використанням методу негативного обсягу, який також лежить в основі автоматизованої процедури, запропонованої авторами дослідження. Розпізнавання вручну займає близько години і вимагає відтворення масок навколо складних структур нижньої щелепи і скроневої кістки в трьох проекціях — сагітальній, корональної і аксіальної — для кожного зрізу цікавить обсягу, поки отримана 3d-реконструкція не дозволить відняти «куля» негативного обсягу з введеної вручну сфери. Зображення: христина бєлікова та ін. / scientific reports

Використовуючи близько 5 тис. Зображень, наданих колегами з університету павлова (кт 50 пацієнтів), дослідники сколтеха навчили нейронну мережу 3d-сегментування снщс настільки добре, що тепер при використанні машини вона виконує роботу не тільки значно швидше, але і якісніше, ніж медики. Це робить її відмінним діагностичним інструментом, який економить час і позбавляє від необхідності вкладатися в навчання персоналу і дороге програмне забезпечення для 3d-візуалізації.

Нейронна мережа визначає місце розташування скроневої кістки і нижньої щелепи і приступає до реконструкції тривимірного обсягу між ними на основі кт-зрізів снщс (рисунок 3). Для цього вона поступово збільшує обсяг нижньої щелепи, поки він не займе весь вільний простір в порожнині суглоба.

Відповідно до заявки на патент, поданої командою, нова модель застосовна для діагностики пошкоджень і дефектів в контексті, що виходить далеко за рамки дослідження снщс і взагалі медицини. Новий метод буде працювати як з іншими суглобами, наприклад колінним, так і з штучними структурами в машинобудуванні, наприклад поршнями і циліндрами в двигуні.