СЕГМЕНТАЦИЯ МУЛЬТИФАЗНЫХ КТ-ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ АНСАМБЛЯ МОДЕЛЕЙ RESUNET

Александр Валерьевич Черемискин; Ирина Леонидовна Каширина

doi:10.17308/sait/1995-5499/2025/3/140-152

Александр Валерьевич Черемискин Воронежский государственный университет https://orcid.org/0009-0000-4402-5101
Ирина Леонидовна Каширина Воронежский государственный университет, Российский технологический университет МИРЭА https://orcid.org/0000-0002-8664-9817

DOI: https://doi.org/10.17308/sait/1995-5499/2025/3/140-152

Ключевые слова: сегментация, ResUNet, Vision Transformer, ансамбли моделей, компьютерная томография, фазы контрастирования, медицинские изображения

Аннотация

Автоматизированная сегментация анатомических структур на мультифазных изображениях, полученных при помощи компьютерной томографии (КТ), является важной задачей для успешной клинической диагностики. Особенно это актуально для раннего выявления и точной локализации опухолей, что позволяет своевременно начать лечение и улучшить перспективы выздоровления пациентов. Актуальность исследований в данной области обусловлена сложностями, возникающими вследствие высокой степени вариативности структур на различных фазах контрастирования. Прямое объединение каналов может привести к избыточной сложности модели и значительным вычислительным затратам, а стандартные методы ансамблирования зачастую игнорируют неочевидные пространственные взаимосвязи между фазами контрастирования. Таким образом, научная новизна заключается в разработке нового подхода к ансамблированию на основе Vision Transformer (ViT), способного учитывать контекстную информацию. Предложенный метод интегрирует предсказания ResUNet моделей, обученных на различных фазах контрастирования. В ходе исследования были получены следующие результаты: лучшие отдельные модели ResUNet достигали метрики Dice = 0.64. Простое усреднение предсказаний дало лишь небольшое улучшение до Dice = 0.66. В свою очередь предложенный подход к ансамблированию с использованием ViT показал значительно более высокие результаты — Dice = 0.80. Полученные результаты подтверждают эффективность применения трансформеров для ансамблирования моделей, а также демонстрируют их способность учитывать глобальный контекст. Хотя тестирование метода осуществлялось на наборе данных с гепатоцеллюлярной карциномой печени, предложенная архитектура ансамблирования может быть применена в других областях, требующих интеллектуального слияния выходов моделей.

Скачивания

Данные скачивания пока не доступны.

Биографии авторов

Александр Валерьевич Черемискин, Воронежский государственный университет

аспирант 1-го года обучения кафедры математических методов исследования операций

Ирина Леонидовна Каширина, Воронежский государственный университет, Российский технологический университет МИРЭА

д-р техн. наук, проф., профессор кафедры технологий искусственного интеллекта РТУ МИРЭА; профессор кафедры математических методов исследования операций Воронежского государственного университета

Литература

Ronneberger O. U-Net: Convolutional Networks for Biomedical Image Segmentation / O. Ronneberger, P. Fischer, T. Brox // Medical Image Computing and Computer-Assisted In-tervention – MICCAI 2015. – Cham : Springer, 2015. – Vol. 9351 (Lecture Notes in Computer Science). – P. 234–241. – DOI: 10.1007/978-3319-24574-4_28

Zhang Z. Road Extraction by Deep Residual U-Net / Z. Zhang, Q. Liu, Y. Wang // IEEE Geo-science and Remote Sensing Letters. – 2018. – Т. 15, № 5. – P. 749–753. – DOI: 10.1109/ LGRS.2018.2802944

Куликов А. А. Сегментация объемных образований печени на мультифазных КТ- изображениях с использованием фреймворка nnU-Net / А. А. Куликов, И. Л. Каширина, Е. Ф. Савкина // Моделирование, оптимизация и информационные технологии. – 2025. – Т. 13, № 1. – DOI: 10.26102/23106018/2025.48.1.040.

Multi-target and multi-stage liver lesion segmentation and detection in multi-phase computed tomography scans [Электронный ресурс] / A. F. Al-Battal [и др.]. – 2024. – Режим доступа: https://arxiv.org/abs/2404.11152. – DOI: 10.48550/arXiv.2404.11152. (Дата обращения: 19.06.2025).

Medical image segmentation based on multi-modal convolutional neural network: Study on image fusion schemes / Z. Guo [et al.] // 2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018). – New York: IEEE, 2018. – С. 903–907. – DOI: 10.1109/ISBI.2018.8363717.

Four-phase CT lesion recognition based on multi-phase information fusion framework and spatiotemporal prediction module / S. Qiao [et al.] // BioMedical Engineering OnLine. – 2024. – Т. 23, 103. – DOI: 10.1186/s12938-024-01297-x.

Two-layer Ensemble of Deep Lear ning Models for Medical Image Segmentation / T. Dang [et al.] // Cogn Comput. – 2024. – Т. 16. – P. 1141–1160. – DOI: 10.1007/s12559024-10257-5.

Khoong W. H. BUSU-Net: An Ensemble U-Net Framework for Medical Image Segmentation [Электронный ресурс] / W. H. Khoong. – 2020. – Режим доступа: https://arxiv.org/ abs/2003.01581. – DOI: 10.48550/arXiv.2003.01581. (Дата обращения: 19.06.2025).

UNETR: Transformers for 3D Medical Image Segmentation / A. Hatamizadeh [и др.] // 2022 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). – Waikoloa : IEEE, 2022. – P. 1748–1758. – DOI: 10.1109/ WACV51458.2022.00181.

WAW-TACE: A Hepatocellular Carcinoma Multiphase CT Dataset with Segmentations, Radiomics Features, and Clinical Data / K. Bartnik [et al.] // Radiology: Artificial Intelligence. – 2024. – Т. 6, № 6, ст. e240296. – DOI: 10.1148/ ryai.240296.

TotalSegmentator: Robust Segmentation of 104 Anatomic Structures in CT Images / J. Wasserthal [и др.] // Radiology: Artificial Intelligence. – 2023. – Т. 5, № 5, ст. e230024. – DOI: 10.1148/ryai.230024.

Salehi S. S. M. Tversky Loss Function for Image Segmentation Using 3D Fully Convolutional Deep Networks / S. S. M. Salehi, D. Erdogmus, A. Gholipour // Machine Learning in Medical Imaging / под ред. Q. Wang [и др.]. – Cham : Springer International Publishing, 2017. – P. 379387. – DOI: 10.1007/978-3-319-67389-9_44.

The Medical Segmentation Decathlon / M. Antonelli [et al.] // Nature Communications. – 2022. – Т. 13, ст. 4128. – DOI: 10.1038/ s41467-022-30695-9.

Современные методы оптимизации и особенности их применения / С. М. Бекетов, Д. А. Зубкова, А. М. Гинцяк [и др.] // Российский технологический журнал. – 2025. – Т. 13, № 4. – С. 78–94. – DOI 10.32362/2500-316X2025-13-4-78-94.