Сергей Андреевич Милантьев, аспирант
197101; Санкт-Петербург
sc 57225127274
Sergey A. Milantev, PhD Student
197101; Saint Petersburg
sc 57225127274
Полина Дмитриевна Михайлова, магистр
197022; Санкт-Петербург
Polina D. Mikhailova, Magister
197022; Saint Petersburg
Игорь Александрович Бессмертный, доктор технических наук, профессор, профессор
197101; Санкт-Петербург
sc 36661767800
Igor A. Bessmertny, D.Sc., Full Professor
197101; Saint Petersburg
sc 36661767800
Введение. Выявление аномалий в условиях ограниченного объема данных представляет собой актуальную задачу в различных прикладных областях, включая медицинскую диагностику. Методы машинного обучения обычно требуют наличия образцов аномалий для их выявления, что не всегда возможно. Существующие методы выявления аномалий при малом количестве (few-shot) или полном отсутствии (zero-shot) обучающих данных об аномалиях имеют ряд ограничений. Существующее требование нормального распределения данных снижает точность распознавания аномалий.
Метод. В представленной работе задача повышения точности и полноты выявления ранее не встречавшихся на изображениях аномалий решается путем комбинирования моделей Contrastive Language-Image Pretraining (CLIP) и доменно-ориентированного трансформера BERT Pre-Training of Image Transformers (BeiT). Модели CLIP и BeiT позволяют одновременно решать задачи бинарной сегментации и классификации аномалий. Более точное выявление аномалий достигается использованием взвешенных эмбеддингов от каждого модуля. Одновременно автоматизируется генерация текстовых представлений на основе Large Language Model, что существенно улучшает обобщающую способность модели.
Основные результаты. Оценка эффективности разработанных моделей выполнена на тестовой выборке Benchmarks for Medical Anomaly Detection). Для домена кожных новообразований тестовая выборка сформирована из датасетов ISIC-18, ISIC-19, SD-198 и 7-point criteria database. Разработанный метод продемонстрировал в среднем увеличение метрики ROC AUC (при классификации, на уровне image-level) на 10,95 %, а метрики ROC AUC (при сегментации, на уровне pixel-level) — на 0,66 % по сравнению с известными решениями.
Обсуждение. Проведенные эксперименты показали высокую эффективность предложенного подхода на задачах классификации и сегментации аномалий, метод продемонстрировал превосходящие результаты по средним значениям метрик. Анализ инференса показал, что использование вариационного автоэнкодера в составе CLIP+BeiT для генерации центроидов способствует более стабильной работе модели в few-shot подходе.
Практическая значимость предложенного метода заключается в его адаптивности и устойчивости к изменяющимся распределениям данных, что делает его перспективным решением для автоматизированного анализа аномалий в медицинской диагностике, промышленном контроле и других областях, где может наблюдаться высокая неопределенность данных.
Anomaly detection under conditions of limited data volume represents a pressing challenge across numerous applied domains, including medical diagnostics. Machine learning methods typically rely on the availability of annotated anomalous samples for training, which is often impractical. Existing anomaly detection techniques designed for few-shot or zero-shot scenarios suffer from various limitations. In particular, the common assumption of normally distributed data reduces the accuracy of anomaly classification. In this study, the task of improving the accuracy and completeness of anomaly detection in previously unseen images by leveraging a combination of the Contrastive Language-Image Pretraining (CLIP) and the domain-specific transformer BERT Pre-Training of Image Transformers (BeiT) models. The integration of CLIP and BeiT models enables simultaneous binary segmentation and anomaly classification. Enhanced anomaly detection is achieved through the use of weighted embeddings from each module. Additionally, the automated generation of textual representations based on a Large Language Model significantly enhances the generalization capacity of the system. The performance of the proposed models was evaluated on the Benchmarks for Medical Anomaly Detection test set. For the dermatological domain, a test set was constructed from ISIC-18, ISIC-19, SD-198, and 7-point criteria database. The proposed method demonstrated an average improvement in the ROC-AUC metric by 10.95 % at the image-level and by 0.66 % at the pixel-level compared to existing state-of-the-art solutions. Experimental results confirm the high effectiveness of the proposed approach in anomaly classification and segmentation tasks, showing superior average metric values. Inference analysis revealed that the incorporation of a variational autoencoder within the CLIP+BeiT architecture for centroid generation enhances the model stability in few-shot scenarios. The practical significance of the proposed method lies in its adaptability and robustness to changing data distributions, making it a promising solution for automated anomaly analysis in medical diagnostics, industrial monitoring, and other domains characterized by high data uncertainty.
The authors declare that there are no conflicts of interest present.