Применение технологий нейронных сетей и компьютерного зрения для анализа изображений кожных новообразований

Предмет исследования. Исследована возможность применения нейронных сетей и компьютерного зрения для анализа изображений кожных новообразований и выявления признаков развития различных патологий, в том числе онкологических. Разработана методика оценки значимости комбинаций цветовых каналов и пространств с применением технологий компьютерного зрения, а именно, методов локальных бинарных шаблонов и гистограмм ориентированных градиентов для извлечения признаков кожных изменений и бинарной классификации новообразований кожи человека. Оптимизация комбинаций признаков позволит более эффективно решать проблему разделимости данных при классификации. Показана возможность исследования кожных новообразований при использовании набора данных малого объема (менее 1000 изображений). Предложено применение методики к данным, получаемым с помощью нового уникального метода многоспектральной обработки кожных новообразований.

Метод. Использованы изображения из наборов данных ISIC-19 и ISIC-20. Для тренировки и валидации моделей сформированы выборки с ограничением в 1000 изображений, а также дополнительная тестовая выборка из 250 изображений. Все изображения приведены к единому размеру 128 × 128 пикселов и преобразованы в цветовые пространства YCrCb, BGR, Grayscale, HSV. По каждому цветовому каналу извлечены признаки с помощью методов локальных бинарных шаблонов и гистограмм ориентированных градиентов. Для классификации данных применен ряд математических моделей, в том числе нейронные сети. Выполнена оценка эффективности комбинаций объединения признаков по цветовым каналам и методам их извлечения. Предобработанные изображения разделены на тренировочную и валидационную подвыборки в соотношении 70/30 %. Проведена оценка моделей с помощью метрик Accuracy, Recall, Precision и F1-score на стратифицированной кросс-валидации и тестовой выборке. Оптимизация параметров моделей осуществлена на основе функции потерь, представленной усредненным значением по кросс-валидации и оценке на валидационной выборке.

Основные результаты. В процессе исследований выполнено более 15 000 оптимизаций параметров моделей. Наиболее устойчивые результаты на валидационном наборе данных достигнуты при ансамблировании моделей, обученных на комбинации признаков с применением методов локальных бинарных шаблонов и гистограмм ориентированных градиентов. Показано, что модели с использованием только метода локальных бинарных шаблонов имеют лучшие значения метрик, применение их не рекомендуется на практике без ансамблирования с более сильными моделями.

Практическая значимость. Полученные результаты могут найти применение при использовании ансамбля из state-of-the-art сверточных и рекуррентных нейронных сетей. Предложенный подход является универсальным и применим как для анализа отдельных изображений кожных новообразований, так и для анализа их последовательностей, полученных по методу многоспектральной обработки изображений. Методику можно использовать на наборах данных с ограниченным их количеством. Полученные результаты будут полезны специалистам в областях компьютерного зрения и анализа медицинских снимков.

1. Зайченко К.В., Гуревич Б.С. Многоспектральная обработка изображений биологических объектов с помощью акустооптических устройств // Биомедицинская радиоэлектроника. 2013. № 9. С. 70–76.

2. Zaichenko K.V., Gurevich B.S. Application of acousto-optic tunable filters in the devices of skin cancer diagnostics // Proceedings of SPIE. 2020. V. 11585. P. 11585OK. https://doi.org/10.1117/12.2581750

3. Zaichenko K.V., Gurevich B.S. Spectral selection using acousto-optic tunable filters for the skin lesions diagnostics // Proceedings of SPIE. 2021. V. 11922. P. 119221C. https://doi.org/10.1117/12.2615808

4. Zaichenko K.V., Gurevich B.S. Skin lesions diagnostics by means of multispectral acousto-optic image processing with complexing by x-ray image data // AIP Conference Proceedings. 2020. V. 2250. P. 020033. https://doi.org/10.1063/5.0013186

5. Tschandl P., Rosendahl C., Kittler H. The HAM10000 dataset, a large collection of multi-source dermatoscopic images of common pigmented skin lesions // Scientific Data. 2018. V. 5. P. 180161. https://doi.org/10.1038/sdata.2018.161

6. Codella N.C.F., Gutman D., Celebi M.E., Helba B., Marchetti M.A., Dusza S.W., Kalloo A., Liopyris K., Mishra N., Kittler H., Halpern A. Skin lesion analysis toward melanoma detection: A challenge at the 2017 International symposium on biomedical imaging (ISBI), hosted by the international skin imaging collaboration (ISIC) // Proc. of the 15th IEEE International Symposium on Biomedical Imaging (ISBI). 2018. Р. 168–172. https://doi.org/10.1109/ISBI.2018.8363547

7. Combalia M., Codella N.C.F., Rotemberg V., Helba B., Vilaplana V., Reiter O., Carrera C., Barreiro A., Halpern A.C., Puig S., Malvehyet J. BCN20000: Dermoscopic lesions in the wild // arXiv. 2019. arXiv:1908.02288. https://doi.org/10.48550/arXiv.1908.02288

8. Rotemberg V., Kurtansky N., Betz-Stablein B., Caffery L., Chousakos E., Codella N., Combalia M., Dusza S., Guitera P., Gutman D., Halpern A., Helba B., Kittler H., Kose K., Langer S., Lioprys K., Malvehy J., Musthaq S., Nanda J., Reiter O., Shih G., Stratigos A., Tschandl P., Weber J., Soyer H.P. A patient-centric dataset of images and metadata for identifying melanomas using clinical context // Scientific Data. 2021. V. 8. N 1. P. 34. https://doi.org/10.1038/s41597-021-00815-z

9. Finlayson G., Trezzi E. Shades of gray and colour constancy // Proc. of the IST/SID 12th Color Imaging Conference. 2004. Р. 37–41.

10. Kumar D.M., Babaie M., Zhu S., Kalra S., Tizhoosh H.R. A comparative study of CNN, BoVW and LBP for classification of histopathological images // Proc. of the 2017 IEEE Symposium Series on Computational Intelligence (SSCI). 2017. P. 1–7. https://doi.org/10.1109/SSCI.2017.8285162

11. Korkmaz S., Akçiçek A., Binol H.B., Korkmaz M. Recognition of the stomach cancer images with probabilistic HOG feature vector histograms by using HOG features // Proc. of the 15th IEEE International Symposium on Intelligent Systems and Informatics (SISY). 2017. P. 339–342. https://doi.org/10.1109/SISY.2017.8080578

12. Korkmaz S., Binol H. Classification of molecular structure images by using ANN, RF, LBP, HOG, and size reduction methods for early stomach cancer detection // Journal of Molecular Structure. 2018. V. 1156. P. 255–263. https://doi.org/10.1016/j.molstruc.2017.11.093

13. Alhakeem Z., Jang S.-I. An LBP-HOG descriptor based on matrix projection for mammogram classification // arXiv. 2021. arXiv.1904.00187. https://doi.org/10.48550/arXiv.1904.00187

14. Agrawal T. Hyperparameter Optimization in Machine Learning. Apress Berkeley, CA. 2021. XIX, 166 p. https://doi.org/10.1007/978-1-4842-6579-6

15. Milantev S., Olyunin V., Bykov I., Milanteva N., Bessmertnyi I. Skin lesion analysis using ensemble of CNN with dermoscopic images and metadata // CEUR Workshop Proceedings. 2021. V. 2893.