Милантьев Сергей Андреевич — программист; аспирант
Санкт-Петербург, 198095
Санкт-Петербург, 197101
sc 57225127274
Sergey A. Milantev — Software Developer; PhD Student
Saint Petersburg, 198095
Saint Petersburg, 197101
sc 57225127274
Кордюкова Анна Алексеевна — младший научный сотрудник
Санкт-Петербург, 198095
sc 57211856932
Anna A. Kordyukova — Junior Researcher
Saint Petersburg, 198095
sc 57211856932
Шевяков Даниил Олегович — программист; аспирант
Санкт-Петербург, 198095
Санкт-Петербург, 190000
Daniil O. Shevyakov — Software Developer, PhD Student
Saint Petersburg, 198095
Saint Petersburg, 190000
Логачев Евгений Павлович — младший научный сотрудник
Санкт-Петербург, 198095
Evgeny P. Logachev — Junior Researcher
Saint Petersburg, 198095
Предмет исследования. Исследована возможность применения нейронных сетей и компьютерного зрения для анализа изображений кожных новообразований и выявления признаков развития различных патологий, в том числе онкологических. Разработана методика оценки значимости комбинаций цветовых каналов и пространств с применением технологий компьютерного зрения, а именно, методов локальных бинарных шаблонов и гистограмм ориентированных градиентов для извлечения признаков кожных изменений и бинарной классификации новообразований кожи человека. Оптимизация комбинаций признаков позволит более эффективно решать проблему разделимости данных при классификации. Показана возможность исследования кожных новообразований при использовании набора данных малого объема (менее 1000 изображений). Предложено применение методики к данным, получаемым с помощью нового уникального метода многоспектральной обработки кожных новообразований.
Метод. Использованы изображения из наборов данных ISIC-19 и ISIC-20. Для тренировки и валидации моделей сформированы выборки с ограничением в 1000 изображений, а также дополнительная тестовая выборка из 250 изображений. Все изображения приведены к единому размеру 128 × 128 пикселов и преобразованы в цветовые пространства YCrCb, BGR, Grayscale, HSV. По каждому цветовому каналу извлечены признаки с помощью методов локальных бинарных шаблонов и гистограмм ориентированных градиентов. Для классификации данных применен ряд математических моделей, в том числе нейронные сети. Выполнена оценка эффективности комбинаций объединения признаков по цветовым каналам и методам их извлечения. Предобработанные изображения разделены на тренировочную и валидационную подвыборки в соотношении 70/30 %. Проведена оценка моделей с помощью метрик Accuracy, Recall, Precision и F1-score на стратифицированной кросс-валидации и тестовой выборке. Оптимизация параметров моделей осуществлена на основе функции потерь, представленной усредненным значением по кросс-валидации и оценке на валидационной выборке.
Основные результаты. В процессе исследований выполнено более 15 000 оптимизаций параметров моделей. Наиболее устойчивые результаты на валидационном наборе данных достигнуты при ансамблировании моделей, обученных на комбинации признаков с применением методов локальных бинарных шаблонов и гистограмм ориентированных градиентов. Показано, что модели с использованием только метода локальных бинарных шаблонов имеют лучшие значения метрик, применение их не рекомендуется на практике без ансамблирования с более сильными моделями.
Практическая значимость. Полученные результаты могут найти применение при использовании ансамбля из state-of-the-art сверточных и рекуррентных нейронных сетей. Предложенный подход является универсальным и применим как для анализа отдельных изображений кожных новообразований, так и для анализа их последовательностей, полученных по методу многоспектральной обработки изображений. Методику можно использовать на наборах данных с ограниченным их количеством. Полученные результаты будут полезны специалистам в областях компьютерного зрения и анализа медицинских снимков.
Opportunity research of using neural networks and computer vision to analyze images of skin lesion and identify features of various pathologies, including oncological neoplasms. A methodology has been developed that makes it possible to evaluate the significance of combinations of color components and spaces in feature extraction using local binary patterns (LBP) and histogram of oriented gradients (HOG) computer vision technologies to extract features of skin changes binary classification of human skin lesions. Optimization of extracted feature makes it possible to more effectively solve the problem of data separability in classification. Research reveals an accessible way to classify skin lesions on a small dataset (less than 1000 images). Research is supposed to be applied to data sequences obtained using a new unique method of multispectral processing of skin lesions. In the course of the work, data from the ISIC-19 and ISIC-20 datasets were used. Samples were formed with a limit of 1000 images for training and validating the models. Additionally, a test sample of 250 images was formed. All images were reduced to 128 × 128 pixels and converted to YCrCb, BGR, Grayscale, HSV color spaces. Features were extracted for each color channel using the HOG and LBP methods. Mathematical models, including neural networks have been used for data classification. The effectiveness of features combinations by color channels and feature extraction methods was evaluated. The preprocessed images were divided into training and validation subsets in a 70/30 ratio. The accuracy, recall, precision and f1-score metrics were used to evaluate the models. The models were evaluated using stratified cross-validation and a test dataset. Optimization of model parameters was carried out based on the loss function represented by the average of cross-validation and evaluation on the validation set. In the process of research, more than 15 000 different optimizations of model parameters were executed. The most stable results on the validation dataset were achieved using ensemble of models, which were trained on a combination of features using local binary patterns (LBP) and histogram of oriented gradients (HOG) technologies. Models which used only local binary patterns technology had the best metrics values, but these models are not recommended to be used in practice without ensemble with stronger models. The results gained can be applied for usage with an ensemble of state-of-the-art convolutional and recurrent neural networks. The proposed approach is universal and applicable both for the analysis of individual images of skin neoplasms and for the analysis of their sequences obtained by the method of multispectral image processing. The technique can be applied to datasets with a limited amount of data. The results obtained will be of interest to specialists in the fields of computer vision and medical images analysis.
The authors declare that there are no conflicts of interest present.