Сравнительный анализ нейросетевых моделей для картографирования лесных рубок по летним космическим снимкам

Введение. Исследована задача повышения оперативности обнаружения и картографирования лесных рубок по космическим снимкам с целью выявления нарушений экологического законодательства. Традиционные методы дешифрирования данных дистанционного зондирования Земли требуют больших трудозатрат и высокой квалификации исполнителей. Для автоматизации процессов дешифрирования космических снимков разработано большое количество разнообразных методов, в том числе основанных на применении современных технологий глубокого машинного обучения. В работе проведен сравнительный анализ сверточных и трансформерных моделей нейронных сетей, перспективных для решения задач сегментации лесных рубок по летним космическим снимкам со спутника Sentinel-2.
Метод. В проведенном исследовании для сегментации лесных рубок применялись сверточные модели U-Net++, MA-Net, 3D U-Net, FPN-ConvLSTM и трансформерные модели SegFormer, Swin-UperNet. Особенностью компьютерного эксперимента является адаптация различных моделей нейронных сетей для анализа пары разновременных многоканальных спутниковых изображений. Представлено описание исходных данных, процедура их предобработки с учетом специфики и методика формирования обучающей выборки на основе имеющегося архива космических снимков. Предложены процедуры обучения и оценки точности рассматриваемых нейросетевых моделей с использованием метрики F1. Для оценки точности выполнено сравнение результатов моделирования с традиционным методом визуального дешифрирования с применением средств геоинформационных систем.
Основные результаты. Получены результаты компьютерного эксперимента на примере территории Ханты-Мансийского автономного округа. Сравнение моделей сегментации лесных рубок по летним космическим снимкам показало, что точность F1 для разных моделей находится в пределах от 0,409 до 0,767. Наибольшую точность показала трансформерная модель SegFormer, которая позволила обнаруживать лесные рубки, неучтенные человеком. Время обработки одной пары полноразмерных космических снимков площади размером 100 × 100 км2 составило 15 мин, что в 16 раз меньше времени, требуемого специалисту для выполнения той же задачи традиционным способом. Такая скорость обработки снимков является важным показателем для мониторинга обширных лесохозяйственных территорий.
Обсуждение. Предлагаемый метод сегментации лесных рубок, основанный на трансформерной нейронной сети SegFormer, может быть использован для решения задачи оперативного выявления и картографирования незаконных лесных рубок. Для повышения качества работы модели необходима балансировка обучающей выборки с целью выравнивания количества снимков с полигонами рубок различной формы и размера, а также включение в выборку снимков с частичной облачностью и тенями от облаков.

1. Габдрахманов Р.М., Кочергин Г.А., Куприянов М.А., Хамедов В.А., Шарафутдинов Р.Р. Реестр изменений лесного фонда ХМАО — Югры. Свидетельство о регистрации базы данных RU2016620648. 2016.

2. Torres D.L., Turnes J.N., Soto Vega P.J., Feitosa R.Q., Silva D.E., Marcato Junior J., Almeida C. Deforestation detection with fully convolutional networks in the Amazon Forest from Landsat-8 and Sentinel-2 images // Remote Sensing. 2021. V. 13. N 24. P. 5084. https://doi.org/10.3390/rs13245084

3. Khan S.H., He X., Porikli F., Bennamoun M. Forest change detection in incomplete satellite images with deep neural networks // IEEE Transactions on Geoscience and Remote Sensing. 2017. V. 55. N 9. P. 5407–5423. https://doi.org/10.1109/tgrs.2017.2707528

4. John D., Zhang C. An attention-based U-Net for detecting deforestation within satellite sensor imagery // International Journal of Applied Earth Observation and Geoinformation. 2022. V. 107. P. 102685. https://doi.org/10.1016/j.jag.2022.102685

5. Podoprigorova N.S., Savchenko G.A., Rabcevich K.R., Kanev A.I., Tarasov A.V., Shikohov A.N. Forest damage segmentation using machine learning methods on satellite images // Studies in Computational Intelligence. 2023. V. 1120. P. 380–388. https://doi.org/10.1007/978-3-031-44865-2_41

6. Бычков И.В., Ружников Г.М., Федоров Р.К., Попова А.К., Авраменко Ю.В. Классификация космоснимков Sentinel-2 Байкальской природной территории // Компьютерная оптика. 2022. Т. 46. № 1. С. 90–96. https://doi.org/10.18287/2412-6179-co-1022

7. Мельников А.В., Кочергин Г.А., Аббазов В.Р., Байсалямова О.А., Русанов М.А., Полищук Ю.М. Нейросетевая модель для сегментации космических снимков в мониторинге факторов обезлесения территории // Вестник Южно-Уральского государственного университета. Серия: Компьютерные технологии, управление, радиоэлектроника. 2023. Т. 23. № 3. С. 5–15. https://doi.org/10.14529/ctcr230301

8. Main-Knorn M., Pflug B., Louis J., Debaecker V., Müller-Wilm U., Gascon F. Sen2Cor for Sentinel-2 // Proceedings of SPIE. 2017. V. 10427. P. 1042704. https://doi.org/10.1117/12.2278218

9. Garnot V.S.F., Landrieu L. Panoptic segmentation of satellite image time series with convolutional temporal attention networks // Proc. of the IEEE/CVF International Conference on Computer Vision (ICCV). 2021. P. 4852–4861. https://doi.org/10.1109/iccv48922.2021.00483

10. Rustowicz R., Cheong R., Wang L., Ermon S., Burke M., Lobell D. Semantic segmentation of crop type in Africa: A novel dataset and analysis of deep learning methods // Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops. 2019. P. 75–82.

11. Fan T., Wang G., Li Y., Wang H. MA-Net: A multi-scale attention network for liver and tumor segmentation // IEEE Access. 2020. V. 8. P. 179656–179665. https://doi.org/10.1109/access.2020.3025372

12. Chamorro Martinez J.A., Cué La Rosa L.E., Feitosa R.Q., Sanches I.D., Happ P.N. Fully convolutional recurrent networks for multidate crop recognition from multitemporal image sequences // ISPRS Journal of Photogrammetry and Remote Sensing. 2021. V. 171. P. 188–201. https://doi.org/10.1016/j.isprsjprs.2020.11.007

13. Shi X., Chen Z., Wang H., Yeung D.-Y., Wong W., Woo W. Convolutional LSTM network: A machine learning approach for precipitation nowcasting // arXiv. 2015. arXiv:1506.04214. https:// doi.org/10.48550/arXiv.1506.04214

14. Xie E., Wang W., Yu Z., Anandkumar A., Alvarez J.M., Luo P. SegFormer: Simple and efficient design for semantic segmentation with transformers nowcasting // arXiv. 2021. arXiv:2105.15203. https://doi.org/10.48550/arXiv.2105.15203

15. Liu Z., Lin Y., Cao Y., Hu H., Wei Y., Zhang Z., Lin S., Guo B. Swin transformer: Hierarchical vision transformer using shifted Windows // Proc. of the IEEE/CVF International Conference on Computer Vision (ICCV). 2021. P. 9992–10002. https://doi.org/10.1109/iccv48922.2021.00986

16. Kruitwagen L. Towards DeepSentinel: An extensible corpus of labelled Sentinel-1 and -2 imagery and a general-purpose sensorfusion semantic embedding model // arXiv. 2021. arXiv:2102.06260. https://doi.org/10.48550/arXiv.2102.06260

17. Betzalel E., Penso C., Navon A., Fetaya E. A study on the evaluation of generative models // arXiv. 2022. arXiv:2206.10935. https://doi.org/10.48550/arXiv.2206.10935