ntvНаучно-технический вестник информационных технологий, механики и оптикиScientific and Technical Journal of Information Technologies, Mechanics and Optics2226-14942500-0373Университет ИТМО10.17586/2226-1494-2025-25-1-68-77ntv-422Research ArticleКОМПЬЮТЕРНЫЕ СИСТЕМЫ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИCOMPUTER SCIENCEМетод семантической сегментации данных воздушного лазерного сканирования водоохранных зонMethod of semantic segmentation of airborne laser scanning data of water protection zoneshttps://orcid.org/0000-0002-4506-1857СайС. В.SaiS. V.

Сай Сергей Владимирович — доктор технических наук, профессор, профессор

Хабаровск, 680035

Sergey V. Sai — D.Sc., Full Professor

Khabarovsk 680035

sai1111@rambler.ruhttps://orcid.org/0000-0003-3231-8569ЗинкевичА. В.ZinkevichA. V.

Зинкевич Алексей Владимирович — кандидат технических наук, доцент

Хабаровск, 680035

Alexey V. Zinkevich — PhD, Associate Professor

Khabarovsk 680035

zinkevich1985@mail.ruТихоокеанский государственный университетРоссияPacific National UniversityRussian Federation2025280220252516877Copyright © Сай С.В., Зинкевич А.В., 20252025Сай С.В., Зинкевич А.В.Sai S.V., Zinkevich A.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ntv.elpub.ru/jour/article/view/422

Аннотация Введение. Выполнена оценка эффективности нейросетевого метода семантической сегментации трехмерных облаков точек, полученных с использованием беспилотного летательного аппарата «Геоскан 401 Лидар». Реализована нейронная сеть, основанная на модели глубокого обучения PointNet++, которая использует метод непосредственной обработки облаков точек. Разработана методика получения и подготовки набора данных с четырьмя классами: земля, растительность, транспортные средства и строительные объекты. Для увеличения точности оценки предложена методика, основанная на аугментации и перераспределении наборов данных. Метод. Модель нейронной сети состоит из иерархически построенных блоков, выполняющих выборку, группировку и извлечение признаков. Изменение количества блоков и задание радиуса поиска локальных признаков влияет на точность сегментации и вычислительные затраты. Основные результаты. Проведена оценка эффективности метода семантической сегментации трехмерных облаков точек, полученных с помощью беспилотного летательного аппарата. Методика аугментации и перераспределения наборов данных позволила улучшить среднее значение Intersection over Union (IoU) не менее, чем на 35 %. Для полученных данных определен оптимальный радиус в слое группировки, при котором обеспечивается баланс между детализацией и чувствительностью. Установлено, что увеличение количества точек в наборе данных не приводит к существенному росту точности, однако разнообразие используемых наборов данных улучшает эффективность подхода. Обсуждение. Разработанный набор данных позволяет повысить эффективность применяемого подхода, в том числе при обучении на иных моделях. Полученные результаты исследования свидетельствуют о перспективности использования предложенных методик и алгоритмов при решении задачи построения цифровых моделей реки Амур и ее основных притоков.

This article presents an evaluation of the efficiency of a neural network method for the semantic segmentation of three-dimensional point clouds obtained using the Geoscan 401 Lidar UAV. The proposed implementation of the neural network is based on the PointNet++ deep learning model which directly processes point clouds. A technique has been developed for acquiring and preparing a dataset with four classes: land, vegetation, vehicles, and construction objects. To increase the accuracy of the evaluation, a technique based on augmentation and redistribution of the datasets has been proposed. The neural network model consists of hierarchically constructed blocks that perform sampling, grouping, and feature extraction. Adjusting the number of blocks and setting the search radius for local features affects both the accuracy of segmentation and computational costs. The efficiency of the method for semantic segmentation of three-dimensional point clouds obtained using the Geoscan 401 Lidar UAV has been evaluated. The augmentation and redistribution technique improved the average Intersection over Union (IoU) value by at least 35 %. For the obtained data, the optimal radius in the grouping layer was determined, ensuring a balance between detail and sensitivity. It was found that an increase in the number of points in the dataset does not lead to a significant improvement in accuracy; however, the diversity of the datasets used enhances the method efficiency. The developed dataset increases the effectiveness of the applied approach, including when training other models. The results of this study indicate the potential for using the proposed methods and algorithms in constructing digital models of the Amur River and its main tributaries.

лидарная съемкавоздушное лазерное сканированиеоблако точексемантическая сегментациянейронная сеть PointNetгидрологические исследованияLidar surveyairborne laser scanningpoint cloudsemantic segmentationPointNet neural networkhydrological researchИсследование выполнено за счет гранта Российского научного фонда № 24-11-20024 и Министерства образования и науки Хабаровского края (cоглашение № 124С/2024).The study was supported by a grant from the Russian Science Foundation No. 24-11-20024 and the Ministry of Education and Science of Khabarovsk Krai (Agreement No. 124C/2024).ReferencesНеров И.О., Краснопеев С.М., Бугаец А.Н., Беликов В.В., Глотко А.В., Борисова Н.М., Васильева Е.С., Кролевецкая Ю.В. Опыт создания цифровой модели рельефа для гидродинамических расчетов в бассейне р. Амур // Вестник ДВО РАН. 2021. № 6 (220). С. 45–55. https://doi.org/10.37102/0869-7698_2021_220_06_04Nerov I.O., Krasnopeyev S.M., Bugaets A.N., Belikov V.V., Glotko A.V., Borisova N.M., Vasileva E.S., Krolevetskaya Yu.V. Experience in digital terrain model generation for hydrodynamic modeling in the Amur River basin. Vestnik of Far Eastern Branch of Russian Academy of Sciences, 2021, no. 6 (220), pp. 45–55. (in Russian). https://doi.org/10.37102/0869-7698_2021_220_06_04Behley J., Garbade M., Milioto A., Quenzel J., Behnke S., Stachniss C., Gall J., SemanticKITTI: a dataset for semantic scene understanding of LiDAR sequences // Proc. of the IEEE/CVF International Conference on Computer Vision (ICCV). 2019. P. 9296– 9306. https://doi.org/10.1109/iccv.2019.00939Behley J., Garbade M., Milioto A., Quenzel J., Behnke S., Stachniss C., Gall J., SemanticKITTI: a dataset for semantic scene understanding of LiDAR sequences // Proc. of the IEEE/CVF International Conference on Computer Vision (ICCV). 2019. P. 9296– 9306. https://doi.org/10.1109/iccv.2019.00939Angrish A., Bharadwaj A., Starly B. MVCNN++: Computer-Aided design model shape classification and retrieval using multi-view convolutional neural networks // Journal of Computing and Information Science in Engineering. 2021. V. 21. N 1. P. 011001. https://doi.org/10.1115/1.4047486Angrish A., Bharadwaj A., Starly B. MVCNN++: Computer-Aided design model shape classification and retrieval using multi-view convolutional neural networks // Journal of Computing and Information Science in Engineering. 2021. V. 21. N 1. P. 011001. https://doi.org/10.1115/1.4047486Feng Y., Zhang Z., Zhao X., Ji R., Gao Y. GVCNN: group-view convolutional neural networks for 3D shape recognition // Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2018. P. 264–272. https://doi.org/10.1109/cvpr.2018.00035Feng Y., Zhang Z., Zhao X., Ji R., Gao Y. GVCNN: group-view convolutional neural networks for 3D shape recognition // Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2018. P. 264–272. https://doi.org/10.1109/cvpr.2018.00035Li M., Cao Y., Wu H. Three-dimensional reconstruction for highly reflective diffuse object based on online measurement // Optics Communications. 2023. V. 533. P. 129276. https://doi.org/10.1016/j.optcom.2023.129276Li M., Cao Y., Wu H. Three-dimensional reconstruction for highly reflective diffuse object based on online measurement // Optics Communications. 2023. V. 533. P. 129276. https://doi.org/10.1016/j.optcom.2023.129276Sfikas K., Pratikakis I., Theoharis T. Ensemble of PANORAMA-based convolutional neural networks for 3D model classification and retrieval // Computers and Graphics. 2018. V. 71. P. 208–218. https://doi.org/10.1016/j.cag.2017.12.001Sfikas K., Pratikakis I., Theoharis T. Ensemble of PANORAMA-based convolutional neural networks for 3D model classification and retrieval // Computers and Graphics. 2018. V. 71. P. 208–218. https://doi.org/10.1016/j.cag.2017.12.001Riegler G., Ulusoy A.O., Geiger A. OctNet: learning deep 3D representations at high resolutions // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. P. 6620– 6629. https://doi.org/10.1109/cvpr.2017.701Riegler G., Ulusoy A.O., Geiger A. OctNet: learning deep 3D representations at high resolutions // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. P. 6620– 6629. https://doi.org/10.1109/cvpr.2017.701Choy C., Gwak J., Savarese S. 4D spatio-temporal ConvNets: Minkowski convolutional neural networks // Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2019. P. 3070–3079. https://doi.org/10.1109/cvpr.2019.00319Choy C., Gwak J., Savarese S. 4D spatio-temporal ConvNets: Minkowski convolutional neural networks // Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2019. P. 3070–3079. https://doi.org/10.1109/cvpr.2019.00319Hua B.-S., Tran M.-K., Yeung S.-K. Pointwise convolutional neural networks // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2018. P. 984–993. https://doi.org/10.1109/cvpr.2018.00109Hua B.-S., Tran M.-K., Yeung S.-K. Pointwise convolutional neural networks // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2018. P. 984–993. https://doi.org/10.1109/cvpr.2018.00109Li W., Luo Z., Xiao Z., Chen Y., Wang C., Li J. A GCN-Based method for extracting power lines and pylons from airborne LiDAR data // IEEE Transactions on Geoscience and Remote Sensing. 2022. V. 60. P. 1–14. https://doi.org/10.1109/TGRS.2021.3076107Li W., Luo Z., Xiao Z., Chen Y., Wang C., Li J. A GCN-Based method for extracting power lines and pylons from airborne LiDAR data // IEEE Transactions on Geoscience and Remote Sensing. 2022. V. 60. P. 1–14. https://doi.org/10.1109/TGRS.2021.3076107Wang Y., Sun Y., Liu Z., Sarma S.E., Bronstein M.M., Solomon, J.M. Dynamic graph CNN for learning on point clouds // ACM Transactions on Graphics. 2019. V. 38. N 5. P. 146. https://doi.org/10.1145/3326362Wang Y., Sun Y., Liu Z., Sarma S.E., Bronstein M.M., Solomon, J.M. Dynamic graph CNN for learning on point clouds // ACM Transactions on Graphics. 2019. V. 38. N 5. P. 146. https://doi.org/10.1145/3326362Liang Z., Yang M., Deng L., Wang C., Wang B. Hierarchical depthwise graph convolutional neural network for 3D semantic segmentation of point clouds // Proc. of the International Conference on Robotics and Automation (ICRA). 2019. P. 8152–8158. https://doi.org/10.1109/ICRA.2019.8794052Liang Z., Yang M., Deng L., Wang C., Wang B. Hierarchical depthwise graph convolutional neural network for 3D semantic segmentation of point clouds // Proc. of the International Conference on Robotics and Automation (ICRA). 2019. P. 8152–8158. https://doi.org/10.1109/ICRA.2019.8794052Zhao Y., Zhou F., Guo B., Liu B. Spatial temporal graph convolution with graph structure self-learning for early MCI detection // Proc. of the IEEE 20th International Symposium on Biomedical Imaging (ISBI). 2023. P. 1–5. https://doi.org/10.1109/isbi53787.2023.10230807Zhao Y., Zhou F., Guo B., Liu B. Spatial temporal graph convolution with graph structure self-learning for early MCI detection // Proc. of the IEEE 20th International Symposium on Biomedical Imaging (ISBI). 2023. P. 1–5. https://doi.org/10.1109/isbi53787.2023.10230807Qi C.R., Su H., Mo K., Guibas L.J. PointNet: deep learning on point sets for 3D classification and segmentation // Proc. of the IEEE conference on computer vision and pattern recognition (CVPR). 2017. P. 1–9. https://doi.org/10.1109/cvpr.2017.16Qi C.R., Su H., Mo K., Guibas L.J. PointNet: deep learning on point sets for 3D classification and segmentation // Proc. of the IEEE conference on computer vision and pattern recognition (CVPR). 2017. P. 1–9. https://doi.org/10.1109/cvpr.2017.16Qi C.R., Li, Y, Su H., Guibas L.J. PointNet++: deep hierarchical feature learning on point sets in a metric space // arXiv. 2017. arXiv:1706.02413v1. https://doi.org/10.48550/arXiv.1706.02413Qi C.R., Li, Y, Su H., Guibas L.J. PointNet++: deep hierarchical feature learning on point sets in a metric space // arXiv. 2017. arXiv:1706.02413v1. https://doi.org/10.48550/arXiv.1706.02413Varney N., Asari, V.K., Graehling Q. DALES: a large-scale aerial LiDAR data set for semantic segmentation // Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). 2020. P. 1–10. https://doi.org/10.1109/cvprw50498.2020.00101Varney N., Asari, V.K., Graehling Q. DALES: a large-scale aerial LiDAR data set for semantic segmentation // Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). 2020. P. 1–10. https://doi.org/10.1109/cvprw50498.2020.00101

The authors declare that there are no conflicts of interest present.