ntvНаучно-технический вестник информационных технологий, механики и оптикиScientific and Technical Journal of Information Technologies, Mechanics and Optics2226-14942500-0373Университет ИТМО10.17586/2226-1494-2024-24-5-726-737ntv-138Research ArticleОПТИЧЕСКИЕ СИСТЕМЫ И ТЕХНОЛОГИИOPTICAL ENGINEERINGАлгоритм ориентирования на местности беспилотных летательных аппаратов с использованием машинного зренияAlgorithm for navigation on the terrain of unmanned aerial vehicles with machine visionhttps://orcid.org/0000-0001-9054-800XЗикратовИ. А.ZikratovI. A.

Зикратов Игорь Алексеевич - доктор технических наук, профессор, декан

Санкт-Петербург, 193232

Igor A. Zikratov - D.Sc., Professor, Dean

Saint Petersburg, 193232

igzikratov@yandex.ruhttps://orcid.org/0000-0001-5387-0622БеляевП. Ю.BelyaevP. U.

Беляев Павел Юрьевич - аспирант

Санкт-Петербург, 193232

Pavel U. Belyaev - PhD Student

Saint Petersburg, 193232

monoe1337@gmail.comhttps://orcid.org/0000-0003-0733-1294НеверовЕ. А.NeverovE. A.

Неверов Евгений Андреевич - аспирант

Санкт-Петербург, 193232

Evgenii A. Neverov - PhD Student

Saint Petersburg, 193232

datnever@ya.ruСанкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-БруевичаРоссияThe Bonch-Bruevich Saint Petersburg State University of TelecommunicationsRussian Federation202413122024245726737Copyright © Зикратов И.А., Беляев П.Ю., Неверов Е.А., 20242024Зикратов И.А., Беляев П.Ю., Неверов Е.А.Zikratov I.A., Belyaev P.U., Neverov E.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ntv.elpub.ru/jour/article/view/138

Введение. Одной из проблем, решаемых разработчиками беспилотных летательных аппаратов с автономным управлением, является задача определения летательным аппаратом своего точного местоположения над местностью без помощи глобальных спутниковых навигационных систем. Существующие для малогабаритных беспилотных аппаратов массогабаритные и энергетические ограничения приводят к необходимости использования в их вычислительных устройствах относительно простых алгоритмов. В работе рассмотрены методы навигации беспилотных летательных аппаратов с помощью средств компьютерного зрения, реализуемого бортовыми оптическими и вычислительными устройствами. Применяемое машинное зрение обеспечивает автономность малоразмерных летательных аппаратов при отсутствии или неустойчивом канале связи с центром управления и/или системой спутниковой навигации.Метод. Предлагаемый алгоритм решает задачу идентификации участка местности, наблюдаемого с беспилотного летательного аппарата, с изображением местности, заложенным в памяти системы управления. Местоположение аппарата определяется по минимальной (максимальной) величине невязки между наблюдаемым текущим изображением и изображением участка местности, находящимся в запоминающем устройстве. Решение задачи идентификации основано на концепции иммунокомпьютинга, использующего сингулярное разложение матрицы признаков идентифицируемых объектов. Такой подход позволяет обеспечить высокие показатели качества идентификации за счет разложения матрицы признаков на три простых преобразования для перехода в новое признаковое пространство, которое не идентифицируемо, но компоненты которого являются статистически значимыми.Основные результаты. Проведена оценка показателей качества разрабатываемого алгоритма в сравнении с известным методом идентификации изображений путем вычисления корреляционной функции между двумя массивами признаков. Осуществлена серия испытаний, в которых для единых исходных данных оценивались вероятность правильного определения местоположения и быстродействие алгоритмов. Показано, что при предварительной подготовке «эталонного» изображения, хранимого в запоминающем устройстве беспилотного летального аппарата, быстродействие разработанного метода на порядок превышает производительность метода, основанного на вычислении корреляционной функции сравниваемых изображений. Средняя абсолютная ошибка правильного определения местоположения при использовании предлагаемого метода находится в диапазоне от 0,109 до 0,153.Обсуждение. Предложенный алгоритм может найти применение у разработчиков систем навигации для малоразмерных беспилотных летательных аппаратов благодаря его низким требованиям к ресурсам при сохранении уровня точности, достаточного в контексте решения задач ориентирования на местности. Устройства, реализующие предложенный алгоритм ориентации, обладают лучшими энергетическими и массогабаритными характеристиками.

One of the problems solved by developers of autonomously controlled unmanned aerial vehicles is the task of determining by the drone its exact position over the terrain without the help of global satellite navigation systems. The existing mass-dimensional and energy limitations for small-sized drones lead to the necessity of using relatively simple algorithms in drone computing devices. The paper considers methods of navigation of unmanned aerial vehicles using computer vision implemented by on-board optical and computing devices. Machine vision implemented by on-board computing devices provides autonomy of small-sized aircraft in the absence or unstable communication channel with the control center and/or satellite navigation system. The proposed algorithm solves the problem of identifying an area of terrain observed from a drone with a terrain image stored in the memory of the drone control system. The drone location is determined by the minimum (maximum) value of the discrepancy between the observed current image and the image of the terrain area stored in the drone memory device. The solution of the identification problem is based on the concept of immunocomputing using singular value decomposition of the feature matrix of the identified objects. This approach allows providing high quality indicators of identification due to decomposition of the feature matrix into three simple transformations for transition to a new feature space which is not identifiable, but whose components are statistically significant. The quality indicators of the developed algorithm were evaluated in comparison with the known method of image identification by calculating the correlation function between two arrays of features. A series of tests were carried out in which the probability of correct location determination and the speed of the algorithms were evaluated for the same initial data. It is shown that when pre-preparing a “reference” image stored in the drone memory device, the speed of the developed method exceeds the speed of the method based on the calculation of the correlation function of the compared images by an order of magnitude. The mean absolute error of correct positioning using the proposed method ranges from 0.109 to 0.153. The proposed algorithm can be used by developers of navigation systems for small-sized unmanned aerial vehicles due to its low resource requirements while maintaining a level of accuracy sufficient in the context of solving problems of orientation on the terrain. Devices realizing the proposed orientation algorithm have better energy and mass-size characteristics.

идентификация изображенийсингулярное разложение матрициммунокомпьютингнавигация беспилотных летательных аппаратовimage identificationsingular matrix decompositionimmunocomputingdrone navigationReferencesКабалдин Ю.Г., Киселёв А.В., Шатагин Д.А. Концепция разработки маршрута движения беспилотного транспортного средства в условиях Арктики // Евразийский Союз Ученых. 2016. № 31-1. С. 63–66.Kabaldin Iu.G., Kiselev A.V., Shatagin D.A. The concept of developing a route for an unmanned vehicle in the Arctic conditions. Eurasian Union of Scientists, 2016, no. 31-1, pp. 63–66. (in Russian)Wells D., Beck N. Guide to GPS positioning. Canadian GPS Assoc, 1987. 600 p.Wells D., Beck N. Guide to GPS positioning. Canadian GPS Assoc, 1987, 600 p.Бочкарев А.М. Корреляционно-экстремальные системы навигации // Зарубежная радиоэлектроника. 1981. № 9. С. 28–53.Bochkarev A.M. Correlation extreme navigation systems. Zarubezhnaja radiojelektronika, 1981, no. 9, pp. 28–53. (in Russian)Белоглазов И.Н., Тарасенко В.П. Корреляционно-экстремальные системы. М.: Советское радио, 1974. 392 с.Beloglazov I.N., Tarasenko V.P. Correlation Extreme Systems. Moscow, Sovetskoe Radio Publ., 1974, 392 p. (in Russian)Тарасенко В.П., Тимофеев А.В. Доверительное оценивание точности совмещения в корреляционно-экстремальных системах // Автометрия. 1990. № 4. P. 106–111.Tarasenko V.P., Timofeev A.V. Confidence estimation of registration precision in correlation-extreme systems. Avtometriya, 1990, no. 4, pp. 106–111. (in Russian)Казьмин В.Н., Носков В.П. Выделение геометрических и семантических объектов в дальнометрических изображениях для навигации роботов и реконструкции внешней среды // Известия Южного федерального университета. Технические науки. 2015. № 10(171). С. 71–83.Kazmin V.N., Noskov V.P. Detecting geometric and semantic objects in range image for robot navigation and environment reconstruction. Izvestiya SFedU. Engineering Sciences, 2015, no. 10(171), pp. 71–83. (in Russian)Marinho L.B., Rebouças Filho P.P., Almeida J.S., Souza J.W.M., Souza Jr A.H., de Albuquerque V.H.C. A novel mobile robot localization approach based on classification with rejection option using computer vision // Computers & Electrical Engineering. 2018. V. 68. P. 26–43. https://doi.org/10.1016/j.compeleceng.2018.03.047Marinho L.B., Rebouças Filho P.P., Almeida J.S., Souza J.W.M., Souza Jr A.H., de Albuquerque V.H.C. A novel mobile robot localization approach based on classification with rejection option using computer vision. Computers & Electrical Engineering, 2018, vol. 68, pp. 26–43. https://doi.org/10.1016/j.compeleceng.2018.03.047Murray D., Little J.J. Using real-time stereo vision for mobile robot navigation // Autonomous Robots. 2000. V. 8. N 2. P. 161–171. https:// doi.org/10.1023/A:1008987612352Murray D., Little J.J. Using real-time stereo vision for mobile robot navigation. Autonomous Robots, 2000, vol. 8, no. 2, pp. 161–171. https://doi.org/10.1023/A:1008987612352Lulio L.C., Tronco M.L., Porto A.J.V. JSEG-based image segmentation in computer vision for agricultural mobile robot navigation // Proc. of the IEEE International Symposium on Computational Intelligence in Robotics and Automation — (CIRA). 2009. P. 240–245. https://doi.org/10.1109/cira.2009.5423201Lulio L.C., Tronco M.L., Porto A.J.V. JSEG-based image segmentation in computer vision for agricultural mobile robot navigation. Proc. of the IEEE International Symposium on Computational Intelligence in Robotics and Automation — (CIRA), 2009, pp. 240–245. https://doi.org/10.1109/cira.2009.5423201Hussein A., Marin-Plaza P., Martin D., de la Escalera A., Armingol J.M. Autonomous off-road navigation using stereo-vision and laser-rangefinder fusion for outdoor obstacles detection // Proc. of the IEEE Intelligent Vehicles Symposium (IV). 2016. P. 104–109. https://doi.org/10.1109/ivs.2016.7535372Hussein A., Marin-Plaza P., Martin D., de la Escalera A., Armingol J.M. Autonomous off-road navigation using stereo-vision and laser-rangefinder fusion for outdoor obstacles detection. Proc. of the IEEE Intelligent Vehicles Symposium (IV), 2016, pp. 104–109. https://doi.org/10.1109/ivs.2016.7535372Sozzi M., Kayad A., Marinello F., Taylor J., Tisseyre B. Comparing vineyard imagery acquired from Sentinel-2 and Unmanned Aerial Vehicle (UAV) platform // OENO One. 2020. V. 54. N 2. P. 189–197. https://doi.org/10.20870/oeno-one.2020.54.1.2557Sozzi M., Kayad A., Marinello F., Taylor J., Tisseyre B. Comparing vineyard imagery acquired from Sentinel-2 and Unmanned Aerial Vehicle (UAV) platform. OENO One, 2020, vol. 54, no. 2, pp. 189–197. https://doi.org/10.20870/oeno-one.2020.54.1.2557Pastonchi L., Di Gennaro S.F., Toscano P., Matese A. Comparison between satellite and ground data with UAV-based information to analyse vineyard spatio-temporal variability: This article is pub-lished in cooperation with the XIIIth International Terroir Congress November 17-18, 2020, Adelaide, Australia. Guest editors: Cassandra Collins and Roberta De Bei // OENO One. 2020. V. 54. N 4. P. 919–934. https://doi.org/10.20870/oeno-one.2020.54.4.4028Pastonchi L., Di Gennaro S.F., Toscano P., Matese A. Comparison between satellite and ground data with UAV-based information to analyse vineyard spatio-temporal variability: This article is pub-lished in cooperation with the XIIIth International Terroir Congress November 17-18, 2020, Adelaide, Australia. Guest editors: Cassandra Collins and Roberta De Bei. OENO One, 2020, vol. 54, no. 4, pp. 919–934. https://doi.org/10.20870/oeno-one.2020.54.4.4028Lu Z., Liu F., Lin X. Vision-based localization methods under GPSdenied conditions // arXiv. 2022. arXiv:2211.11988. https://doi.org/10.48550/arXiv.2211.11988Lu Z., Liu F., Lin X. Vision-based localization methods under GPSdenied conditions. arXiv, 2022, arXiv:2211.11988. https://doi.org/10.48550/arXiv.2211.11988Lu K., Xu R., Li J., Lv Y., Lin H., Liu Y. A vision-based detection and spatial localization scheme for forest fire inspection from UAV // Forests. 2022. V. 13. N 3. P. 383. https://doi.org/10.3390/f13030383Lu K., Xu R., Li J., Lv Y., Lin H., Liu Y. A vision-based detection and spatial localization scheme for forest fire inspection from UAV. Forests, 2022, vol. 13, no. 3, pp. 383. https://doi.org/10.3390/f13030383Tarakanov A., Skormin V., Sokolova S. Immunocomputing: Principles and Applications. New York, NY: Springer, 2003. 193 p.Tarakanov A., Skormin V., Sokolova S. Immunocomputing: Principles and Applications. New York, NY, Springer, 2003, 193 p.Tarakanov A., Nicosia G. Foundations of immunocomputing // Proc. of the IEEE Symposium on Foundations of Computational Intelligence. 2007. P. 503–508. https://doi.org/10.1109/foci.2007.371519Tarakanov A., Nicosia G. Foundations of immunocomputing. Proc. of the IEEE Symposium on Foundations of Computational Intelligence, 2007, pp. 503–508. https://doi.org/10.1109/foci.2007.371519Tarakanov A.O. Mathematical models of intrusion detection by an intelligent immunochip // Communications in Computer and Information Science. 2013. V. 1. P. 308–319. https://doi.org/10.1007/978-3-540-73986-9_26Tarakanov A.O. Mathematical models of intrusion detection by an intelligent immunochip. Communications in Computer and Information Science, 2013, vol. 1, pp. 308–319. https://doi.org/10.1007/978-3-540-73986-9_26Соломатин А.Ю., Зикратов И.А. Метод идентификации человека по изображению лица в системах видеонаблюдения на основе научно-методического аппарата иммунокомпьютинга // Информация и космос. 2015. № 2. С. 47–51.Solomatin A.Y., Zikratov I.A. Method of person identification by the facial image in video surveillance system using scientific methods of immunocomputing. Information and Space, 2015, no. 2, pp. 47–51. (in Russian)Соломатин А.Ю., Люберт А.С., Зикратов И.А. Идентификация движущегося человека в системах видеонаблюдения // Научнотехнический вестник информационных технологий, механики и оптики. 2014. № 4(92). С. 124–131.Solomatin A.Yu., Lyubert A.S., Zikratov I.A. Moving person identification in video surveillance systems. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2014, no. 4(92), pp. 124–131. (in Russian)Губин А.Н., Литвинов В.Л., Филиппов Ф.В. Использование метода главных компонент для распознавания графических объектов // Труды учебных заведений связи. 2016. Т. 2. № 3. С. 27–31.Gubin A., Litvinov V., Filippov F. Use of a principal component analysis for the recognition of the graphic objects. Proceedings of Telecommunication Universities, 2016, vol. 2, no. 3, pp. 27–31. (in Russian)Litvinov V.L., Kozlova L.P., Filippov F.V. The use of a matrix decompositions for dimension reduction of training sample // Proc. of the IEEE II International Conference on Control in Technical Systems (CTS). 2017. P. 282–284. https://doi.org/10.1109/CTSYS.2017.8109546Litvinov V.L., Kozlova L.P., Filippov F.V. The use of a matrix decompositions for dimension reduction of training sample. Proc. of the IEEE II International Conference on Control in Technical Systems (CTS), 2017, pp. 282–284. https://doi.org/10.1109/CTSYS.2017.8109546Alieva O., Gangan E., Ilyushin E., Kachalin A. Automatic evaluation of recommendation models // Современные информационные технологии и ИТ-образование. 2020. Т. 16. № 2. С. 398–406. https://doi.org/10.25559/SITITO.16.202002.398-406Alieva O., Gangan E., Ilyushin E., Kachalin A. Automatic evaluation of recommendation models. Modern information technologies and IT-education, 2020, vol. 16, no. 2, pp. 398–406. (in Russian). https:// doi.org/10.25559/SITITO.16.202002.398-406Минин А.С. Применение сингулярного разложения для понижения размерности в анализе данных // Тенденции развития науки и образования. 2023. № 99-7. С. 55–58. https://doi.org/10.18411/trnio-07-2023-377Minin A.S. Application of singular value decomposition to reduce dimensionality in data analysis. Tendencii razvitija nauki i obrazovanija, 2023, no. 99-7, pp. 55–58. (in Russian). https://doi.org/10.18411/trnio-07-2023-377Studio encoding parameters of digital television for standard 4: 3 and wide-screen 16: 9 aspect ratios: Recommendation ITU-R BT.601-7 (03/2011).Studio encoding parameters of digital television for standard 4: 3 and wide-screen 16: 9 aspect ratios. Recommendation ITU-R BT.601-7 (03/2011).Тимофеев А.В. Инвариантный к линейным конформным преобразованиям алгоритм обнаружения размытого изображения целевого объекта малого размера // Научно-технический вестник информационных технологий, механики и оптики. 2021. Т. 21. № 2. С. 206–224. https://doi.org/10.17586/2226-1494-2021-21-2-206-224Timofeev A.V. Detection of a small target object in blurry images affected by affine distortions. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2021, vol. 21, no. 2, pp. 206–224. (in Russian). https://doi.org/10.17586/2226-1494-2021-21-2-206-224

The authors declare that there are no conflicts of interest present.