ntvНаучно-технический вестник информационных технологий, механики и оптикиScientific and Technical Journal of Information Technologies, Mechanics and Optics2226-14942500-0373Университет ИТМО10.17586/2226-1494-2024-24-1-11-19ntv-87Research ArticleОПТИЧЕСКИЕ СИСТЕМЫ И ТЕХНОЛОГИИOPTICAL ENGINEERINGРасчетное прогнозирование в задаче идентификации стереоизображенийComputational prediction in the problem of stereo image identificationhttps://orcid.org/0000-0002-4798-2414СамойленкоМ. В.SamoilenkoM. V.

Самойленко Марина Витальевна — кандидат технических наук, доцент, независимый исследователь                              

Москва

sc 57191194098

Marina V. Samoilenko — PhD, Associate Professor, Independent Researcher

Moscow 

sc 57191194098

samoi.mar@mail.ruhttps://orcid.org/0009-0006-1279-7661ХачикянВ. А.HachikianV. A.

Хачикян Владимир Александрович — кандидат технических наук, старший научный сотрудник, доцент

Москва,125993

Vladimir A. Hachikian — PhD, Associate Professor, Senior Researcher

Moscow, 125993

zaktol@yandex.ruМосковский авиационный институт (национальный исследовательский университет)РоссияMoscow Aviation Institute (National Research University)Russian Federation2024121220242411119Copyright © Самойленко М.В., Хачикян В.А., 20242024Самойленко М.В., Хачикян В.А.Samoilenko M.V., Hachikian V.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ntv.elpub.ru/jour/article/view/87

Введение. Рассмотрены вопросы повышения эффективности и достоверности идентификации стереоизображений за счет расчетного прогнозирования положения и размеров зоны неопределенности, в которой заведомо находится искомая точка соответствия. Метод. На одном из стереоизображений выбирается контрольная точка, для которой требуется найти точку соответствия на втором стереоизображении. По известным параметрам стереоскопической телевизионной системы и координатам контрольной точки с помощью предложенного в работе математического аппарата рассчитываются координаты границ зоны неопределенности на втором стереоизображении. Вторая точка соответствия находится с использованием поисковой процедуры путем сопоставления одинаковых малых областей с центрами в контрольной точке на первом стереоизображении и в точках зоны неопределенности на втором. Сопоставление производится по критерию минимума квадратического рассогласования интенсивностей. Необходимой априорной информацией для реализации метода являются предельные высоты отображаемого на стереоизображениях рельефа. Основные результаты. Получены соотношения линейных размеров на плоском рельефе и на изображении, формируемом по принципу центрального проецирования. Выведены соотношения, позволяющие расчетным путем получить координаты точек соответствия и стереоскопического рассогласования для стереоизображений плоского рельефа. Для стереоизображений объемного рельефа приведены расчетные формулы определения границ зоны неопределенности на втором стереоизображении, в пределах которой осуществляется поиск точки соответствия. Корректность и работоспособность полученных соотношений подтверждены компьютерным моделированием. Обсуждение. Ограничение размеров области поиска посредством расчетного прогнозирования зоны неопределенности позволяет уменьшить вычислительные и временные затраты на поисковую процедуру. За счет этого повышается эффективность идентификации точек стереоизображений и уменьшается вероятность ложной идентификации.

The paper examines the issues of increasing the efficiency and reliability of stereo image identification through computational prediction of the position and size of the uncertainty zone in which the desired correspondence pointis known to be located. A control point is selected on one of the stereo images, for which it is necessary to find a correspondence point on the second stereo image. Based on the known parameters of the stereoscopic television system and the coordinates of the control point, using the mathematical apparatus proposed in the work, the coordinates of the boundaries of the uncertainty zone on the second stereo image are calculated. The second point of correspondence is found by the search procedure by comparing identical small areas with centers in the control point on the first stereo image and in the points of the uncertainty zone on the second; the comparison is made according to the criterion of minimum quadratic mismatch of intensities. The necessary a priori information for implementing the method is the maximum heights of the relief displayed on stereo images. The ratios of linear dimensions on a flat relief and on an image formed according to the principle of central projection were obtained. Relationships have been obtained that make it possible to obtain, by calculation, the coordinates of the correspondence points and the stereoscopic mismatch for stereo images of a flat relief. For stereo images of a volumetric relief, calculation formulas are obtained for determining the boundaries of the zone of uncertainty in the second stereo image within which the search for the point of correspondence is carried out. The correctness and performance of the obtained relationships are confirmed by computer modeling. Limiting the size of the search area by means of calculated prediction of the uncertainty zone makes it possible to reduce the computational and time costs of the search procedure. Due to this, the efficiency of identifying stereo image points increases and the likelihood of false identification decreases.

стереоизображенияидентификациязона неопределенноститочки соответствияпрогнозированиеstereo imagesidentificationuncertainty zonecorrespondence pointsprognosticationReferencesЛуманн Т., Робсон С., Кайл С., Бом Я. Ближняя фотограмметрия и 3D-зрение / пер. с англ. М.: ЛЕНАНД, 2018. 704 с.Luhmann T., Robson S., Kyle S., Boehm J. Close-Range Photogrammetry and 3D Imaging. Moscow, LENAND Publ., 2018, 704 p.Назаров А.С. Фотограмметрия: пособие для студентов вузов / 2-е изд., перераб. и доп. Минск: ТетраСистемс, 2010. 400 с.Nazarov A.S. Photogrammetry. 2nd ed., Minsk, TetraSystems Publ., 2010, 400 p. (in Russian)Pepe M., Costantino D., Alfio V.S., Vozza G., Cartellino E. A novel method based on deep learning, GIS and geomatics software for building a 3D city model from VHR satellite stereo imagery // ISPRS International Journal of Geo-Information. 2021. V. 10. N 10. P. 697. https://doi.org/10.3390/ijgi10100697Pepe M., Costantino D., Alfio V.S., Vozza G., Cartellino E. A novel method based on deep learning, GIS and geomatics software for building a 3D city model from VHR satellite stereo imagery. ISPRS International Journal of Geo-Information, 2021, vol. 10, no. 10, pp. 697. https://doi.org/10.3390/ijgi10100697Ma Y., Li Q., Chu L., Zhou Y., Xu C. Real-time detection and spatial localization of insulators for UAV inspection based on binocular stereo vision // Remote Sensing. 2021. V. 13. N 2. P. 230. https://doi.org/10.3390/rs13020230Ma Y., Li Q., Chu L., Zhou Y., Xu C. Real-time detection and spatial localization of insulators for UAV inspection based on binocular stereo vision. Remote Sensing, 2021, vol. 13, no. 2, pp. 230. https:// doi.org/10.3390/rs13020230Ding J., Yan Z., We X. High-accuracy recognition and localization of moving targets in an indoor environment using binocular stereo vision // ISPRS International Journal of Geo-Information. 2021. V. 10. N 4. P. 234. https://doi.org/10.3390/ijgi10040234Ding J., Yan Z., We X. High-accuracy recognition and localization of moving targets in an indoor environment using binocular stereo vision. ISPRS International Journal of Geo-Information, 2021, vol. 10, no. 4, pp. 234. https://doi.org/10.3390/ijgi10040234Albanwan H., Qin R. A comparative study on deep-learning methods for dense image matching of multi-angle and multi-date remote sensing stereo-images // The Photogrammetric Record. 2022. V. 37. N 180. P. 385–409. https://doi.org/10.1111/phor.12430Albanwan H., Qin R. A comparative study on deep-learning methods for dense image matching of multi-angle and multi-date remote sensing stereo-images. The Photogrammetric Record, 2022, vol. 37, no. 180, pp. 385–409. https://doi.org/10.1111/phor.12430Fan R., Wang H., Cai P., Wu J., Bocus M.J., Qiao L., Liu M. Learning collision-free space detection from stereo images: Homography matrix brings better data augmentation // IEEE/ASME Transactions on Mechatronics. 2022. V. 27. N 1. P. 225–233. https://doi.org/10.1109/tmech.2021.3061077Fan R., Wang H., Cai P., Wu J., Bocus M.J., Qiao L., Liu M. Learning collision-free space detection from stereo images: Homography matrix brings better data augmentation. IEEE/ASME Transactions on Mechatronics, 2022, vol. 27, no. 1, pp. 225–233. https://doi.org/10.1109/tmech.2021.3061077Yang G., Liao Y. An improved binocular stereo matching algorithm based on AANet // Multimedia Tools and Applications. 2023. V. 82. N 26. P. 40987–41003. https://doi.org/10.1007/s11042-023-15183-6Yang G., Liao Y. An improved binocular stereo matching algorithm based on AANet. Multimedia Tools and Applications, 2023, vol. 82, no. 26, pp. 40987–41003. https://doi.org/10.1007/s11042-023-151836Han Y., Pan C., Cheng Z., Xu Y. A PTV-based feature-point matching algorithm for binocular stereo photogrammetry // Measurement Science and Technology. 2023. V. 34. N 12. P. 125602. https://doi.org/10.1088/1361-6501/acf875Han Y., Pan C., Cheng Z., Xu Y. A PTV-based feature-point matching algorithm for binocular stereo photogrammetry. Measurement Science and Technology, 2023, vol. 34, no. 12, pp. 125602. https://doi.org/10.1088/1361-6501/acf875Wei H., Meng L. An accurate stereo matching method based on color segments and edges // Pattern Recognition. 2023. V. 133. P. 108996. https://doi.org/10.1016/j.patcog.2022.108996Wei H., Meng L. An accurate stereo matching method based on color segments and edges. Pattern Recognition, 2023, vol. 133, pp. 108996. https://doi.org/10.1016/j.patcog.2022.108996Якасова Н.В. Алгоритмы поиска регулярных объектов на изобра жениях // Образовательные ресурсы и технологии. 2016. № 2. С. 277–281.Yakasova N.V. Search algorithms for the regular objects in the image. Educational Resources and Technologies, 2016, no. 2, pp. 277–281. (in Russian)Фаворская М.Н., Тупицын И.В. Метод повышения устойчивости сопоставлений на стереоизображениях // Механика, управление и информатика. 2012. № 3(9). С. 139–144.Favorskaya M.N., Toupitsyn I.V. Improving robust method of feature points correspondences on stereo images. Mechanics, Control and Informatics, 2012, no. 3(9), pp. 139–144. (in Russian)Chen M., Duan Z., Lan Z., Yi S. Scene reconstruction algorithm for unstructured weak-texture regions based on stereo vision // Applied Sciences. 2023. V. 13. N 11. P. 6407. https://doi.org/10.3390/app13116407Chen M., Duan Z., Lan Z., Yi S. Scene reconstruction algorithm for unstructured weak-texture regions based on stereo vision. Applied Sciences, 2023, vol. 13, no. 11, pp. 6407. https://doi.org/10.3390/app13116407Liu C.W., Wang H., Guo S., Bocus M.J., Chen Q., Fan R. Stereo matching: fundamentals, state-of-the-art, and existing challenges // Autonomous Driving Perception: Fundamentals and Applications. Springer Nature Singapore, 2023. P. 63–100. https://doi.org/10.1007/978-981-99-4287-9_3Liu C.W., Wang H., Guo S., Bocus M.J., Chen Q., Fan R. Stereo matching: fundamentals, state-of-the-art, and existing challenges. Autonomous Driving Perception: Fundamentals and Applications. Springer Nature Singapore, 2023, pp. 63–100. https://doi.org/10.1007/978-981-99-4287-9_3Фаворская М.Н., Тупицын И.В. Иерархический метод поиска соответствующих точек на стереоизображениях // Вестник Сибирского государственного Аэрокосмического университета имени академика М.Ф. Решетнёва. 2012. № 1(41). С. 62–67.Favorskaya M.N., Tupitsyn I.V. Hierarchical method of search of corresponding points at stereoimages. The Siberian Aerospace Journal, 2012, no. 1(41), pp. 62–67. (in Russian)Степанов Д.Н. Методики сопоставления особых точек в задаче визуальной навигации БПЛА // Вестник Южно-Уральского госу дарственного университета. Серия: Вычислительная математика и информатика. 2015. Т. 4. № 4. С. 32–47. https://doi.org/10.14529/cmse150402Stepanov D.N. Techniques of feature points matching in the problem of uav’s visual navigation. Bulletin of the South Ural State University. Series: Computational Mathematics and Software Engineering, 2015, vol. 4, no. 4, pp. 32–47. https://doi.org/10.14529/cmse150402Гошин Е.В., Фурсов В.А. Метод согласованной идентификации в задаче определения соответственных точек на изображении // Компьютерная оптика. 2012. Т. 36. № 1. С. 131–135.Goshin Ye.V., Fursov V.A. Conformed identification in corresponding points detection problem. Computer Optics, 2012, vol. 36, no. 1, pp. 131–35. (in Russian)Орлов В.П., Шариков Е. Алгоритм нахождения и классификации особых точек объекта на основе детектора Харриса // Нано индустрия. 2017. № S(74). С. 171–178.Orlov V.P., Sharikov E.N. Algorithm of finding and classifying special points of object on the basis of Harris’s detector. Journal Nanoindustry, 2017, no. S(74), pp. 171-178. (in Russian)Гук А.П., Алтынцев М.А. Автоматическая идентификация соот ветственных точек на аэроснимках лесных массивов // Вестник СГУГиТ. 2017. Т. 22. № 4. С. 68–77.Guk A.P., Altyntsev M.A. Automatic identification of corresponding points for aerial images of forest areas. Vestnik of SSUGT, 2017, vol. 22, no. 4, pp. 68–77. (in Russian)Загорский М.Ю., Богданов В.Л., Гарманов В.В., Королева В.П., Рябов Ю.В. Математическая модель снимков стереопары и алго ритм восстановления рельефа местности на ее основе // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 3. С. 36–51.Zagorskii M.Yu., Bogdanov V.L., Garmanov V.V., Koroleva V.P., Ryabov Yu.V. Mathematical model of stereo images and terrain reconstruction algorithm based on it. Sovremennye problemy distantsionnogo zondirovaniya Zemli iz kosmosa, 2015, vol. 12, no. 3, pp. 36–51. (in Russian)Самойленко М.В. Векторно-матричный метод восстановления пространственных координат точки в общем случае стереосъем ки // Научно-технический вестник информационных технологий, механики и оптики. 2018. Т. 18. № 6. С. 954–960. https://doi.org/10.17586/2226-1494-2018-18-6-954-960Samoilenko M.V. Vector-matrix method for restoration of point spatial coordinates in stereo photography general case. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2018, vol. 18, no. 6, pp. 954–960. (in Russian). https://doi.org/10.17586/2226-1494-2018-18-6-954-960Самойленко М.В. Влияние асимметрии интенсивности на ошиб ку идентификации стереоизображений // Измерительная техника. 2023. № 5. С. 22–28. https://doi.org/10.32446/03681025it.2023-5-22-28Samoilenko M.V. Effect of Intensity asymmetry on stereo image identification error. Measurement Techniques, 2023, vol. 66, no. 5, pp. 311–319. https://doi.org/10.1007/s11018-023-02229-2

The authors declare that there are no conflicts of interest present.