Современные оптические методы бесконтактных геометрических измерений и восстановления 3D-формы поверхности объектов: обзор

Введение. Работа посвящена изучению и систематическому обобщению существующего опыта в области определения и контроля геометрических параметров различных объектов при помощи оптических методов.

Метод. При поиске научных источников по тематике работы использовались открытые международные библиографические базы и поисковые машины. Для рассмотрения отбирались работы, посвященные описанию аппаратно-программных средств для бесконтактных геометрических измерений и/или восстановления 3D-формы поверхности материальных объектов, построенных на основе оптических методов, а также примеров их применения для решения практических задач. Критерием отбора рассматриваемых работ было соответствие набору ключевых слов и публикация в высокорейтинговых отечественных и зарубежных изданиях не старше 2010 года.

Основные результаты. Предложена систематическая классификация описанных в рецензируемых научных изданиях оптических методов и аппаратно-программных средств для бесконтактных геометрических измерений и восстановления 3D-формы поверхности объектов. Выполнена сравнительная качественная оценка методов и аппаратно-программных средств. Выявлены методы, наиболее эффективные при решении отдельных практических задач. Обозначены основные ограничения рассмотренных методов и средств. Выделены основные тенденции развития рассмотренных методов. Установлено, что тенденции развития сопряжены с миниатюризацией и развитием технологий производства электронных компонентов, повышением чувствительности и увеличением пространственной и временной разрешающей способности детектирующих элементов. Также тенденции оказывают влияние на развитие методов расширения номенклатуры и функциональных возможностей источников излучения и на увеличение возможностей автоматизированной обработки данных.

Обсуждение. Выполненный систематический обзор может быть использован при выборе оптического метода, оптимального для решения практических задач в таких областях, как неразрушающий контроль и малоинвазивная диагностика, навигация роботизированных систем, создание цифровых копий материальных объектов. Представленная работа может быть полезна студентам профильных специальностей технических учебных заведений для ознакомления с актуальным срезом современных методических и аппаратно-программных средств.

1. Lu F., Wu C., Yang J. High-speed 3D shape measurement using Fourier transform and stereo vision // Journal of the European Optical Society-Rapid Publications. 2018. V. 14. N 1. P. 22. https://doi.org/10.1186/s41476-018-0090-z

2. Korotaev V.V., Pantiushin A.V., Serikova M.G., Anisimov A.G. Deflection measuring system for floating dry docks // Ocean Engineering. 2016. V. 117. P. 39–44. https://doi.org/10.1016/j. oceaneng.2016.03.012

3. Мищенко Н.И. Трехмерные активно-импульсные системы наблюдения и измерения параметров объектов // Доклады Томского государственного университета систем управления и радиоэлектроники. 2017. Т. 20. № 3. С. 119–123. https://doi.org/10.21293/1818-0442-2017-20-3-119-123

4. Wu Z., Guo W., Chen Z., Wang H., Li X., Zhang Q. Three-dimensional shape and deformation measurement on complex structure parts // Scientific Reports. 2022. V. 12, pp. 7760. https://doi.org/10.1038/s41598-022-11702-x

5. Pan B., Yu L., Zhang Q. Review of single-camera stereo-digital image correlation techniques for full-field 3D shape and deformation measurement // Science China Technological Sciences. 2018. V. 61. N 1. P. 2–20. https://doi.org/10.1007/s11431-017-9090-x

6. Ferková Z., Urbanová P., Černý D., Žuži M., Matula P. Age and gender-based human face reconstruction from single frontal image // Multimedia Tools and Applications. 2020. V. 79. N 5-6. P. 3217–3242. https://doi.org/10.1007/s11042-018-6869-5

7. Мурынин А.Б., Рихтер А.А. Особенности применения методов и алгоритмов реконструкции трехмерной формы ригидных объектов по данным панорамной съёмки // Машинное обучение и анализ данных. 2018. Т. 4. № 4. C. 235–247. https://doi.org/10.21469/22233792.4.4.02

8. Cui Y., Schuon S., Thrun S., Stricker D., Theobalt C. Algorithms for 3D shape scanning with a depth camera // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2013. V. 35. N 5. P. 1039– 1050. https://doi.org/10.1109/TPAMI.2012.190

9. Онищенко С.В., Козловский А.В., Мельник Э.В. Разработка бесконтактной системы измерения геометрических параметров объектов на изображении // Известия Тульского государственного университета. Технические науки. 2022. № 9. С. 177–182. https://doi.org/10.24412/2071-6168-2022-9-177-182

10. Yu L., Tao R., Lubineau G. Accurate 3D shape, displacement and deformation measurement using a smartphone // Sensors. 2019. V. 19. N 3. P. 719. https://doi.org/10.3390/s19030719

11. Foysal K.H., Chang H.-J., Bruess F., Chong J.-W. Body size measurement using a smartphone // Electronics. 2021. V. 10. N 11. P. 1338. https://doi.org/10.3390/electronics10111338

12. Wang R., Law A.C., Garcia D., Yang S., Kong Z. Development of structured light 3D-scanner with high spatial resolution and its applications for additive manufacturing quality assurance // International Journal of Advanced Manufacturing Technology. 2021. V. 117. N 3-4. P. 845–862. https://doi.org/10.1007/s00170-021-07780- 2

13. Zhang S. High-speed 3D shape measurement with structured light methods: A review // Optics and Lasers in Engineering. 2018. V. 106. P. 119–131. https://doi.org/10.1016/j.optlaseng.2018.02.017

14. Dvoinishnikov S.V., Anikin Yu.A., Kabardin I.K., Kulikov D.V., Meledin V.G. An optoelectronic method of contactless measurement of the profile of the surface of large complexly shaped objects // Measurement Techniques. 2016. V. 59. N 1. P. 21–27. https://doi.org/10.1007/s11018-016-0910-8

15. Kim G., Kim Y., Yun J., Moon S.-W., Kim S., Kim J., Park J., Badloe T., Kim I., Rho J. Metasurface-driven full-space structured light for three-dimensional imaging // Nature Communications. 2022. V. 13. P. 5920. https://doi.org/10.1038/s41467-022-32117-2

16. Chen B., Shi P., Wang Y., Xu Y., Ma H., Wang R., Zheng C., Chu P. Determining surface shape of translucent objects with the combination of laser-beam-based structured light and polarization technique // Sensors. 2021. V. 21. N 19. P. 6587. https://doi.org/10.3390/s21196587

17. Yin W., Feng S., Tao T., Huang L., Trusiak M., Chen Q., Zuo C. Highspeed 3D shape measurement using the optimized composite fringe patterns and stereo-assisted structured light system // Optics Express. 2019. V. 27. N 3. P. 2411–2431. https://doi.org/10.1364/OE.27.002411

18. Niu Y., Liu L., Huang F., Huang S., Chen S. Overview of image-based 3D reconstruction technology // Journal of the European Optical Society-Rapid Publications. 2024. V. 20. N 1. P. 18. https://doi.org/10.1051/jeos/2024018

19. Tang W., Jia F., Wang X. An improved adaptive triangular mesh-based image warping method // Frontiers in Neurorobotics. 2023. V. 16. P. 1042429. https://doi.org/10.3389/fnbot.2022.1042429

20. Клячин А.А., Клячин В.А. Алгоритм восстановления поверхности объекта по его изображению // Математическая физика и компьютерное моделирование. 2021. T. 24. № 1. С. 16–24. https://doi.org/10.15688/mpcm.jvolsu.2021.1.2

21. Шахраманьян М.А., Казарян М.Л., Рихтер А.А. Построение 3D-моделей ригидных объектов по косвенным изображениям методом координатных сеток // Информация и космос. 2018. № 3. С. 104–110.

22. Zhang H.M., Dong B. A review on deep learning in medical image reconstruction // Journal of the Operations Research Society of China. 2020. V. 8. N 2. P. 311–340. https://doi.org/10.1007/s40305-019-00287-4

23. Левашев С.П. Распознавание 3D объектов на основе спектральных инвариантов с использованием глубокого машинного обучения // Известия ЮФУ. Технические науки. 2019. № 3(205). С. 20– 31. https://doi.org/10.23683/2311-3103-2019-3-20-31

24. Horaud R., Hansard M., Evangelidis G., Ménier C. An overview of depth cameras and range scanners based on time-of-flight technologies // Machine Vision and Applications. 2016. V. 27. N 7. P. 1005–1020. https://doi.org/10.1007/s00138-016-0784-4

25. Павельева Е.А. Обработка и анализ изображений на основе использования информации о фазе // Компьютерная оптика. 2018. Т. 42. № 6. С. 1022–1034. https://doi.org/10.18287/2412-6179-2018-42-6-1022-1034

26. Shiba Y., Ono S., Furukawa R., Hiura S., Kawasaki H. Learningbased active 3D measurement technique using light field created by video projectors // IPSJ Transactions on Computer Vision and Applications. 2019. V. 11. N 1. P. 6. https://doi.org/10.1186/s41074-019-0058-y

27. Li X., Liu Z., Cai Y., Pan C., Song J., Wang J., Shao X. Polarization 3D imaging technology: a review // Frontiers in Physics. 2023. V. 11. P. 1198457. https://doi.org/10.3389/fphy.2023.1198457

28. Ramella-Roman J.C., Saytashev I., Piccini M. A review of polarization-based imaging technologies for clinical and preclinical applications // Journal of Optics. 2020. V. 22. N 12. P. 123001. https://doi.org/10.1088/2040-8986/abbf8a

29. Wu D., Liang Z., Chen G. Deep learning for LiDAR-only and LiDAR-fusion 3D perception: a survey // Intelligence and Robotics. 2022. V. 2. P. 105–129. https://doi.org/10.20517/ir.2021.20

30. Li H.T., Todd Z., Bielski N., Carroll F. 3D lidar point-cloud projection operator and transfer machine learning for effective road surface features detection and segmentation // Visual Computer. 2022. V. 38. N 5. P. 1759–1774. https://doi.org/10.1007/s00371-021-02103-8

31. Di Stefano F., Chiappini S., Gorreja A., Balestra M., Pierdicca R. Mobile 3D scan LiDAR: a literature review // Geomatics, Natural Hazards and Risk. 2021. V. 12. N 1. P. 2387–2429. https://doi.org/10.1080/19475705.2021.1964617

32. Asvadi A., Premebida C., Peixoto P., Nunes U. 3D Lidar-based static and moving obstacle detection in driving environments: An approach based on voxels and multi-region ground planes // Robotics and Autonomous Systems. 2016. V. 83. P. 299–311. https://doi.org/10.1016/J.ROBOT.2016.06.007

33. Nguyen T.A., Nguyen P.T., Do S.T. Application of BIM and 3D laser scanning for quantity management in construction projects // Advances in Civil Engineering. 2020. V. 2020. https://doi.org/10.1155/2020/8839923

34. Богданов А.Н., Алешутин И.А. Наземное лазерное сканирование в строительстве и BIM-технологиях // Известия Казанского государственного архитектурно-строительного университета. 2018. № 4(46). С. 326–332.

35. Рада А.О., Кузнецов А.Д., Непомнищев И.Л., Коньков Н.Ю. Совершенствование измерений объемных объектов по данным лазерного сканирования // Уголь. 2023. № 12. С. 37–43. https://doi.org/10.18796/0041-5790-2023-12-37-43

36. Дайнеко О. В., Калиновская Л. Ф., Бессонов Н. В. Особенности метрологического контроля бесконтактных систем измерения геометрических размеров металлопродукции // Литье и металлургия. 2021. № 1. С. 91–94. https://doi.org/10.21122/1683-6065-2021-1-91-94

37. Гиря Л.В., Трофимов Г.П. Обследование памятников архитектуры с использованием современных технологий трёхмерного сканирования // Вестник Томского государственного архитектурно-строительного университета. 2022. Т. 24. № 6. С. 35−43. https://doi.org/10.31675/1607-1859-2022-24-6-35-43

38. Casula G., Cuccuru F., Bianchi M.G., Fais S., Ligas P. High resolution 3-D modelling of cylinder shape bodies applied to ancient columns of a church // Advances in Geosciences. 2020. V. 54. P. 119–127. https://doi.org/10.5194/adgeo-54-119-2020

39. Toneva D., Nikolova S., Georgiev I., Lazarov N. Impact of resolution and texture of laser scanning generated three-dimensional models on landmark identification // Anatomical Record. 2020. V. 303. N 7. P. 1950–1965. https://doi.org/10.1002/ar.24272

40. Bhatti A.Q., Wahab A., Sindi W. An overview of 3D laser scanning techniques and application on digitization of historical structures // Innovative Infrastructure Solutions. 2021. V. 6. N 4. P. 186. https://doi.org/10.1007/s41062-021-00550-9

41. Haleem A., Javaid M. 3D scanning applications in medical field: a literature-based review // Clinical Epidemiology and Global Health. 2019. V. 7. N 2. P. 199–210. https://doi.org/10.1016/j.cegh.2018.05.006

42. Javaid M., Haleem A., Kumar L. Current status and applications of 3D scanning in dentistry // Clinical Epidemiology and Global Health. 2019. V. 7. N 2. P. 228–233. https://doi.org/10.1016/j.cegh.2018.07.005

43. Алтынцев М.А., Чернов А.В. Применение технологии лазерного сканирования для моделирования объектов недвижимости в 3D-кадастре // Геодезия и картография. 2018. T. 79. № 9. P. 52–63. https://doi.org/10.22389/0016-7126-2018-939-9-52-63

44. Hu C., Kong L., Lv F. Application of 3D laser scanning technology in engineering field // E3S Web of Conferences. 2021. V. 233. P. 04014. https://doi.org/10.1051/e3sconf/202123304014

45. Kim H., Yeo C., Cha M., Mun D. A method of generating depth images for view-based shape retrieval of 3D CAD models from partial point clouds // Multimedia Tools and Applications. 2021. V. 80. N 7. P. 10859–10880. https://doi.org/10.1007/s11042-020-10283-z

46. Руденко А.В., Руденко М.А., Каширина И.Л. Алгоритмы 3D-реконструкции и расчета параметров объектов по результатам детектирования на медицинских изображениях // Моделирование, оптимизация и информационные технологии. 2024. Т. 12. № 2(45). https://doi.org/10.26102/2310-6018/2024.45.2.013

47. Лиманова Н.И., Атаев С.Г. Метод анализа снимков компьютерной томографии на основе поэтапной бинаризации изображений и его программная реализация // Информационно-управляющие системы. 2018. № 3. С. 98–106. https://doi.org/10.15217/issn1684-8853.2018.3.98

48. Kerstens A., Corthout N., Pavie B., Huang Z., Vernaillen F., Vande Velde G., Munck S. A Label-free multicolor optical surface tomography (ALMOST) imaging method for nontransparent 3D samples // BMC Biology. 2019. V. 17. N 1. P. 1. https://doi.org/10.1186/s12915-018-0614-4

49. Du Z., Hu Y., Ali Buttar N., Mahmood A. X-ray computed tomography for quality inspection of agricultural products: A review // Food Science and Nutrition. 2019. V. 7. N 10. P. 3146–3160. https://doi.org/10.1002/fsn3.1179

50. Zhang X., Cheng L., Liu Y., Tao B., Wang J., Liao R. A review of non-destructive methods for the detection tiny defects within organic insulating materials // Frontiers in Materials. 2022. V. 9. P. 995516. https://doi.org/10.3389/fmats.2022.995516

51. Szabo I., Sun J., Feng G., Kanfoud J., Gan T.H., Selcuk C. Automated defect recognition as a critical element of a three dimensional X-ray computed tomography imaging-based smart non-destructive testing technique in additive manufacturing of near net-shape parts // Applied Sciences. 2017. V. 7. N 11. P. 1156. https://doi.org/10.3390/app7111156

52. Kastner J., Heinzl C. X-ray computed tomography for non-destructive testing and materials characterization // Integrated Imaging and Vision Techniques for Industrial Inspection: Advances and Applications. Springer, 2015. P. 227–250. https://doi.org/10.1007/978-1-4471-6741- 9_8

53. Veikutis V., Budrys T., Basevicius A., Lukosevicius S., Gleizniene R., Unikas R., Skaudickas D. Artifacts in computer tomography imaging: how it can really affect diagnostic image quality and confuse clinical diagnosis? // Journal of Vibroengineering. 2015. V. 17. N 2. P. 995– 1003.

54. Bauer F., Forndran D., Schromm T., Grosse C.U. Practical partspecific trajectory optimization for robot-guided inspection via computed tomography // Journal of Nondestructive Evaluation. 2022. V. 41. N 3. P. 55. https://doi.org/10.1007/s10921-022-00888-9

55. He B., Zhang Y., Zhao L., Sun Z., Hu X., Kang Y., Wang L., Li Z., Huang W., Li Z., Xing G., Hua F., Wang C., Xue P., Zhang N. Robotic-OCT guided inspection and microsurgery of monolithic storage devices // Nature Communication. 2023. V.14. P. 5701. https://doi.org/10.1038/s41467-023-41498-x

56. Smakic A., Rathmann N., Kostrzewa M., Schönberg S.O., Weiß C., Diehl S.J. Performance of a robotic assistance device in computed tomography-guided percutaneous diagnostic and therapeutic procedures // CardioVascular and Interventional Radiology. 2018. V. 41. N 4. P. 639–644. https://doi.org/10.1007/s00270-017-1841-8

57. Егорова Д.А., Куликов А.В., Мухтубаев А.Б., Плотников М.Ю. Волоконно-оптическая измерительная система для определения положения и изгибов протяженных объектов в пространстве // Научно-технический вестник информационных технологий, механики и оптики. 2020. Т. 20. № 3. С. 346–352. https://doi.org/10.17586/2226-1494-2020-20-3-346-352

58. Бутов О.В., Базакуца А.П., Чаморовский Ю.К., Федоров А.Н., Шевцов И.А. Полностью волоконный высокочувствительный датчик изгиба для атомной промышленности // Фотон-Экспресс. 2019. № 6. С. 26–27. https://doi.org/10.24411/2308-6920-2019-16008

59. Исламов Р.Р., Агиней Р.В., Исупова Е.В. Анализ средств и методов мониторинга напряженного состояния подземных магистральных нефтегазопроводов, работающих в сложных инже нерно-геологических условиях // Транспорт и хранение нефте продуктов и углеводородного сырья. 2017. № 6. С. 31–40.

60. Качура С.М., Постнов В.И. Перспективные оптоволоконные датчики и их применение (обзор) // Труды ВИАМ. 2019. № 5(77). С. 52–61. https://doi.org/10.18577/2307-6046-2019-0-5-52-61

61. Di H., Xin Y., Jian J. Review of optical fiber sensors for deformation measurement // Optik. 2018. V. 168. P. 703–713. https://doi.org/10.1016/j.ijleo.2018.04.131

62. Fröch J.E., Huang L., Tanguy Q.A., Colburn S., Zhan A., Ravagli A., Seibel E.J., Böhringer K.F., Majumdar A. Real time full-color imaging in a Meta-optical fiber endoscope // eLight. 2023. V. 3. N 1. P. 13. https://doi.org/10.1186/s43593-023-00044-4

63. Belinsky A.V., Gostev P.P., Magnitskiy S.A., Chirkin A.S. Ghost fiber optic 3D endoscopy // JETP Letters. 2023. V. 117. N 3. P. 202–206. https://doi.org/10.1134/S0021364022602718

64. Peng X., Kong L. Design of a real-time fiber-optic infrared imaging system with wide-angle and large depth of field // Chinese Optics Letters. 2022. V. 20. N 1. P. 011201. https://doi.org/10.3788/COL202220.011201

65. Amitonova L.V. Multimode fiber endoscopes for computational brain imaging // Neurophotonics. 2024. V. 11. N S1. P. S11509. https://doi.org/10.1117/1.NPh.11.S1.S11509

66. Stellinga D., Phillips D.B., Mekhail S.P., Selyem A., Turtaev S., Čižmár T., Padgett M.J. Time-of-flight 3D imaging through multimode optical fibers // Science. 2021. V. 374. N 6573. P. 1395– 1399. https://doi.org/10.1126/science.abl3771

67. Caramazza P., Moran O., Murray-Smith R., Faccio D. Transmission of natural scene images through a multimode fibre // Nature Communications. 2019. V. 10. P. 2029. https://doi.org/10.1038/s41467-019-10057-8

68. Rahmani B., Oguz I., Tegin U., Hsieh J., Psaltis D., Moser C. Learning to image and compute with multimode optical fibers // Nanophotonics. 2022. V. 11. N 6. P. 1071–1082. https://doi.org/10.1515/nanoph-2021-0601

69. Wang L., Qi T., Liu Z., Meng Y., Li D., Yan P., Gong M., Xiao Q. Complex pattern transmission through multimode fiber under diverse light sources // APL Photonics. 2022. V. 7. N 10. P. 106104. https://doi.org/10.1063/5.0098370

70. Xin L., Liu X., Yang Z., Zhang X., Gao Z., Liu Z. Three-dimensional reconstruction of super-resolved white-light interferograms based on deep learning // Optics and Lasers in Engineering. 2021. V. 145. P. 106663. https://doi.org/10.1016/j.optlaseng.2021.106663

71. Osten W., Pedrini G. 55 years of holographic non-destructive testing and experimental stress analysis: is there still progress to be expected? // Light: Advanced Manufacturing. 2022. V. 3. N 1. P. 121– 136. https://doi.org/10.37188/lam.2022.008

72. Petrov V., Pogoda A., Sementin V., Sevryugin A., Shalymov E., Venediktov D., Venediktov V. Advances in digital holographic interferometry // Journal of Imaging. 2022. V. 8. N 7. P. 196. https://doi.org/10.3390/jimaging8070196

73. Javidi B., Carnicer A., Anand A., Barbastathis G., Chen W., Ferraro P., Goodman J.W., Horisaki R., Khare K., Kujawinska M., Leitgeb R.A., Marquet P., Nomura T., Ozcan A., Park Y., Pedrini G., Picart P., Rosen J., Saavedra G., Shaked N.T., Stern A., Tajahuerce E., Tian L., Wetzstein G., Yamaguchi M. Roadmap on digital holography // Optics Express. 2021. V. 29. N 22. P. 35078–35118. https://doi.org/10.1364/OE.435915

74. Behal J., Memmolo P., Miccio L., Bianco V., Ferraro P. On the optical performance of incoherent digital holography for extended 3D objects // Optics & Laser Technology. 2024. V. 170. P. 110286. https://doi.org/10.1016/j.optlastec.2023.110286

75. Tahara T. Review of incoherent digital holography: applications to multidimensional incoherent digital holographic microscopy and palm-sized digital holographic recorder–holosensor // Frontiers in Photonics. 2022. V. 2. https://doi.org/10.3389/fphot.2021.829139

76. Zeppieri M., Marsili S., Enaholo E.S., Shuaibu A.O., Uwagboe N., Salati C., Spadea L., Musa M. Optical coherence tomography (OCT): A brief look at the uses and technological evolution of ophthalmology // Medicina. 2023. V. 59. N 12. P. 2114. https://doi.org/10.3390/medicina59122114

77. Zheng S., Bai Y., Xu Z., Liu P., Ni G. Optical coherence tomography for three-dimensional imaging in the biomedical field: A review // Frontiers in Physics. 2021. V. 9. https://doi.org/10.3389/fphy.2021.744346

78. Koponen A., Haavisto S. Analysis of industry-related flows by optical coherence tomography – a review // KONA Powder and Particle Journal. 2020. V. 37. P. 42–63. https://doi.org/10.14356/kona.2020003