Способ быстрой разметки сверхбольших данных аэросъемки

Введение. Современные нейросетевые технологии активно применяются для беспилотных летательных аппаратов. Для решения задач детектирования, классификации и сопровождения объектов, расположенных на поверхности Земли, используются сверточные нейронные сети. Для повышения эффективности работы сверточных нейронных сетей требуется периодическое дообучение применяемых моделей нейронных сетей на вновь поступающих полетных данных. Такие обучающие данные необходимо дополнительно размечать. Это приводит к увеличению общего времени подготовки дообученной модели нейронной сети. Задача сокращения времени разметки чаще всего решается путем применения процедуры авторазметки и трекинга размеченных объектов. Однако существующие подходы не являются эффективными при разметке сверхбольших данных аэросъемки со стандартной для беспилотных летательных аппаратов большой продолжительностью полета (более 8 ч). Таким образом, задача поиска дополнительных способов сокращения времени разметки является актуальной. В данной работе предложен способ быстрой разметки данных аэросъемки, собранных с видеокамер в процессе полетов беспилотных летательных аппаратов. Метод. Стандартная процедура разметки дополнена прореживанием сильно перекрывающихся кадров в сочетании с последующим переносом результирующей разметки на все кадры размечаемого видео. Для каждого оставшегося после прореживания кадра вычисляется значение его потенциальной информативности (Potential Information Value, PIV), как совокупная оценка аномалий кадра, его качества и количества автоматически детектированных объектов. Полученные значения PIV используются для ранжирования кадров по уровню значимости. Таким образом, оператору беспилотного летательного аппарата предоставляются в начале процедуры разметки наиболее значимые кадры. Основные результаты. Экспериментальное исследование эффективности предложенного подхода выполнено на подготовленных наборах данных аэросъемки, полученных с беспилотного летательного аппарата с продолжительностью съемки не менее 8 ч. Показано, что время разметки может быть уменьшено в среднем на 50 % относительно применения существующих программных средств. При этом первые 40 % отсортированных кадров содержат 80 % размеченных объектов. Обсуждение. Предложенный способ позволяет существенно уменьшить итоговое время разметки вновь поступающих полетных видеоданных для дальнейшего дообучения модели сверточных нейронных сетей. Это позволяет провести разметку непосредственно в межполетный интервал времени, составляющий в среднем 2–3 ч. Предлагаемый подход может быть применен для уменьшения загрузки операторов беспилотного летательного аппарата.

1. Zhao Z., Zheng P., Xu S., Wu X. Object detection with deep learning: A review. arXiv, 2019, arXiv:1807.05511. https://doi.org/10.48550/arXiv.1807.05511

2. Ren S., He K., Girshick R., Sun J. Faster R-CNN: Towards real-time object detection with region proposal networks. Advances in Neural Information Processing Systems, 2015, vol. 28, pp. 91–99.

3. Liu S., Liu Z. Multi-channel CNN-based object detection for enhanced situation awareness. Sensors & Electronics Technology (SET) panel Symposium SET-241 on 9th NATO Military Sensing Symposium, 2017.

4. Mahalanobis A., McIntosh B. A comparison of target detection algorithms using DSIAC ATR algorithm development data set. Proceedings of SPIE, 2019, vol. 10988, pp. 1098808. https://doi.org/10.1117/12.2517423

5. Liu W., Anguelov D., Erhan D., Szegedy C., Reed S., Fu C.-Y., Berg A. SSD: Single shot multibox detector. Lecture Notes in Computer Science, 2016, vol. 9905, pp. 21–37. https://doi.org/10.1007/978-3-319-46448-0_2

6. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional networks for biomedical image segmentation. Lecture Notes in Computer Science, 2015, vol. 9351, pp. 234–241. https://doi.org/10.1007/978-3-319-24574-4_28

7. Redmon J. Farhadi A. YOLO9000: better, faster, stronger. Proc. of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 6517–6525. https://doi.org/10.1109/ CVPR.2017.690

8. Chen H-W., Reyes M., Marquand B., Robie D. Advanced automated target recognition (ATR) and multi-target tracker (MTT) with electrooptical (EO) sensors. Proceedings of SPIE, 2020, vol. 11511, pp. 115110V. https://doi.org/10.1117/12.2567178

9. Redmon J., Farhadi A. YOLOv3: An Incremental Improvement. arXiv, 2018, ar.Xiv:1804.02767v1. https://doi.org/10.48550/arXiv.1804.02767

10. Wang C.Y., Bochkovskiy A., Liao M. YOLOv7: Trainable bag-offreebies sets new state-of-the-art for real-time object detectors. Proc. of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023. https://doi.org/10.1109/CVPR52729.2023.00721

11. Fedulin A.M., Evstaf’ev D.V., Kondrashova G.L., Artemenko N.V. Human-autonomy teaming interface design for multiple-UAV control. Russian Aeronautics, 2022, vol. 65, no. 2, pp. 419–424. https://doi.org/10.3103/S1068799822020222

12. Barnell M., Raymond C., Capraro Ch., Isereau D., Cicotta Ch., Stokes N. High-performance computing (HPC) and machine learning demonstrated in flight using agile condor. Proc. of the 2018 IEEE High Performance extreme Computing Conference (HPEC), 2018, pp. 1–4. https://doi.org/10.1109/HPEC.2018.8547797

13. Fedulin A.M., Driagin D.M. Prospects of MALE-class UAVs using for the huge territories aerial survey. Izvestiya SFedU. Engineering Sciences, 2021, no. 1(218), pp. 271–281. (in Russian). https://doi.org/10.18522/2311-3103-2021-1-271-281

14. Fei-Fei L., Fergus R., Perona P. One-shot learning of object categories. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, vol. 28, no. 4, pp. 594–611. https://doi.org/10.1109/tpami.2006.79

15. Fink M. Object classifcation from a single example utilizing class relevance metrics. Advances in Neural Information Processing Systems, 2004, vol. 17, pp. 449–456.

16. Alajaji D., Alhichri H.S., Ammour N., Alajlan N. Few-shot learning for remote sensing scene classification. Proc. of the 2020 Mediterranean and Middle-East Geoscience and Remote Sensing Symposium (M2GARSS), pp. 81–84. https://doi.org/10.1109/ M2GARSS47143.2020.9105154

17. Sager Ch., Janiesch Ch., Zschech P. A survey of image labelling for computer vision applications. Journal of Business Analytics, 2021, vol. 4, no. 2, pp. 91–110. https://doi.org/10.1080/2573234X.2021.1908861

18. Oprea A., Vassilev A., Fordyce A., Anderson H. Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations: Report NIST AI100-2E2023. 107 p. https://doi.org/10.6028/NIST. AI.100-2e2023

19. Choi J.I., Tian Q. Adversarial attack and defense of YOLO detectors in autonomous driving scenarios. Proc. of the 2022 IEEE Intelligent Vehicles Symposium (IV), 2022, pp. 1011–1017. https://doi.org/10.1109/IV51971.2022.9827222

20. Wang C.Y., Bochkovskiy A., Liao H.Y.M. YOLOv7: Trainable bagof-freebies sets new state-of-the-art for real-time object detectors. Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 7464–7475. https://doi.org/10.1109/cvpr52729.2023.00721

21. Defard T., Setkov A., Loesch A., Audigier R. PaDiM: A Patch distribution modeling framework for anomaly detection and localization. Lecture Notes in Computer Science, 2021, vol. 12664, pp. 475–489. https://doi.org/10.1007/978-3-030-68799-1_35

22. Ilg E., Mayer N., Saikia T., Keuper M., Dosovitskiy A., Brox T. Flownet 2.0: Evolution of optical flow estimation with deep networks. Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 1647–1655. https://doi.org/10.1109/cvpr.2017.179

23. Guillermo M., Billones R.K., Bandala A., Vicerra R.R., Sybingco E., Dadios E.P., Fillone A. Implementation of automated annotation through mask RCNN Object Detection Model in CVAT using AWS EC2 Instance. Proc.of the 2020 IEEE REGION 10 CONFERENCE (TENCON), 2020, pp. 708–713. https://doi.org/10.1109/tencon50793.2020.9293906