Структурный анализ изображения и адаптивный резонанс в искусственных нейронных сетях (обзорная статья)

Введение. Наблюдаемый мир иерархически структурирован. Механизм взаимодействия встречных информационных потоков в иерархически организованной системе был назван «адаптивным резонансом» и успешно промоделирован полвека назад в искусственной нейронной сети, анализирующей обонятельные стимулы, а затем — при распознавании изображений. В дальнейшем полезный потенциал совместного применения в нейронных сетях принципов структурного анализа и адаптивного резонанса долго не использовался. В последние годы эти принципы были применены в капсульных сетях и позволили превзойти результаты, достигнутые другими моделями нейронных сетей. Это показало необходимость систематизировать использованные пути их реализации.

Метод. Выполнен анализ научно-технических работ, опубликованных за последние 50 лет по применению принципов структурного анализа и адаптивного резонанса при обработке изображений в искусственных нейронных сетях. Основные результаты. Сравнительный анализ подтвердил эффективность применения этих принципов при решении задач автоматической обработки изображений и выявил пути их наиболее эффективной реализации в искусственных нейронных сетях.

Обсуждение. В связи с успехами, достигнутыми сверточными сетями при распознавании изображений, их разработчики не применяли связанные с особенностями организации наблюдаемого мира принципы структурного анализа и адаптивного резонанса. Однако использование данных принципов позволяет более эффективно решать задачи обработки изображений, и дальнейшие исследования в области искусственных нейронных сетей целесообразно проводить в этом направлении.

1. Grossberg S. Adaptive pattern classification and universal recoding: II. Feedback, expectation, olfaction, illusions // Biological Cybernetics. 1976. V. 23. N 4. P. 187–202. https://doi.org/10.1007/BF00340335

2. Carpenter G.A., Grossberg S. Category learning and adaptive pattern recognition: a neural network model // Proc. of the 3rd Army Conference on Applied Mathematics and Computing. 1986. P. 37–56.

3. Carpenter G.A., Grossberg S. ART 2: Self-organization of stable category recognition codes for analog input patterns // Applied Optics. 1987. V. 26. N 12. P. 4919–4930. https://doi.org/10.1364/AO.26.004919

4. Rumelhart D.E. Learning Internal Representations by Error Propagation. Institute for Cognitive Science, 1985. 34 p.

5. Yamada K., Kami H., Tsukumo J., Temma T. Handwritten numeral recognition by multilayered neural network with improved learning algorithm // Proc. of the International 1989 Joint Conference on Neural Networks. 1989. P. 259–266. https://doi.org/10.1109/IJCNN.1989.118708

6. Fukushima K. Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position // Biological Cybernetics. 1980. V. 36. N 4. P. 193–202. https://doi.org/10.1007/bf00344251

7. Krizhevsky A., Sutskever I., Hinton G.E. ImageNet classification with deep convolutional neural networks // Proc. of the 26th International Conference on Neural Information Processing Systems (NIPS'12). 2012. V. 1. P. 1097–1105.

8. Fukushima K. A neural network model for selective attention in visual pattern recognition // Biological Cybernetics. 1986. V. 55. N 1. P. 5–15. https://doi.org/10.1007/BF00363973

9. Hopfield J.J., Tank D.W. Neural computation of decisions in optimization problems // Biological Cybernetics. 1985. V. 52. N 3. P. 141–152. https://doi.org/10.1007/bf00339943

10. Lutsiv V.R., Novikova T.A. On the use of neurocomputer for stereoimage processing // Pattern Recognition and Image Analysis // Advances in Mathematical Theory and Applications. 1992. V. 2. N 4. P. 441–444.

11. Данилов Е.П., Луцив В.Р., Новикова Т.А., Малышев И.А. Разработка методов и алгоритмов реализации интеллектуальных вычислительных устройств с использованием нейронных сетей в интересах задач анализа и сопоставления изображений. Отчет о работе 22201-007-94, Шифр «Нейросеть». СПб.: Государственный оптический институт им. С.И. Вавилова, С.-Петербург, 1994. С. 39–50.

12. Dolinov D.S., Zherebko A.K., Lutsiv V.R., Novikova T.A. Using artificial neural networks in image processing problems //Journal of Optical Technology. 1997. V. 64. N 2. P. 112–118.

13. Lutsiv V.R., Malyshev I.A., Pepelka V.A. Automatic fusion of multiple-sensor and multiple-season images // Proceedings of SPIE. 2001. V. 4380. P. 174–183. https://doi.org/10.1117/12.436990

14. Lutsiv V.R., Malyshev I.A., Pepelka V.A., Potapov A.S. The Target independent algorithms for description and structural matching of aerospace photographs // Proceedings of SPIE. 2002. V. 4741. P. 351–362. https://doi.org/10.1117/12.478732

15. Луцив В. Автоматический анализ изображений: Объектно-независимый структурный подход. Саарбрюккен: Ламберт Академик Паблишинг, 2011. 308 с.

16. Слэйгл Д.P. Искусственный интеллект: подход на основе эвристического программирования. М.: Мир, 1973. 319 с.

17. Lutsiv V.R., Malyshev I.A., Potapov A.S. Hierarchical structural matching algorithms for registration of aerospace images // Proceedings of SPIE. 2003. V. 5238. P. 164–175. https://doi.org/10.1117/12.511770

18. Ponomarev S., Lutsiv V., Malyshev I. Automatic structural matching of 3D image data // Proceedings of SPIE. 2015. V. 9649. P. 96490M. https://doi.org/10.1117/12.2194312

19. Girshick R., Iandola F., Darrell T., Malik J. Deformable part models are convolutional neural networks // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. P. 437–446. https://doi.org/10.1109/cvpr.2015.7298641

20. Felzenszwalb P.F., Girshick R.B., McAllester D., Ramanan D. Object detection with discriminatively trained part-based models // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2010. V. 32. N 9. P. 1627–1645. https://doi.org/10.1109/tpami.2009.167

21. Yang Y., Ramanan D. Articulated human detection with flexible mixtures of parts // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2013. V. 35. N 12. P. 2878–2890. https://doi.org/10.1109/tpami.2012.261

22. Wang Y., Tran D., Liao Z. Learning hierarchical poselets for human parsing // CVPR 2011. P. 1705–1712. https://doi.org/10.1109/cvpr.2011.5995519

23. Wan L., Eigen D., Fergus R. End-to-end integration of a convolutional network, deformable parts model and non-maximum suppression // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. P. 851–859. https://doi.org/10.1109/cvpr.2015.7298686

24. Girshick R., Donahue J., Darrell T., Malik J. Rich feature hierarchies for accurate object detection and semantic segmentation // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition. 2014. P. 580–587. https://doi.org/10.1109/CVPR.2014.81

25. Hinton G.E., Krizhevsky A., Wang S.D. Transforming autoencoders // Lecture Notes in Computer Science. 2011. V. 6791. P. 44–51. https://doi.org/10.1007/978-3-642-21735-7_6

26. Sabour S., Frosst N., Hinton G.E. Dynamic routing between capsules // arXiv. 2017. arXiv:1710.09829v2. https://doi.org/10.48550/arXiv.1710.09829

27. Hinton G., Sabour S., Frosst N. Matrix capsules with EM routing // Proc. of the 6th International Conference on Learning Representations (ICLR 2018). 2018. P. 1–15.

28. LeCun Y., Huang F.J., Bottou L. Learning methods for generic object recognition with invariance to pose and lighting // Proc. of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2004). 2004. P. 97–104. https://doi.org/10.1109/cvpr.2004.1315150

29. Kosiorek A.R., Sabour S., Teh Y.W., Hinton G.E. Stacked capsule autoencoders // arXiv. 2019. arXiv:1906.06818v2. https://doi.org/10.48550/arXiv.1906.06818

30. Lee J., Lee Y., Kim J., Kosiorek A.R., Choi S., Teh Y.W. Set Transformer: a framework for attention-based permutation-invariant neural networks // arXiv. 2019. arXiv:1810.00825v3. https://doi.org/10.48550/arXiv.1810.00825

31. Haeusser P., Plapp J., Golkov V., Aljalbout E., Cremers D. Associative deep clustering: training a classification network with no labels // Lecture Notes in Computer Science. 2019. V. 11269. P. 18–32. https://doi.org/10.1007/978-3-030-12939-2_2

32. Sun W., Tagliasacchi A., Deng B., Sabour S., Yazdani S., Hinton G., Yi K.M. Canonical capsules: self-supervised capsules in canonical pose // arXiv. 2021. arXiv:2012.04718v2. https://doi.org/10.48550/arXiv.2012.04718

33. Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A.N., Kaiser L., Polosukhin I. Attention is all you need // arXiv. 2017. arXiv:1706.03762v5. https://doi.org/10.48550/arXiv.1706.03762

34. Parmar N., Vaswani A., Uszkoreit J., Kaiser L., Shazeer N., Ku A., Tran D. Image Transformer // arXiv. 2018. arXiv:1802.05751v3. https://doi.org/10.48550/arXiv.1802.05751

35. Dosovitskiy A., Beyer L., Kolesnikov A., Weissenborn D., Zhai X., Unterthiner T., Dehghani M., Minderer M., Heigold G., Gelly S., Uszkoreit J., Houlsby N. An image is worth 16x16 words: transformers for image recognition at scale // arXiv. 2021. https://doi.org/10.48550/arXiv.2010.11929

36. Hinton G. How to represent part-whole hierarchies in a neural network // Neural Computation. 2023. V. 35. N 3. P. 413–452. https://doi.org/10.1162/neco_a_01557

37. Kohonen T. Self-organization and Associative Memories. Springer, 1984. 255 p.

38. Луцив В.Р., Михалькова М.А., Ячная В.О. Компьютерное зрение: учеб. пособие: в 3 ч. Ч. 3. Современные модификации архитектур нейронных сетей и методы улучшения изображений. СПб.: ГУАП, 2024. 196 с.