Использование топологического анализа данных для построения байесовских нейронных сетей

Введение. Впервые предложен упрощенный подход к построению байесовских нейронных сетей, сочетающий вычислительную эффективность с возможностью анализа процесса обучения. Метод. Предлагаемый подход основан на байесианизации детерминированной нейронной сети посредством рандомизации параметров только на уровне интерфейса. Формирование байесовской нейронной сети на основе заданной сети осуществляется путем замены ее параметров на вероятностные распределения, которые имеют в качестве среднего значения параметры исходной модели. Оценки метрик эффективности нейронной сети, полученной в рамках рассматриваемого подхода, и байесовской нейронной сети, построенной посредством вариационного вывода, выполнены с использованием методов топологического анализа данных. Основные результаты. Процедура байесианизации реализована с помощью градуированного варьирования интенсивности рандомизации. В качестве альтернативы использованы две нейронные сети с идентичной структурой — детерминированная и классическая байесовская. На вход нейронной сети подавались исходные данные двух датасетов из медицинского домена в вариантах без зашумления и с добавленным гауссовским шумом. Рассчитаны нулевые и первые персистентные гомологии для эмбеддингов формируемых нейронных сетей на каждом из слоев. Для оценки качества классификации использована метрика точности (accuracy). Показано, что баркоды для эмбеддингов на каждом слое байесианизированной нейронной сети во всех четырех сценариях находятся между соответствующими баркодами детерминированной и байесовской нейронной сетей как для нулевых, так и для первых персистентных гомологий. При этом детерминированная нейронная сеть является нижней границей, а байесовская — верхней. Показано, что структура ассоциаций данных внутри байесианизированной нейронной сети наследуется от детерминированной модели, однако приобретает свойства байесовской. Экспериментально установлено наличие взаимосвязи между нормированной персистентной энтропией, вычисляемой на эмбеддингах нейронной сети, и точностью нейронной сети. Для предсказания точности наиболее показательной оказалась топология эмбеддингов на среднем слое модели нейронной сети. Обсуждение. Предлагаемый подход может быть использован для упрощения построения байесовской нейронной сети из уже обученной детерминированной нейронной сети. Это открывает возможности повышения точности существующей нейронной сети без ансамблирования с дополнительными классификаторами. Появляется возможность проактивной оценки эффективности формируемой нейронной сети на упрощенных данных без запуска на реальном датасете, что сокращает ресурсоемкость ее разработки.

1. Chazal F., Michel B. An introduction to topological data analysis: fundamental and practical aspects for data scientists // Frontiers in Artificial Intelligence. 2021. V. 4. https://doi.org/10.3389/frai.2021.667963

2. Edelsbrunner H., Harer J. Computational topology: an introduction. American Mathe-matical Soc., 2010 [Электронный ресурс]. URL: https://www.maths.ed.ac.uk/~v1ranick/papers/edelcomp.pdf (дата обращения: 10.11.2023).

3. Ritter H., Kukla M., Zhang C., Li Y. Sparse uncertainty representation in deep learning with inducing weights // Advances in Neural Information Processing Systems. 2021. V. 8. P. 6515–6528.

4. Prabhudesai S., Hauth J., Guo D., Rao A., Banovic N., Huan X. Lowering the computational barrier: Partially Bayesian neural networks for transparency in medical imaging AI // Frontiers in Computer Science. 2023. V. 5. https://doi.org/10.3389/fcomp.2023.1071174

5. Zomorodian A., Carlsson G. Computing persistent homology // Discrete & Computational Geometry. 2005. V. 33. N 2. P. 249–274. https://doi.org/10.1007/s00454-004-1146-y

6. Wasserman L. Topological data analysis // Annual Review of Statistics and Its Application. 2018. V. 5. P. 501–532. https://doi.org/10.1146/annurev-statistics-031017-100045

7. Carlsson G., Gabrielsson R.B. Topological approaches to deep learning // Topological Data Analysis. Springer, 2020. P. 119–146. https://doi.org/10.1007/978-3-030-43408-3_5

8. Hensel F., Moor M., Rieck B. A survey of topological machine learning methods // Frontiers in Artificial Intelligence. 2021. V. 4. https://doi.org/10.3389/frai.2021.681108

9. Moroni D., Pascali M.A. Learning topology: bridging computational topology and machine learning // Pattern Recognition and Image Analysis. 2021. V. 31. N 3. P. 443–453. https://doi.org/10.1134/S1054661821030184

10. Zia A., Khamis A., Nichols J., Hayder Z., Rolland V., Peterssonet L. Topological deep learning: A review of an emerging paradigm // arXiv. arXiv:2302.03836v1. 2023. https://doi.org/10.48550/arXiv.2302.03836

11. Goibert M., Ricatte T., Dohmatob E. An adversarial robustness perspective on the topology of neural networks // arXiv. 2022. arXiv:2211.02675. https://doi.org/10.48550/arXiv.2211.02675

12. Chen C., Ni X., Bai Q., Wang Y. A topological regularizer for classifiers via persistent homology // Proc. of the AISTATS 2019 — 22nd International Conference on Artificial Intelligence and Statistics. 2020.

13. Ramamurthy K.N., Varshney K.R., Mody K. Topological data analysis of decision boundaries with application to model selection // Proc. of the 36th International Conference on Machine Learning (ICML). 2019. P. 9316–9325.

14. Gabrielsson R.B., Carlsson G. Exposition and interpretation of the topology of neural networks // Proc. of the 18th IEEE International Conference on Machine Learning and Applications (ICMLA). 2019. P. 1069–1076.

15. Rieck B., Togninalli M., Bock C., Moor M., Horn M., Gumbsch T., Borwardt K. Neural persistence: A complexity measure for deep neural networks using algebraic topology // Proc. of the 7th International Conference on Learning Representations (ICLR). 2019.

16. McGuire S., Jackson S., Emerson T., Kvinge H. Do neural networks trained with topological features learn different internal representations? // Proceedings of Machine Learning Research. 2023. V. 197. P. 122–136.

17. Guss W.H., Salakhutdinov R. On characterizing the capacity of neural networks using algebraic topology // arXiv. 2018. arXiv:1802.04443v1. https://doi.org/10.48550/arXiv.1802.04443

18. Bergomi M.G., Frosini P., Giorgi D., Quercioli N. Towards a topological–geometrical theory of group equivariant non-expansive operators for data analysis and machine learning // Nature Machine Intelligence. 2019. V. 1. N 9. P. 423–433. https://doi.org/10.1038/s42256-019-0087-3

19. Hofer C.D., Graf F., Niethammer M., Kwitt R. Topologically densified distributions // Proc. of the 37th International Conference on Machine Learning (ICML). 2020. P. 4254–4263.

20. Naitzat G., Zhitnikov A., Lim L.-H. Topology of deep neural networks // The Journal of Machine Learning Research. 2020. V. 21. N 1. P. 7503–7542.

21. Gal Y., Ghahramani Z. Dropout as a Bayesian approximation: Representing model uncertainty in deep learning // Proc. of the 33rd International Conference on Machine Learning (ICML). 2016. P. 1651–1660.