ntvНаучно-технический вестник информационных технологий, механики и оптикиScientific and Technical Journal of Information Technologies, Mechanics and Optics2226-14942500-0373Университет ИТМО10.17586/2226-1494-2023-23-6-1187-1197ntv-33Research ArticleИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ И КОГНИТИВНЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИARTIFICIAL INTELLIGENCE AND COGNITIVE INFORMATION TECHNOLOGIESИспользование топологического анализа данных для построения байесовских нейронных сетейUsing topological data analysis for building Bayesan neural networkshttps://orcid.org/0000-0002-5483-716XВатьянА. С.VatianA. S.

Ватьян Александра Сергеевна — кандидат технических наук, доцент

Санкт-Петербург, 197101

sc 57191870868

Alexandra S. Vatian — PhD, Associate Professor

Saint Petersburg, 197101

sc 57191870868

alexvatyan@gmail.comГусароваН. Ф.GusarovaN. F.

Гусарова Наталия Федоровна — кандидат технических наук, доцент

Санкт-Петербург, 197101

sc 57162764200

Natalia F. Gusarova — PhD, Associate Professor

Saint Petersburg, 197101

sc 57162764200

natfed@list.ruhttps://orcid.org/0009-0006-1485-1166ДобренкоД. А.DobrenkoD. A.

Добренко Дмитрий Александрович — аспирант

Санкт-Петербург, 197101

Dmitriy A. Dobrenko — PhD Student

Saint Petersburg, 197101

enotpalaskun@gmail.comhttps://orcid.org/0009-0002-0490-0148ПанковаК. С.PankovaK. S.

Панкова Кристина Сергеевна — студент

Санкт-Петербург, 197101

Kristina S. Pankova — Student

Saint Petersburg, 197101

pankovakrisss@gmail.comhttps://orcid.org/0000-0003-1886-2867ТомиловИ. В.TomilovI. V.

Томилов Иван Вячеславович — старший лаборант

Санкт-Петербург, 197101

sc 57772599000

Ivan V. Tomilov — Senior Laboratory Assistant

sc 57772599000

Saint Petersburg, 197101

ivan-tomilov3@yandex.ruУниверситет ИТМОРоссияITMO UniversityRussian Federation20231112202423611871197Copyright © Ватьян А.С., Гусарова Н.Ф., Добренко Д.А., Панкова К.С., Томилов И.В., 20242024Ватьян А.С., Гусарова Н.Ф., Добренко Д.А., Панкова К.С., Томилов И.В.Vatian A.S., Gusarova N.F., Dobrenko D.A., Pankova K.S., Tomilov I.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ntv.elpub.ru/jour/article/view/33

Введение. Впервые предложен упрощенный подход к построению байесовских нейронных сетей, сочетающий вычислительную эффективность с возможностью анализа процесса обучения. Метод. Предлагаемый подход основан на байесианизации детерминированной нейронной сети посредством рандомизации параметров только на уровне интерфейса. Формирование байесовской нейронной сети на основе заданной сети осуществляется путем замены ее параметров на вероятностные распределения, которые имеют в качестве среднего значения параметры исходной модели. Оценки метрик эффективности нейронной сети, полученной в рамках рассматриваемого подхода, и байесовской нейронной сети, построенной посредством вариационного вывода, выполнены с использованием методов топологического анализа данных. Основные результаты. Процедура байесианизации реализована с помощью градуированного варьирования интенсивности рандомизации. В качестве альтернативы использованы две нейронные сети с идентичной структурой — детерминированная и классическая байесовская. На вход нейронной сети подавались исходные данные двух датасетов из медицинского домена в вариантах без зашумления и с добавленным гауссовским шумом. Рассчитаны нулевые и первые персистентные гомологии для эмбеддингов формируемых нейронных сетей на каждом из слоев. Для оценки качества классификации использована метрика точности (accuracy). Показано, что баркоды для эмбеддингов на каждом слое байесианизированной нейронной сети во всех четырех сценариях находятся между соответствующими баркодами детерминированной и байесовской нейронной сетей как для нулевых, так и для первых персистентных гомологий. При этом детерминированная нейронная сеть является нижней границей, а байесовская — верхней. Показано, что структура ассоциаций данных внутри байесианизированной нейронной сети наследуется от детерминированной модели, однако приобретает свойства байесовской. Экспериментально установлено наличие взаимосвязи между нормированной персистентной энтропией, вычисляемой на эмбеддингах нейронной сети, и точностью нейронной сети. Для предсказания точности наиболее показательной оказалась топология эмбеддингов на среднем слое модели нейронной сети. Обсуждение. Предлагаемый подход может быть использован для упрощения построения байесовской нейронной сети из уже обученной детерминированной нейронной сети. Это открывает возможности повышения точности существующей нейронной сети без ансамблирования с дополнительными классификаторами. Появляется возможность проактивной оценки эффективности формируемой нейронной сети на упрощенных данных без запуска на реальном датасете, что сокращает ресурсоемкость ее разработки.

For the first time, a simplified approach to constructing Bayesian neural networks is proposed, combining computational efficiency with the ability to analyze the learning process. The proposed approach is based on Bayesianization of a deterministic neural network by randomizing parameters only at the interface level, i.e., the formation of a Bayesian neural network based on a given network by replacing its parameters with probability distributions that have the parameters of the original model as the average value. Evaluations of the efficiency metrics of the neural network were obtained within the framework of the approach under consideration, and the Bayesian neural network constructed through variation inference were performed using topological data analysis methods. The Bayesianization procedure is implemented through graded variation of the randomization intensity. As an alternative, two neural networks with identical structure were used — deterministic and classical Bayesian networks. The input of the neural network was supplied with the original data of two datasets in versions without noise and with added Gaussian noise. The zero and first persistent homologies for the embeddings of the formed neural networks on each layer were calculated. To assess the quality of classification, the accuracy metric was used. It is shown that the barcodes for embeddings on each layer of the Bayesianized neural network in all four scenarios are between the corresponding barcodes of the deterministic and Bayesian neural networks for both zero and first persistent homologies. In this case, the deterministic neural network is the lower bound, and the Bayesian neural network is the upper bound. It is shown that the structure of data associations within a Bayesianized neural network is inherited from a deterministic model, but acquires the properties of a Bayesian one. It has been experimentally established that there is a relationship between the normalized persistent entropy calculated on neural network embeddings and the accuracy of the neural network. For predicting accuracy, the topology of embeddings on the middle layer of the neural network model turned out to be the most revealing. The proposed approach can be used to simplify the construction of a Bayesian neural network from an already trained deterministic neural network, which opens up the possibility of increasing the accuracy of an existing neural network without ensemble with additional classifiers. It becomes possible to proactively evaluate the effectiveness of the generated neural network on simplified data without running it on a real dataset, which reduces the resource intensity of its development.

байесовские нейронные сетиперсистентная гомологиянормированная персистентная энтропияэмбеддингбаркодBayesian neural networkspersistent homologynormalized persistent entropyembeddingbarcodeРабота поддержана грантом Российского научного фонда 23-11-00346.The work is supported by Grant RSF 23-11-00346.ReferencesChazal F., Michel B. An introduction to topological data analysis: fundamental and practical aspects for data scientists // Frontiers in Artificial Intelligence. 2021. V. 4. https://doi.org/10.3389/frai.2021.667963Chazal F., Michel B. An introduction to topological data analysis: fundamental and practical aspects for data scientists. Frontiers in Artificial Intelligence, 2021, vol. 4. https://doi.org/10.3389/frai.2021.667963Edelsbrunner H., Harer J. Computational topology: an introduction. American Mathe-matical Soc., 2010 [Электронный ресурс]. URL: https://www.maths.ed.ac.uk/~v1ranick/papers/edelcomp.pdf (дата обращения: 10.11.2023).Edelsbrunner H., Harer J. Computational topology: an introduction. American Mathe-matical Soc., 2010. Available at: https://www.maths.ed.ac.uk/~v1ranick/papers/edelcomp.pdf (accessed: 10.11.2023).Ritter H., Kukla M., Zhang C., Li Y. Sparse uncertainty representation in deep learning with inducing weights // Advances in Neural Information Processing Systems. 2021. V. 8. P. 6515–6528.Ritter H., Kukla M., Zhang C., Li Y. Sparse uncertainty representation in deep learning with inducing weights. Advances in Neural Information Processing Systems, 2021, vol. 8, pp. 6515–6528.Prabhudesai S., Hauth J., Guo D., Rao A., Banovic N., Huan X. Lowering the computational barrier: Partially Bayesian neural networks for transparency in medical imaging AI // Frontiers in Computer Science. 2023. V. 5. https://doi.org/10.3389/fcomp.2023.1071174Prabhudesai S., Hauth J., Guo D., Rao A., Banovic N., Huan X. Lowering the computational barrier: Partially Bayesian neural networks for transparency in medical imaging AI. Frontiers in Computer Science, 2023, vol. 5. https://doi.org/10.3389/fcomp.2023.1071174Zomorodian A., Carlsson G. Computing persistent homology // Discrete & Computational Geometry. 2005. V. 33. N 2. P. 249–274. https://doi.org/10.1007/s00454-004-1146-yZomorodian A., Carlsson G. Computing persistent homology. Discrete & Computational Geometry, 2005, vol. 33, no. 2, pp. 249– 274. https://doi.org/10.1007/s00454-004-1146-yWasserman L. Topological data analysis // Annual Review of Statistics and Its Application. 2018. V. 5. P. 501–532. https://doi.org/10.1146/annurev-statistics-031017-100045Wasserman L. Topological data analysis. Annual Review of Statistics and Its Application, 2018, vol. 5, pp. 501–532. https://doi.org/10.1146/annurev-statistics-031017-100045Carlsson G., Gabrielsson R.B. Topological approaches to deep learning // Topological Data Analysis. Springer, 2020. P. 119–146. https://doi.org/10.1007/978-3-030-43408-3_5Carlsson G., Gabrielsson R.B. Topological approaches to deep learning. Topological Data Analysis. Springer, 2020, pp. 119–146. https://doi.org/10.1007/978-3-030-43408-3_5Hensel F., Moor M., Rieck B. A survey of topological machine learning methods // Frontiers in Artificial Intelligence. 2021. V. 4. https://doi.org/10.3389/frai.2021.681108Hensel F., Moor M., Rieck B. A survey of topological machine learning methods. Frontiers in Artificial Intelligence, 2021, vol. 4. https://doi.org/10.3389/frai.2021.681108Moroni D., Pascali M.A. Learning topology: bridging computational topology and machine learning // Pattern Recognition and Image Analysis. 2021. V. 31. N 3. P. 443–453. https://doi.org/10.1134/S1054661821030184Moroni D., Pascali M.A. Learning topology: bridging computational topology and machine learning. Pattern Recognition and Image Analysis, 2021, vol. 31, no. 3, pp. 443–453. https://doi.org/10.1134/S1054661821030184Zia A., Khamis A., Nichols J., Hayder Z., Rolland V., Peterssonet L. Topological deep learning: A review of an emerging paradigm // arXiv. arXiv:2302.03836v1. 2023. https://doi.org/10.48550/arXiv.2302.03836Zia A., Khamis A., Nichols J., Hayder Z., Rolland V., Peterssonet L. Topological deep learning: A review of an emerging paradigm. arXiv, arXiv:2302.03836v1, 2023. https://doi.org/10.48550/arXiv.2302.03836Goibert M., Ricatte T., Dohmatob E. An adversarial robustness perspective on the topology of neural networks // arXiv. 2022. arXiv:2211.02675. https://doi.org/10.48550/arXiv.2211.02675Goibert M., Ricatte T., Dohmatob E. An adversarial robustness perspective on the topology of neural networks. arXiv, 2022, arXiv:2211.02675. https://doi.org/10.48550/arXiv.2211.02675Chen C., Ni X., Bai Q., Wang Y. A topological regularizer for classifiers via persistent homology // Proc. of the AISTATS 2019 — 22nd International Conference on Artificial Intelligence and Statistics. 2020.Chen C., Ni X., Bai Q., Wang Y. A topological regularizer for classifiers via persistent homology. Proc. of the AISTATS 2019 — 22nd International Conference on Artificial Intelligence and Statistics, 2020.Ramamurthy K.N., Varshney K.R., Mody K. Topological data analysis of decision boundaries with application to model selection // Proc. of the 36th International Conference on Machine Learning (ICML). 2019. P. 9316–9325.Ramamurthy K.N., Varshney K.R., Mody K. Topological data analysis of decision boundaries with application to model selection. Proc. of the 36th International Conference on Machine Learning (ICML), 2019, pp. 9316–9325.Gabrielsson R.B., Carlsson G. Exposition and interpretation of the topology of neural networks // Proc. of the 18th IEEE International Conference on Machine Learning and Applications (ICMLA). 2019. P. 1069–1076.Gabrielsson R.B., Carlsson G. Exposition and interpretation of the topology of neural networks. Proc. of the 18th IEEE International Conference on Machine Learning and Applications (ICMLA), 2019, pp. 1069–1076.Rieck B., Togninalli M., Bock C., Moor M., Horn M., Gumbsch T., Borwardt K. Neural persistence: A complexity measure for deep neural networks using algebraic topology // Proc. of the 7th International Conference on Learning Representations (ICLR). 2019.Rieck B., Togninalli M., Bock C., Moor M., Horn M., Gumbsch T., Borwardt K. Neural persistence: A complexity measure for deep neural networks using algebraic topology. Proc. of the 7th International Conference on Learning Representations (ICLR), 2019.McGuire S., Jackson S., Emerson T., Kvinge H. Do neural networks trained with topological features learn different internal representations? // Proceedings of Machine Learning Research. 2023. V. 197. P. 122–136.McGuire S., Jackson S., Emerson T., Kvinge H. Do neural networks trained with topological features learn different internal representations? Proceedings of Machine Learning Research, 2023, vol. 197, pp. 122–136.Guss W.H., Salakhutdinov R. On characterizing the capacity of neural networks using algebraic topology // arXiv. 2018. arXiv:1802.04443v1. https://doi.org/10.48550/arXiv.1802.04443Guss W.H., Salakhutdinov R. On characterizing the capacity of neural networks using algebraic topology. arXiv, 2018, arXiv:1802.04443v1. https://doi.org/10.48550/arXiv.1802.04443Bergomi M.G., Frosini P., Giorgi D., Quercioli N. Towards a topological–geometrical theory of group equivariant non-expansive operators for data analysis and machine learning // Nature Machine Intelligence. 2019. V. 1. N 9. P. 423–433. https://doi.org/10.1038/s42256-019-0087-3Bergomi M.G., Frosini P., Giorgi D., Quercioli N. Towards a topological–geometrical theory of group equivariant non-expansive operators for data analysis and machine learning. Nature Machine Intelligence, 2019, vol. 1, no. 9, pp. 423–433. https://doi.org/10.1038/s42256-019-0087-3Hofer C.D., Graf F., Niethammer M., Kwitt R. Topologically densified distributions // Proc. of the 37th International Conference on Machine Learning (ICML). 2020. P. 4254–4263.Hofer C.D., Graf F., Niethammer M., Kwitt R. Topologically densified distributions. Proc. of the 37th International Conference on Machine Learning (ICML), 2020, pp. 4254–4263.Naitzat G., Zhitnikov A., Lim L.-H. Topology of deep neural networks // The Journal of Machine Learning Research. 2020. V. 21. N 1. P. 7503–7542.Naitzat G., Zhitnikov A., Lim L.-H. Topology of deep neural networks. The Journal of Machine Learning Research, 2020, vol. 21, no. 1, pp. 7503–7542.Gal Y., Ghahramani Z. Dropout as a Bayesian approximation: Representing model uncertainty in deep learning // Proc. of the 33rd International Conference on Machine Learning (ICML). 2016. P. 1651–1660.Gal Y., Ghahramani Z. Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning. Proc. of the 33rd International Conference on Machine Learning (ICML), 2016, pp. 1651–1660.

The authors declare that there are no conflicts of interest present.