ntvНаучно-технический вестник информационных технологий, механики и оптикиScientific and Technical Journal of Information Technologies, Mechanics and Optics2226-14942500-0373Университет ИТМО10.17586/2226-1494-2024-24-4-608-614ntv-310Research ArticleМАТЕМАТИЧЕСКОЕ И КОМПЬЮТЕРНОЕ МОДЕЛИРОВАНИЕMODELING AND SIMULATIONМоделирование многомерных данных с помощью композитных байесовских сетейFlexible and tractable modeling of multivariate data using composite Bayesian networkshttps://orcid.org/0000-0001-8679-5868ДееваИ. Ю.DeevaI. Yu.

Деева Ирина Юрьевна — кандидат физико-математических наук, старший научный сотрудник

Санкт-Петербург, 197101

Irina Yu. Deeva — PhD (Physics & Mathematics), Senior Researcher

Saint Petersburg, 197101

iriny.deeva@gmail.comhttps://orcid.org/0009-0003-2606-431XШахкянК. А.ShakhkyanK. A.

Шахкян Каринэ Артуровна — инженер

Санкт-Петербург, 197101

Karine A. Shakhkyan — Engineer

Saint Petersburg, 197101

kshahkyan@yandex.ruhttps://orcid.org/0009-0006-6418-6117КаминскийЮ. К.KaminskyYu. K.

Каминский Юрий Константинович — инженер

Санкт-Петербург, 197101

Yury K. Kaminsky — Engineer

Saint Petersburg, 197101

jkaminski@niuitmo.ruУниверситет ИТМОРоссияITMO UniversityRussian Federation202411122024244608614Copyright © Деева И.Ю., Шахкян К.А., Каминский Ю.К., 20242024Деева И.Ю., Шахкян К.А., Каминский Ю.К.Deeva I.Y., Shakhkyan K.A., Kaminsky Y.K.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ntv.elpub.ru/jour/article/view/310

Введение. Представлен новый подход к моделированию нелинейных зависимостей, названный композитными байесовскими сетями. Основной акцент сделан на интеграции моделей машинного обучения в байесовские сети с сохранением их основополагающих принципов. Новизна предложенного подхода состоит в том, что он позволяет решить проблему несоответствия данных традиционным предположениям о зависимостях. Метод. Представленный подход заключается в подборе разнообразных моделей машинного обучения на этапе обучения композитных байесовских сетей. Это позволяет гибко настраивать характер зависимостей в соответствии с требованиями и продиктованными характеристиками моделируемого объекта. Программная реализация подхода выполнена в виде специализированного фреймворка, описывающего все необходимые функциональные возможности. Основные результаты. Проведена экспериментальная оценка эффективности моделирования зависимостей между признаками. Для экспериментов выбраны для бенчмарков и из репозитория UCI для реальных данных. Эффективность предложенных композитных байесовских сетей подтверждена сравнением значений правдоподобия и показателя F1 с классическими байесовскими сетями, обученными алгоритмом Hill-Climbing. Показана высокая точность представления многомерных распределений. При этом на бенчмарках улучшение оказалось незначительным, поскольку они содержат линейные зависимости, которые хорошо моделируются классическими алгоритмами. На реальных наборах данных UCI получено улучшение правдоподобия в среднем на 30 %. Обсуждение. Полученные результаты могут найти применение в областях, требующих моделирования сложных зависимостей между признаками, например, в машинном обучении, статистике, задачах анализа данных, а также в конкретных предметных областях.

The article presents a new approach to modeling nonlinear dependencies called composite Bayesian networks. The main emphasis is on integrating machine learning models into Bayesian networks while maintaining their fundamental principles. The novelty of the approach is that it allows us to solve the problem of data inconsistency with traditional assumptions about dependencies. The presented method consists in selecting a variety of machine learning models at the stage of training composite Bayesian networks. This allows you to flexibly customize the nature of the dependencies in accordance with the requirements and dictated characteristics of the modeled object. The software implementation is made in the form of a specialized framework that describes all the necessary functionality. The results of experiments to evaluate the effectiveness of modeling dependencies between features are presented. Data for the experiments was taken from the bnlearn repository for benchmarks and from the UCI repository for real data. The performance of composite Bayesian networks was validated by comparing the likelihood and F1 score with classical Bayesian networks trained with the Hill-Climbing algorithm, demonstrating high accuracy in representing multivariate distributions. The improvement in benchmarks is insignificant since they contain linear dependencies that are well modeled by the classical algorithm. An average 30 % improvement in likelihood was obtained on real UCI datasets. The obtained data can be applied in areas that require modeling complex dependencies between features, for example, in machine learning, statistics, data analysis, as well as in specific subject areas.

байесовские сетивероятностные графовые моделиобучение параметровмодели машинного обучениягенетический алгоритмBayesian networksprobabilistic graph modelsparameter learningmachine learning modelsgenetic algorithmРабота выполнена в рамках государственного задания Министерства науки и высшего образования Российской Федерации (проект № FSER-2024-0004).The research was carried out within the state assignment of the Ministry of Science and Higher Education of the Russian Federation (project No. FSER-2024-0004).ReferencesHandbook of Graphical Models / ed. by M. Maathuis, M. Drton, S. Lauritzen, M. Wainwright. CRC Press, 2018. 554 p. https://doi.org/10.1201/9780429463976Handbook of Graphical Models. Ed. by M. Maathuis, M. Drton, S. Lauritzen, M. Wainwright. CRC Press, 2018, 554 p. https://doi.org/10.1201/9780429463976Mascaro S., Nicholso A.E., Korb K.B. Anomaly detection in vessel tracks using Bayesian networks // International Journal of Approximate Reasoning. 2014. V. 55. N 1. P. 84–98. https://doi.org/10.1016/j.ijar.2013.03.012Mascaro S., Nicholso A.E., Korb K.B. Anomaly detection in vessel tracks using Bayesian networks. International Journal of Approximate Reasoning, 2014, vol. 55, no. 1, pp. 84–98. https://doi.org/10.1016/j.ijar.2013.03.012McLachlan S., Dube K., Hitman G.A., Fenton N.E., Kyrimi E. Bayesian networks in healthcare: Distribution by medical condition // Artificial Intelligence in Medicine. 2020. V. 107. P. 101912. https://doi.org/10.1016/j.artmed.2020.101912McLachlan S., Dube K., Hitman G.A., Fenton N.E., Kyrimi E. Bayesian networks in healthcare: Distribution by medical condition. Artificial Intelligence in Medicine, 2020, vol. 107, pp. 101912. https://doi.org/10.1016/j.artmed.2020.101912Friedman N., Goldszmidt M. Learning Bayesian networks with local structure // NATO ASI Series. 1998. V. 89. P. 421–459. https://doi.org/10.1007/978-94-011-5014-9_15Friedman N., Goldszmidt M. Learning Bayesian networks with local structure. NATO ASI Series, 1998, vol. 89, pp. 421–459. https://doi.org/10.1007/978-94-011-5014-9_15Grzegorczyk M. An introduction to gaussian bayesian networks // Methods in Molecular Biology. 2010. V. 662. P. 121–147. https://doi.org/10.1007/978-1-60761-800-3_6Grzegorczyk M. An introduction to gaussian bayesian networks. Methods in Molecular Biology, 2010, vol. 662, pp. 121–147. https://doi.org/10.1007/978-1-60761-800-3_6Lerner U., Segal E., Koller D. Exact inference in networks with discrete children of continuous parents // arXiv. 2013. arXiv:1301.2289. https://doi.org/10.48550/arXiv.1301.2289Lerner U., Segal E., Koller D. Exact inference in networks with discrete children of continuous parents. arXiv, 2013, arXiv:1301.2289. https://doi.org/10.48550/arXiv.1301.2289Pérez A., Larrañaga P., Inza I. Bayesian classifiers based on kernel density estimation: Flexible classifiers // International Journal of Approximate Reasoning. 2009. V. 50. N 2. P. 341–362. https://doi.org/10.1016/j.ijar.2008.08.008Pérez A., Larrañaga P., Inza I. Bayesian classifiers based on kernel density estimation: Flexible classifiers. International Journal of Approximate Reasoning, 2009, vol. 50, no. 2, pp. 341–362. https://doi.org/10.1016/j.ijar.2008.08.008Ickstadt K., Bornkamp B., Grzegorczyk M., Wieczorek J., Sheriff M.R., Grecco H.E., Zamir E. Nonparametric Bayesian networks // Bayesian Statistics 9. 2011. P. 283–316. https://doi.org/10.1093/acprof:oso/9780199694587.003.0010Ickstadt K., Bornkamp B., Grzegorczyk M., Wieczorek J., Sheriff M.R., Grecco H.E., Zamir E. Nonparametric Bayesian networks. Bayesian Statistics 9, 2011, pp. 283–316. https://doi.org/10.1093/acprof:oso/9780199694587.003.0010Deeva I., Bubnova A., Kalyuzhnaya A.V. Advanced approach for distributions parameters learning in Bayesian networks with gaussian mixture models and discriminative models // Mathematics. 2023. V. 11. N 2. P. 343. https://doi.org/10.3390/math11020343Deeva I., Bubnova A., Kalyuzhnaya A.V. Advanced approach for distributions parameters learning in Bayesian networks with gaussian mixture models and discriminative models. Mathematics, 2023, vol. 11, no. 2, pp. 343. https://doi.org/10.3390/math11020343Langseth H., Nielsen T.D., Rumí R., Salmerón A. Mixtures of truncated basis functions // International Journal of Approximate Reasoning. 2012. V. 53. N 2. P. 212–227. https://doi.org/10.1016/j.ijar.2011.10.004Langseth H., Nielsen T.D., Rumí R., Salmerón A. Mixtures of truncated basis functions. International Journal of Approximate Reasoning, 2012, vol. 53, no. 2, pp. 212–227. https://doi.org/10.1016/j.ijar.2011.10.004Atienza D., Larrañaga P., Bielza C. Hybrid semiparametric Bayesian networks // TEST. 2022. V. 31. N 2. P. 299–327. https://doi.org/10.1007/s11749-022-00812-3Atienza D., Larrañaga P., Bielza C. Hybrid semiparametric Bayesian networks. TEST, 2022, vol. 31, no. 2, pp. 299–327. https://doi.org/10.1007/s11749-022-00812-3Sloman S. Causal Models: How People Think about the World and Its Alternatives. Oxford University Press, 2005. 211 p. https://doi.org/10.1093/acprof:oso/9780195183115.001.0001Sloman S. Causal Models: How People Think about the World and Its Alternatives. Oxford University Press, 2005, 211 p. https://doi.org/10.1093/acprof:oso/9780195183115.001.0001Larrañaga P., Karshenas H., Bielza C., Santana R. A review on evolutionary algorithms in Bayesian network learning and inference tasks // Information Sciences. 2013. V. 233. P. 109–125. https://doi.org/10.1016/j.ins.2012.12.051Larrañaga P., Karshenas H., Bielza C., Santana R. A review on evolutionary algorithms in Bayesian network learning and inference tasks. Information Sciences, 2013, vol. 233, pp. 109–125. https://doi.org/10.1016/j.ins.2012.12.051Gámez J.A., Mateo J.L., Puerta J.M. Learning Bayesian networks by hill climbing: efficient methods based on progressive restriction of the neighborhood // Data Mining and Knowledge Discovery. 2011. V. 22. N 1-2. P. 106–148. https://doi.org/10.1007/s10618-010-0178-6Gámez J.A., Mateo J.L., Puerta J.M. Learning Bayesian networks by hill climbing: efficient methods based on progressive restriction of the neighborhood. Data Mining and Knowledge Discovery, 2011, vol. 22, no. 1-2, pp. 106–148. https://doi.org/10.1007/s10618-010-0178-6Behjati S., Beigy H. Improved K2 algorithm for Bayesian network structure learning // Engineering Applications of Artificial Intelligence. 2020. V. 91. P. 103617. https://doi.org/10.1016/j.engappai.2020.103617Behjati S., Beigy H. Improved K2 algorithm for Bayesian network structure learning. Engineering Applications of Artificial Intelligence, 2020, vol. 91, pp. 103617. https://doi.org/10.1016/j.engappai.2020.103617Lerner B., Malka R. Investigation of the K2 algorithm in learning Bayesian network classifiers // Applied Artificial Intelligence. 2011. V. 25. N 1. P. 74–96. https://doi.org/10.1080/08839514.2011.529265Lerner B., Malka R. Investigation of the K2 algorithm in learning Bayesian network classifiers. Applied Artificial Intelligence, 2011, vol. 25, no. 1, pp. 74–96. https://doi.org/10.1080/08839514.2011.529265

The authors declare that there are no conflicts of interest present.