ntvНаучно-технический вестник информационных технологий, механики и оптикиScientific and Technical Journal of Information Technologies, Mechanics and Optics2226-14942500-0373Университет ИТМО10.17586/2226-1494-2022-22-3-567-573ntv-273Research ArticleКОМПЬЮТЕРНЫЕ СИСТЕМЫ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИCOMPUTER SCIENCEКомплекснозначное разложение матричных данных на принципах квантовой теорииQuantum-probabilistic SVD: complex-valued factorization of matrix datahttps://orcid.org/0000-0002-0212-6833КожиссериШ.KozhisseriSh.

Кожиссери Шиджу — студент

Санкт-Петербург, 197101

Shyju Kozhisseri — Student

Saint Petersburg, 197101

309572@niuitmo.ruhttps://orcid.org/0000-0001-5690-7507СуровИ. А.SurovI. A.

Суров Илья Алексеевич — кандидат физико-математических наук, старший научный сотрудник

Санкт-Петербург, 197101

sc 57219761715

Ilya A. Surov — PhD (Physics & Mathematics), Senior Researcher

Saint Petersburg, 197101

ilya.a.surov@itmo.ruУниверситет ИТМОРоссияITMO UniversityRussian Federation202217122024223567573Copyright © Кожиссери Ш., Суров И.А., 20242024Кожиссери Ш., Суров И.А.Kozhisseri S., Surov I.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ntv.elpub.ru/jour/article/view/273Предмет исследования

Предмет исследования. Представлен метод сжатого представления матричных данных на принципах квантовой теории. Данные имеют вид таблицы численных значений набора величин в ряде экспериментов. Метод формализован в виде факторизации данных на основе сингулярного разложения, обобщенного на поле комплексных чисел. Рассмотрена возможность интерпретации разработанного метода в соответствии с принципами квантовой когнитивистики.

Метод

Метод. В соответствии с квантовой теорией,  действительные величины в исходных данных  порождаютс я волновыми функциями в виде комплекснозначных векторов в многомерном гильбертовом пространстве. Волновые функции определяются суперпозициями базисных векторов, представляющими композицию семантических факторов. Базисные вектора рассчитываются с помощью сингулярного разложения матрицы исходных данных, приведенной к амплитудной форме. Комплекснозначные коэффициенты разложения определяются по условию наилучшей аппроксимации исходных данных.

Основные результаты

Основные результаты. Метод апробирован на случайно сгенерированных матрицах размером от 3 × 3 до 12 × 12 и размерностях сжатого гильбертова пространства от 2 до 4.  Наилучшая точность приближения достигается при использовании в качестве элементов разложения нормированных комплекснозначных векторов, выполняющих роль порождающих волновых функций. Полученная точность во всех случаях превосходит точность приближения стандартным методом усеченного сингулярного разложения. Среднее повышение точности на исследованном интервале параметров составило 22 %. Метод допускает когнитивную интерпретацию, совместимую с квантовыми моделями поведения и принятия решений.

Практическая значимость

Практическая значимость. Представленный метод применим в задачах семантического анализа данных, включая задачи обработки естественного языка. В этих приложениях полученный результат может быть использован для повышения точности выделения главных смысловых компонент, совершенствования методов классификации и ранжирования текстовых документов. Возможность когнитивной интерпретации и формализация в форме матричного разложения открывает подходы к дальнейшему использованию моделей квантовой когнитивистики в задачах анализа данных. Ожидается, что встраивание квантовой логики на основе комплекснозначного вероятностного исчисления в алгоритмы машинного обучения и искусственного интеллекта позволит имитировать работу естественных когнитивных систем.

The paper reports a method for compressed representation of matrix data on the principles of quantum theory. The method is formalized as complex-valued matrix factorization based on standard singular value decomposition. The developed approach establishes a bridge between standard methods of semantic data analysis and quantum models of cognition and decision. According to the quantum theory, real-valued observable quantities are generated by wavefunctions being complex-valued vectors in multidimensional Hilbert-space. Wavefunctions are defined as superpositions of basis vectors encoding composition of semantic factors. Basis vectors are found by singular value decomposition of the initial data matrix transformed to a real-valued amplitude form. Phase-dependent superposition amplitudes are found to optimize approximation of the source data. The resulting model represents the observed real-valued data as generated from a small number of basis wavefunctions superposed with complex-valued coefficients. The method is tested for random matrices of sizes from 3 × 3 to 12 × 12 and dimensionality of latent Hilbert-space from 2 to 4. The best approximation is achieved by encoding latent factors in normalized complex-valued amplitude vectors interpreted as wavefunctions generating the data. In terms of approximation fitness, the developed method surpasses standard truncated SVD of the same dimensionality. The mean advantage over the considered range of parameters is 22 %. The method permits cognitive interpretation in accord with the existing quantum models of cognition and decision. The method can be integrated in the algorithms of semantic data analysis including natural language processing. In these tasks, the obtained improvement of approximation translates to the increased precision of similarity measures, principal component analysis, advantage in classification, and document ranking methods. Integration with quantum models of cognition and decision is expected to boost methods of artificial intelligence and machine learning improving imitation of natural thinking.

квантовая вероятностьволновая функциякогнитивное моделированиесемантический анализматричное разложениеquantum probabilitycognitive modelingsemantic analysiswavefunctionmatrix decompositionИсследование выполнено за счет гранта Российского научного фонда (проект № 20-71-00136).The research was funded by a grant of Russian Science Foundation (project number 20-71-001036).ReferencesСуров И.А., Алоджанц А.П. Модели принятия решений в квантовой когнитивистике: учебное пособие. СПб.: Университет ИТМО, 2018. 63 с.Surov I.A., Alodjants A.P. Decision-making models in quantum cognitive science. ITMO University, 2018, 63 p. (in Russian)Khrennikov A. Quantum-like modeling of cognition // Frontiers in Physics. 2015. V. 3. P. 77. https://doi.org/10.3389/fphy.2015.00077Khrennikov A. Quantum-like modeling of cognition. Frontiers in Physics, 2015, vol. 3, pp. 77. https://doi.org/10.3389/fphy.2015.00077Khrennikov A. Ubiquitous Quantum Structure: From Psychology to Finance. Springer, 2010. 216 p. https://doi.org/10.1007/978-3-642-05101-2Khrennikov A. Ubiquitous Quantum Structure: From Psychology to Finance. Springer, 2010, 216 p. https://doi.org/10.1007/978-3-642-05101-2Busemeyer J.R., Bruza P.D. Quantum Models of Cognition and Decision. Cambridge University Press, 2012. 426 p.Busemeyer J.R., Bruza P.D. Quantum Models of Cognition and Decision. Cambridge University Press, 2012, 426 p.Melucci M. Introduction to Information Retrieval and Quantum Mechanics. Springer, 2015. 232 p. https://doi.org/10.1007/978-3-662-48313-8Melucci M. Introduction to Information Retrieval and Quantum Mechanics. Springer, 2015, 232 p. https://doi.org/10.1007/978-3-662-48313-8Dumais S.T. Latent semantic analysis // Annual Review of Information Science and Technology. 2004. V. 38. N 1. P. 188–230. https://doi.org/10.1002/aris.1440380105Dumais S.T. Latent semantic analysis. Annual Review of Information Science and Technology, 2004, vol. 38, no. 1, pp. 188–230. https:// doi.org/10.1002/aris.1440380105Deerwester S., Dumais S.T., Furnas G.W., Landauer T.K., Harshman R.A. Indexing by latent semantic analysis // Journal of the American Society for Information Science. 1990. V. 41. N 6. P. 391–4 0 7 . https://doi.org/10.1002/(SICI)1097-4571(199009)41:6<391::AID-ASI1>3.0.CO;2-9Deerwester S., Dumais S.T., Landauer T.K., Furnas G.W., Harshman R.A. Indexing by latent semantic analysis. Journal of the American Society for Information Science, 1990, vol. 41, no. 6, pp. 391–407. https://doi.org/10.1002/(SICI)1097-4571(199009)41:6<391::AID-ASI1>3.0.CO;2-9Landauer T.K., Dumais S.T. A solution to Plato’s problem: The latent semantic analysis theory of acquisition, induction, and representation of knowledge // Psychological Review. 1997. V. 104. N 2. P. 211–240. https://doi.org/10.1037/0033-295X.104.2.211Landauer T.K., Dumais S.T. A solution to Plato’s problem: The latent semantic analysis theory of acquisition, induction, and representation of knowledge. Psychological Review, 1997, vol. 104, no. 2, pp. 211–240. https://doi.org/10.1037/0033-295X.104.2.211Forsythe G.E., Malcolm M.A., Moler C.B. Computer Methods for Mathematical Computations. Prentice Hall, 1977. 259 p.Forsythe G.E., Malcolm M.A., Moler C.B. Computer Methods for Mathematical Computations. Prentice Hall, 1977, 259 p.Bohm D., Hiley B.J. The undivided universe: An ontological interpretation of quantum theory. Routledge, 1993. 397 p.Bohm D., Hiley B.J. The Undivided Universe: An Ontological Interpretation of Quantum Theory. Routledge, 1993, 397 p.Virtanen P., Gommers R., Oliphant T.E. et al. SciPy 1.0: fundamental algorithms for scientific computing in Python // Nature Methods. 2020. V. 17. N 3. P. 261–272. https://doi.org/10.1038/s41592-019-0686-2Virtanen P., Gommers R., Oliphant T.E. et al. SciPy 1.0: fundamental algorithms for scientific computing in Python. Nature Methods, 2020, vol. 17, no. 3, pp. 261–272. https://doi.org/10.1038/s41592-019-0686-2Wang B., Li Q., Melucci M., Song D. Semantic Hilbert space for text representation learning // Proc. of the World Wide Web Conference (WWW). 2019. P. 3293–3299. https://doi.org/10.1145/3308558.3313516Wang B., Li Q., Melucci M., Song D. Semantic Hilbert space for text representation learning. Proc. of the World Wide Web Conference (WWW), 2019, pp. 3293–3299. https://doi.org/10.1145/3308558.3313516Papagni G., Koeszegi S. A pragmatic approach to the intentional stance semantic, empirical and ethical considerations for the design of artificial agents // Minds and Machines. 2021. V. 31. N 4. P. 505–534. https://doi.org/10.1007/s11023-021-09567-6Papagni G., Koeszegi S. A pragmatic approach to the intentional stance semantic, empirical and ethical considerations for the design of artificial agents. Minds and Machines, 2021, vol. 31, no. 4, pp. 505–534. https://doi.org/10.1007/s11023-021-09567-6González F.A., Caicedo J.C. Quantum latent semantic analysis // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2011. V. 6931. P. 52–63. https://doi.org/10.1007/978-3-642-23318-0_7González F.A., Caicedo J.C. Quantum latent semantic analysis. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2011, vol. 6931, pp. 52–63. https://doi.org/10.1007/978-3-642-23318-0_7Khrennikov A. Quantum-like model of cognitive decision making and information processing // BioSystems. 2009. V. 95. N 3. P. 179–187. https://doi.org/10.1016/j.biosystems.2008.10.004Khrennikov A. Quantum-like model of cognitive decision making and information processing. BioSystems, 2009, vol. 95, no. 3, pp. 179–187. https://doi.org/10.1016/j.biosystems.2008.10.004Aerts D., Czachor M. Quantum aspects of semantic analysis and symbolic artificial intelligence // Journal of Physics A: Mathematical and General. 2004. V. 37. N 12. P. 123–132. https://doi.org/10.1088/0305-4470/37/12/L01Aerts D., Czachor M. Quantum aspects of semantic analysis and symbolic artificial intelligence. Journal of Physics A: Mathematical and General, 2004, vol. 37, no. 12, pp. 123–132. https://doi.org/10.1088/0305-4470/37/12/L01Bruza P.D., Coley R.J. Quantum logic of semantic space: An exploratory investigation of context effects in practical reasoning // We Will Show Them: Essays in Honour of Dov Gabbay / ed. by S. Artemov, H. Barringer, S.A. d’Avila Garcez, L.C. Lamb, J. Woods. College Publications, 2005. P. 339–361.Bruza P.D., Coley R.J. Quantum logic of semantic space: An exploratory investigation of context effects in practical reasoning. We Will Show Them: Essays in Honour of Dov Gabbay. Ed. by S. Artemov, H. Barringer, S.A. d’Avila Garcez, L.C. Lamb, J. Woods. College Publications, 2005, pp. 339–361.Aerts D., Sozzo S., Veloz T. Quantum structure of negation and conjunction in human thought // Frontiers in Psychology. 2015. V. 6. P. 1447. https://doi.org/10.3389/fpsyg.2015.01447Aerts D., Sozzo S., Veloz T. Quantum structure of negation and conjunction in human thought. Frontiers in Psychology, 2015, vol. 6, pp. 1447. https://doi.org/10.3389/fpsyg.2015.01447Li J., Zhang P., Song D., Hou Y. An adaptive contextual quantum language model // Physica A: Statistical Mechanics and its Applications. 2016. V. 456. P. 51–67. https://doi.org/10.1016/j.physa.2016.03.003Li J., Zhang P., Song D., Hou Y. An adaptive contextual quantum language model. Physica A: Statistical Mechanics and its Applications, 2016, vol. 456, pp. 51–67. https://doi.org/10.1016/j.physa.2016.03.003Surov I.A., Semenenko E., Platonov A.V., Bessmertny I.A., Galofaro F., Toffano Z., Khrennikov A., Alodjants A.P. Quantum semantics of text perception // Scientific Reports. 2021. V. 11. N 1. P. 4193. https://doi.org/10.1038/s41598-021-83490-9Surov I.A., Semenenko E., Platonov A.V., Bessmertny I.A., Galofaro F., Toffano Z., Khrennikov A., Alodjants A.P. Quantum semantics of text perception. Scientific Reports, 2021, vol. 11, no. 1, pp. 4193. https://doi.org/10.1038/s41598-021-83490-9Шакер А., Бессмертный И.А., Мирославская Л.А., Королёва Ю.А. Квантовая семантическая модель поиска текста на арабском языке // Научно-технический вестник информационных технологий, механики и оптики. 2021. Т. 21. № 1. С. 102–108. https://doi.org/10.17586/2226-1494-2021-21-1-102-108Shaker A., Bessmertny I., Miroslavskaya L.A., Koroleva J.A. A quantum-like semantic model for text retrieval in Arabic. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2021, vol. 21, no. 1, pp. 102–108. (in Russian). https://doi.org/10.17586/2226-1494-2021-21-1-102-108Platonov A., Bessmertny I., Koroleva J., Miroslavskaya L., Shaker A. Vector representation of words using quantum-like probabilities // Studies in Systems, Decision and Control. 2021. V. 337. P. 535–546. https://doi.org/10.1007/978-3-030-65283-8_44Platonov A., Bessmertny I., Koroleva J., Miroslavskaya L., Shaker A. Vector representation of words using quantum-like probabilities. Studies in Systems, Decision and Control, 2021, vol. 337, pp. 535–546. https://doi.org/10.1007/978-3-030-65283-8_44Widdows, D., Kitto, K., & Cohen, T. Quantum Mathematics in Artificial Intelligence. Journal of Artificial Intelligence Research. 2021. V. 72. P. 1307–1341. https://doi.org/10.1613/jair.1.12702Widdows, D., Kitto, K., & Cohen, T. Quantum Mathematics in Artificial Intelligence. Journal of Artificial Intelligence Research. 2021, vol. 72, pp. 1307–1341. https://doi.org/10.1613/jair.1.12702Hofmann T. Unsupervised learning by probabilistic Latent Semantic Analysis // Machine Learning. 2001. V. 42. N 1–2. P. 177–196. https://doi.org/10.1023/A:1007617005950Hofmann T. Unsupervised learning by probabilistic Latent Semantic Analysis. Machine Learning. 2001, vol. 42, no 1–2, pp. 177–196. https://doi.org/10.1023/A:1007617005950Vorontsov K., Potapenko A. Additive regularization of topic models // Machine Learning. 2015. V. 101. N 1–3. P. 303–323. https://doi.org/10.1007/s10994-014-5476-6Vorontsov K., Potapenko A. Additive regularization of topic models. Machine Learning. 2015, vol. 101, no 1–3, pp. 303–323. https://doi.org/10.1007/s10994-014-5476-6

The authors declare that there are no conflicts of interest present.