ntvНаучно-технический вестник информационных технологий, механики и оптикиScientific and Technical Journal of Information Technologies, Mechanics and Optics2226-14942500-0373Университет ИТМО10.17586/2226-1494-2023-23-5-1030-1040ntv-191Research ArticleМАТЕМАТИЧЕСКОЕ И КОМПЬЮТЕРНОЕ МОДЕЛИРОВАНИЕMODELING AND SIMULATIONДоверительные липшицевы классификаторы: инструмент гарантированной надежностиConfidence Lipschitz classifiers: an instrument of guaranteed reliabilityhttps://orcid.org/0000-0001-7212-5230ТимофеевА. В.TimofeevA. V.

Тимофеев Андрей Владимирович — доктор технических наук, научный директор

sc 56689367600

Астана, 010000

Andrey V. Timofeev — D.Sc., Scientific Director

sc 56689367600

Astana, 010000

timofeev.andrey@gmail.comТОО «Эквалайзум»КазахстанEqualizum LLPKazakhstan20231412202423510301040Copyright © Тимофеев А.В., 20242024Тимофеев А.В.Timofeev A.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ntv.elpub.ru/jour/article/view/191

Введение. Предложен новый метод гарантированного решения задачи мультиклассовой классификации стохастических объектов. Метод. В рамках разработанного подхода результат классификации представляет собой конечное множество индексов классов, которое с заданным начальным коэффициентом доверия содержит индекс того класса, которому соответствует классифицируемый объект. При этом классификация реализована на базе использования классификатора нового типа, который назван доверительным липшицевым классификатором. Основные результаты. Дано определение доверительного липшицева классификатора и изучены его основные свойства. В том числе исследовано свойство гарантированной надежности классификации, которое выражено в построении доверительного множества ограниченного размера, которое содержит индекс истинного класса с наперед заданным коэффициентом доверия. Приведен случай ассамблеи липшицевых классификаторов, свойства которой оформлены в виде теоремы. Рассмотрен практически важный пример использования предложенного подхода в задачах компенсации динамики шумового процесса в каналах оптоволоконной системы мониторинга. Обсуждение. Разработанный подход перспективен для применения в тех классификационных задачах, в которых число классов имеет порядок выше второго. В том числе в широкомасштабных системах биометрической идентификации личности, а также в многоканальных системах мониторинга протяженных объектов.

A new method of guaranteed solution for multiclass classification problem of stochastic objects is proposed. Within the framework of the proposed approach, the classification result is a finite set of class indices which with a predetermined confidence coefficient contains the index of the class to which the object being classified corresponds. In this case, the classification itself is realized on the basis of using a classifier of the new type which is called a confidence Lipschitz classifier. The definition of the confidence Lipschitz classifier is given and its main properties have been studied. Among them, the property of guaranteed reliability of the classification which is expressed in the construction of a confidence set of limited size containing the index of the true class with a predetermined coefficient of confidence, has been studied. The case of the assembly of Lipschitz classifiers, the properties of which are formalized in the form of a theorem, is considered. We consider a practically important example of using the proposed approach in the problems of compensation of the noise process dynamics in the channels of the fiber-optic monitoring system. The proposed approach is promising for use in those classification tasks in which the number of classes has an order higher than the second, including large- scale biometric identification systems as well as multi-channel systems for monitoring extended objects.

доверительный липшицев классификатормашинное обучениегарантированная надежностьоптоволоконная система мониторингаconfidence Lipschitz classifiermachine learningguaranteed reliabilityfiber optic monitoring systemReferencesKorotaev V.V., Denisov V.M., Timofeev A.V. Analysis of seismoacoustic activity based on using optical fiber classifier // Proc. of the Latin America Optics and Photonics Conference. OSA, 2014. P. LM4A.22. https://doi.org/10.1364/LAOP.2014.LM4A.22Korotaev V.V., Denisov V.M., Timofeev A.V. Analysis of seismoacoustic activity based on using optical fiber classifier. Proc. of the Latin America Optics and Photonics Conference, OSA, 2014, pp. LM4A.22. https://doi.org/10.1364/LAOP.2014.LM4A.22Aktas M., Akgun T., Demircin M.U., Buyukaydin D. Deep learning based multi-threat classification for phase-OTDR fiber optic distributed acoustic sensing applications // Proceedings of SPIE. 2017. V. 10208. P. 102080G. https://doi.org/10.1117/12.2262108Aktas M., Akgun T., Demircin M.U., Buyukaydin D. Deep learning based multi-threat classification for phase-OTDR fiber optic distributed acoustic sensing applications. Proceedings of SPIE, 2017, vol. 10208, pp. 102080G. https://doi.org/10.1117/12.2262108Korotaev V.V., Denisov V.M., Rodrigues J.J.P.C., Serikova M.G., Timofeev A. Monitoring of deep-sea industrial facilities using fiber optic cable // Proceedings of SPIE. 2015. V. 9525. P. 95253Q. https://doi.org/10.1117/12.2184741Korotaev V.V., Denisov V.M., Rodrigues J.J.P.C., Serikova M.G., Timofeev A. Monitoring of deep-sea industrial facilities using fiber optic cable. Proceedings of SPIE, 2015, vol. 9525, pp. 95253Q. https://doi.org/10.1117/12.2184741Timofeev A.V., Denisov V.M. Multimodal heterogeneous monitoring of super-extended objects: modern view // Studies in Systems, Decision and Control. 2016. V. 62. P. 97–116. https://doi.org/10.1007/978-3-319-32525-5_6Timofeev A.V., Denisov V.M. Multimodal heterogeneous monitoring of super-extended objects: modern view. Studies in Systems, Decision and Control, 2016, vol. 62, pp. 97–116. https://doi.org/10.1007/978-3-319-32525-5_6Тимофеев А.В., Грознов Д.И. Классификация источников сейсмоакустической эмиссии в оптоволоконных системах мониторинга протяжённых объектов // Автометрия. 2020. Т. 56. № 1. С. 59–73. https://doi.org/10.15372/AUT20200107Timofeev A.V., Groznov D.I. Classification of seismoacoustic emission sources in fiber optic systems for monitoring extended objects. Optoelectronics, Instrumentation and Data Processing, 2020, vol. 56, no. 1, pp. 50–60. https://doi.org/10.3103/s8756699020010070Timofeev A.V. The guaranteed estimation of the Lipschitz classifier accuracy: Confidence set approach // Journal of the Korean Statistical Society. 2012. V. 41. N 1. P. 105–114. https://doi.org/10.1016/j.jkss.2011.07.005Timofeev A.V. The guaranteed estimation of the Lipschitz classifier accuracy: Confidence set approach. Journal of the Korean Statistical Society, 2012, vol. 41, no. 1, pp. 105–114. https://doi.org/10.1016/j.jkss.2011.07.005Von Luxburg U., Bousquet O. Distance-based classification with Lipschitz functions // Journal of Machine Learning Research. 2009. V. 5. P. 669–695.Von Luxburg U., Bousquet O. Distance-based classification with Lipschitz functions. Journal of Machine Learning Research, 2009, vol. 5, pp. 669–695.Fazlyab M., Robey A., Hassani H., Morari M., Pappas G.J. Efficient and accurate estimation of Lipschitz constants for deep neural networks // NIPS’19: Proc. of the 33rd International Conference on Neural Information Processing Systems. 2019. P. 11427–11438.Fazlyab M., Robey A., Hassani H., Morari M., Pappas G.J. Efficient and accurate estimation of Lipschitz constants for deep neural networks. NIPS’19: Proc. of the 33rd International Conference on Neural Information Processing Systems, 2019, pp. 11427–11438.Latorre F., Rolland P., Cevher V. Lipschitz constant estimation of Neural Networks via sparse polynomial optimization // Proc. of the 8th International Conference on Learning Representations (ICLR 2020).Latorre F., Rolland P., Cevher V. Lipschitz constant estimation of Neural Networks via sparse polynomial optimization. Proc. of the 8th International Conference on Learning Representations (ICLR 2020).Вапник В.Н., Червоненкис А.Я. Теория распознавания образов: Статистические проблемы обучения. М.: Наука, 1974. 415 с.Vapnik V.N., Chervonenkis A.Ia. Pattern Recognition Theory: Statistical Problems of Learning. Moscow, Nauka Publ., 1974, 415 p. (in Russian)Advances in Large Margin Classifiers / ed. by A. Smola, P. Barlett, B. Scholkopf, D. Schuurmans. MIT Press, 2000. 412 p.Advances in Large Margin Classifiers. Ed. by A. Smola, P. Barlett, B. Scholkopf, D. Schuurmans. MIT Press, 2000, 412 p.Hein M., Bousquet O., Schölkopf B. Maximal margin classification for metric spaces // Journal of Computer and System Sciences. 2005. V. 71. N 3. P. 333–359. https://doi.org/10.1016/j.jcss.2004.10.013Hein M., Bousquet O., Schölkopf B. Maximal margin classification for metric spaces. Journal of Computer and System Sciences, 2005, vol. 71, no. 3, pp. 333–359. https://doi.org/10.1016/j.jcss.2004.10.013Bennett K.P., Bredensteiner E.J. Duality and geometry in SVM classifiers // Proc. of the International Conference on Machine Learning (ICML). 2000. P. 57–64.Bennett K.P., Bredensteiner E.J. Duality and geometry in SVM classifiers. Proc. of the International Conference on Machine Learning (ICML), 2000, pp. 57–64.Arens R., Eells J. On embedding uniform and topological spaces // Pacific Journal of Mathematics. 1956. V. 6. N 3. P. 397–403. https://doi.org/10.2140/pjm.1956.6.397Arens R., Eells J. On embedding uniform and topological spaces. Pacific Journal of Mathematics, 1956, vol. 6, no. 3, pp. 397–403. https://doi.org/10.2140/pjm.1956.6.397Hein M., Bousquet O. Maximal margin classification for metric space // Lecture Notes in Computer Science. 2003. V. 2777. P. 72–86. https://doi.org/10.1007/978-3-540-45167-9_7Hein M., Bousquet O. Maximal margin classification for metric space. Lecture Notes in Computer Science, 2003, vol. 2777, pp. 72–86. https://doi.org/10.1007/978-3-540-45167-9_7Breiman L. Bagging predictors // Machine Learning. 1996. V. 24. N 2. P. 123–140. https://doi.org/10.1007/bf00058655Breiman L. Bagging predictors. Machine Learning, 1996, vol. 24, no. 2, pp. 123–140. https://doi.org/10.1007/bf00058655Rangel P., Lozano F., García E. Boosting of support vector machines with application to editing // Proc. of the 4nd International Conference on Machine Learning and Applications (ICMLA’05). 2005. https://doi.org/10.1109/icmla.2005.13Rangel P., Lozano F., García E. Boosting of support vector machines with application to editing. Proc. of the 4nd International Conference on Machine Learning and Applications (ICMLA’05), 2005. https://doi.org/10.1109/icmla.2005.13

The authors declare that there are no conflicts of interest present.