Реализация и исследование резервуарного вычислителя на основе аппаратной модели трехэлементного импульсного нейрона

Введение. Исследованы варианты поиска новых компьютерных архитектур для аппаратной реализации динамических (импульсных) нейросетей, способных заменить современные сети, построенные на нейронах со статической функцией активации. Метод. Впервые предложено использование разработанной компактной аналоговой модели импульсного нейрона, состоящей из трех элементов (волатильного мемристора, туннельного диода и конденсатора), в качестве базового элемента резервуарного вычислителя типа жидкостный конечный автомат (Liquid State Machine). Предложена компьютерная модель резервуара, включающая 7480 импульсных нейронов и около 254 тыс. связей, с топологией, сформированной по биологически мотивированному алгоритму. Основные результаты. Результаты предложенного решения продемонстрированы на задаче распознавания рукописных цифр из набора данных Modified National Institute of Standards and Technology. Достигнута точность классификации 93 %, что сопоставимо с известными реализациями жидкостных конечных автоматов. Оценки быстродействия предлагаемого резервуара при будущей аппаратной реализации превосходят показатели существующих аналогов на порядок, а по энергоэффективности — на 3–4 порядка. Обсуждение. Впервые показана практическая применимость трехэлементной нейронной модели для задач машинного обучения и доказана ее перспективность как базового элемента для построения масштабируемых и энергоэффективных нейроморфных вычислительных систем.

1. Tavanaei A., Ghodrati M., Kheradpisheh S.R., Masquelier T., Maida A. Deep learning in spiking neural networks // Neural Networks. 2019. V. 111. P. 47–63. https://doi.org/10.1016/j.neunet.2018.12.002

2. Philipp G., Song D., Carbonell J.G. The exploding gradient problem demystified — definition, prevalence, impact, origin, tradeoffs, and solutions // arXiv. 2017. arXiv:1712.05577. https://doi.org/10.48550/arXiv.1712.05577

3. Kirkpatrick J., Pascanu R., Rabinowitz N., Veness J., Desjardins G., Rusu A.A., et al. Overcoming catastrophic forgetting in neural networks // Proc. of the National Academy of Sciences of the United States of America. 2017. V. 114. N 13. P. 3521–3526. https://doi.org/10.1073/pnas.1611835114

4. Davidson S., Furber S.B. Comparison of artificial and spiking neural networks on digital hardware // Frontiers in Neuroscience. 2021. V. 15. P. 651141. https://doi.org/10.3389/fnins.2021.651141

5. Przyczyna D., Pecqueur S., Vuillaume D., Szaciłowski K. Reservoir computing for sensing: an experimental approach // arXiv. 2020. arXiv:2001.04342. https://doi.org/10.48550/arXiv.2001.04342

6. Jiang H., Anumasa S., De Masi G., Xiong H., Gu B. A unified optimization framework of ANN-SNN conversion: towards optimal mapping from activation values to firing rates // Proc. of the 40th International Conference on Machine Learning. 2023. P. 14945– 14974.

7. Lukoševičius M., Jaeger H. Reservoir computing approaches to recurrent neural network training // Computer Science Review. 2009. V. 3. N 3. P. 127–149. https://doi.org/10.1016/j.cosrev.2009.03.005

8. Morando S., Pera M.C., Yousfi Steiner N., Jemei S., Hissel D., Larger L. Reservoir Computing optimisation for PEM fuel cell fault diagnostic // Proc. of the IEEE Vehicle Power and Propulsion Conference (VPPC). 2017. P. 1–7. https://doi.org/10.1109/vppc.2017.8330981

9. Zhang S., Duan X., Li C., Liang M. Pre-classified reservoir computing for the fault diagnosis of 3D printers // Mechanical Systems and Signal Processing. 2021. V. 146. P. 106961. https://doi.org/10.1016/j.ymssp.2020.106961

10. Shi C., Fu X., Wang H., Lin Y., Jiang Y., Liu L., et al. Ghost reservoir: a memory-efficient low-power and real-time neuromorphic processor of liquid state machine with on-chip learning // IEEE Transactions on Circuits and Systems II: Express Briefs. 2024. V. 71. N 10. P. 4526– 4530. https://doi.org/10.1109/TCSII.2024.3395415

11. Stoliar P., Schneegans O., Rozenberg M.J. Biologically relevant dynamical behaviors realized in an ultra-compact neuron model // Frontiers in Neuroscience. 2020. V. 14. P. 421. https://doi.org/10.3389/fnins.2020.00421

12. Isik I., Tagluk M.E. Analysis of the electronic integrate and fire neuron model // Neurocomputing. 2022. V. 488. P. 261–270. https://doi.org/10.1016/j.neucom.2022.02.064

13. Pickett M.D., Medeiros-Ribeiro G., Williams R.S. A scalable neuristor built with Mott memristors // Nature Materials. 2013. V. 12. N 2. P. 114–117. https://doi.org/10.1038/nmat3510

14. Li Y., Tang J., Gao B., Li X., Xi Y., Zhang W., et al. Oscillation neuron based on a low-variability threshold switching device for highperformance neuromorphic computing // Journal of Semiconductors. 2021. V. 42. N 6. P. 064101. https://doi.org/10.1088/1674-4926/42/6/064101

15. Ostrovskii V., Karimov T., Rybin V., Bobrova Y., Arlyapov V., Butusov D. Bio-inspired neuron based on threshold selector and tunnel diode capable of excitability modulation // Neurocomputing. 2025. V. 624. P. 129454. https://doi.org/10.1016/j.neucom.2025.129454

16. Hodgkin A.L. The local electric changes associated with repetitive action in a non-medullated axon // The Journal of Physiology. 1948. V. 107. N 2. P. 165–181. https://doi.org/10.1113/jphysiol.1948.sp004260

17. Zhang Y., Mo L., He X., Meng X. Unsupervised spiking neural network based on liquid state machine and self-organizing map // Neurocomputing. 2025. V. 620. P. 129120. https://doi.org/10.1016/j.neucom.2024.129120

18. Hua Q., Wu H., Gao B., Zhao M., Li Y., Li X., et al. A threshold switching selector based on highly ordered Ag nanodots for X-point memory applications // Advanced Science. 2019. V. 6. N 10. P. 1900024. https://doi.org/10.1002/advs.201900024

19. Баюков А.В., Гитцевич А.Б., Зайцев А.А., Мокряков В.В., Петухов В.М., Хрулев А.К. Полупроводниковые приборы: диоды, тиристоры, оптоэлектронные приборы. Справочник. М.: Энергоатомиздат, 1983. 744 с.

20. Wijesinghe P., Srinivasan G., Panda P., Roy K. Analysis of liquid ensembles for enhancing the performance and accuracy of liquid state machines // Frontiers in Neuroscience. 2019. V. 13. P. 504. https://doi.org/10.3389/fnins.2019.00504

21. McHugh M.L. The chi-square test of independence // Biochemia Medica. 2013. V. 23. N 2. P. 143–149. https://doi.org/10.11613/bm.2013.018

22. Wang Q., Jin Y., Li P. General-purpose LSM learning processor architecture and theoretically guided design space exploration. Proc. of the IEEE Biomedical Circuits and Systems Conference (BioCAS), 2015, pp. 1–4. https://doi.org/10.1109/biocas.2015.7348397

23. Hazan H., Saunders D.J., Sanghavi D.T., Siegelmann H., Kozma R. Lattice map spiking neural networks (LM-SNNs) for clustering and classifying image data. Annals of Mathematics and Artificial Intelligence, 2020, vol. 88, no. 11, pp. 1237–1260. https://doi.org/10.1007/s10472-019-09665-3