ntvНаучно-технический вестник информационных технологий, механики и оптикиScientific and Technical Journal of Information Technologies, Mechanics and Optics2226-14942500-0373Университет ИТМО10.17586/2226-1494-2022-22-6-1031-1036ntv-264Research ArticleИЗБРАННЫЕ МАТЕРИАЛЫ XXXII ШКОЛЫ ПО ГОЛОГРАФИИ Часть IIГибридный эндоскоп с телевизионной и многоспектральной обработкой изображений для диагностики рака внутренних органовHybrid endoscope with television and multispectral image processing for the internal organs cancer early diagnosticshttps://orcid.org/0000-0002-2881-4386ЗайченкоК. В.ZaichenkoK. V.

Зайченко Кирилл Вадимович – доктор технических наук, профессор, заведующий лабораторией

Санкт-Петербург, 198095

sc 55927706300

Kirill V. Zaichenko – D. Sc., Professor, Head of Laboratory

Saint Petersburg, 198095

sc 55927706300

kvz235@mail.ruhttps://orcid.org/0000-0002-7520-7087ГуревичБ. С.GurevichB. S.

Гуревич Борис Симхович – доктор технических наук, главный научный сотрудник

Санкт-Петербург, 198095

sc 35756024100

Boris S. Gurevich – D. Sc., Chief Researcher

Saint Petersburg, 198095

sc 35756024100

bgurevich48@gmail.comhttps://orcid.org/0000-0001-7605-5743БеляевА. В.BelyaevA. V.

Беляев Андрей Владимирович – ведущий электроник

Санкт-Петербург, 198095

Andrey V. Belyaev – Leading Electronic Specialist

Saint Petersburg, 198095

Abel2004@inbox.ruhttps://orcid.org/0000-0002-6456-8776СвяткинаВ. И.SvyatkinaV. I.

Святкина Виталия Игоревна – техник

Санкт-Петербург, 198095

sc 57220780714

Vitalia I. Svyatkina – Technician

Saint Petersburg, 198095

sc 57220780714

svyatkina.vi@edu.spbstu.ruИнститут аналитического приборостроения РАНРоссияInstitute for Analytical Instrumentation of the Russian Academy of SciencesRussian Federation20221612202422610311036Copyright © Зайченко К.В., Гуревич Б.С., Беляев А.В., Святкина В.И., 20242024Зайченко К.В., Гуревич Б.С., Беляев А.В., Святкина В.И.Zaichenko K.V., Gurevich B.S., Belyaev A.V., Svyatkina V.I.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ntv.elpub.ru/jour/article/view/264Предмет исследования

Предмет исследования. Эндоскопы широко применяются для диагностики различных заболеваний внутренних органов. Наиболее совершенные эндоскопы содержат встроенные в зонд миниатюрные телевизионные камеры, которые обеспечивают высокое пространственное разрешение. Однако традиционные телевизионные камеры существенно искажают спектральный состав передаваемого изображения, так как в системе RGB воспроизводят только ограниченные по ширине спектральные линии. Вместе с тем полный оптический спектр изображения обследуемого внутреннего органа несет более обширную информацию, которая может оказаться решающей при диагностике онкологических заболеваний. Таким образом, важную роль играет спектральное разрешение изображения.

Метод

Метод. Для эффективного выявления одновременно пространственной и спектральной информации предложено применять многоспектральную обработку. В результате обработки возможно получение серии монохромных субизображений, каждое из которых соответствует выбранному разрешаемому спектральному интервалу. В качестве селективного элемента, позволяющего в реальном времени выделять субизображения, использованы акустооптические перестраиваемые фильтры. При этом увеличение спектрального разрешения сопровождается падением пространственного разрешения. Для решения этой проблемы предложен новый гибридный эндоскоп, в котором реализован метод совместного применения телевизионной камеры и устройства многоспектральной обработки.

Основные результаты

Основные результаты. Показано, что предложенный метод гибридной эндоскопии дает возможность обеспечить высокие разрешения: пространственное с помощью камеры и спектральное (не менее сотни разрешимых интервалов) благодаря многоспектральной обработке. Получаемые оптические изображения позволяют выявлять четкие очертания области новообразования. Результаты многоспектральной обработки диагностируют злокачественную природу новообразований. Представлена структурная схема предложенного эндоскопа, и показаны принципы управления. Определены характеристики телевизионных и многоспектральных изображений. Оценка линейности характеристик акустооптических фильтров показала возможность передачи максимального объема информации за счет линейности преобразования сигнала в звеньях фильтров.

Практическая значимость

Практическая значимость. Реализация предложенного метода в конструкции гибридного эндоскопа позволила получать наиболее полную спектральную информацию о новообразованиях и обеспечить возможность диагностики рака внутренних органов на более ранних стадиях развития.

Endoscopes are widely used to diagnose various internal diseases. The most advanced endoscopes contain miniature television cameras built into the probe which provide high spatial resolution. However, traditional television cameras significantly distort the spectral composition of the transmitted image because in the RGB system they reproduce only limited width spectral lines. However, the full optical spectrum of an image of an internal organ under examination provides a broader range of information that can be crucial in cancer diagnostics. Thus, the spectral resolution of the image plays an important role. Multispectral processing has been suggested for efficient detection of both spatial and spectral information simultaneously. As a result, a series of monochrome sub-images can be obtained, each of which corresponds to a selected resolved spectral interval. Acousto-optical tunable filters are used as a selective element allowing real-time extraction of sub-images. However, an increase in spectral resolution is accompanied by a decrease in spatial resolution. A new hybrid endoscope was suggested to solve this problem. It implements the method of combined application of a TV camera and a multispectral processing device. It is shown that the suggested method of hybrid endoscopy makes it possible to ensure high resolutions: spatial resolution with a camera and spectral resolution (no less than a hundred of resolvable intervals) due to multispectral processing. The resulting optical images reveal a clear outline of the neoplasm area. The results of multispectral processing diagnose the malignant nature of the neoplasm. A schematic diagram of the proposed endoscope is presented, and the principles of control are shown. The characteristics of the television and multispectral images are determined. An estimation of the linearity characteristics of the acoustooptical filters shows the possibility of transmitting the maximum amount of information due to the linearity of the signal transformation in the filter sections. Implementation of the proposed method in the design of a hybrid endoscope allowed obtaining the most complete spectral information about neoplasms and providing an opportunity of diagnostics of cancer of internal organs at earlier stages of development.

гибридный эндоскопмногоспектральный датчиктелевизионная камерапространственная информацияспектральная и градационная информациярак внутренних органовранняя диагностикаhybrid endoscopemultispectral probetelevision cameraspatial informationspectral and gray scale informationcancer of internal organsearly diagnosticsРабота поддержана Минобрнауки Российской Федерации, госзадание № 075-00761-22-00, тема № FZZM-2022-0011.The work has been supported by Education and Science Ministry of Russian Federation, State task № 075-00761-22-00, project № FZZM-2022-0011.ReferencesЗайченко К.В., Гуревич Б.С. Принципы измерений информационных и технических характеристик акустооптических систем многоспектральной обработки изображений // Датчики и системы. 2015. № 2. С. 61–64.Zaychenko K.V., Gurevich B.S. Measurement principles of information and technical characteristics of the multispectral image processing acousto-optic systems. Sensors & Systems, 2015, no. 2, pp. 61–64. (in Russian)Zaichenko K.V., Gurevich S.B., Gurevich B.S. Application of optical freedom degrees principle to acousto-optic devices // Physics Procedia. 2015. V. 70. P. 774–778. https://doi.org/10.1016/j.phpro.2015.08.265Zaichenko K.V., Gurevich S.B., Gurevich B.S. Application of optical freedom degrees principle to acousto-optic devices. Physics Procedia, 2015, vol. 70, pp. 774–778. https://doi.org/10.1016/j.phpro.2015.08.265Calpe-Maravilla J., Vila-Frances J., Ribes-Gómez E., Durán-Bosch V., Muñoz-Mari J., Amorós-Lopez J., Gómez-Chova L., Tajahuerce E. 400- to 1000-nm imaging spectrometer based on acousto-optic tunable filters // Journal of Electronic Imaging. 2006. V. 15. N 2. P. 023001. https://doi.org/10.1117/1.2201057Calpe-Maravilla J., Vila-Frances J., Ribes-Gómez E., Durán-Bosch V., Muñoz-Mari J., Amorós-Lopez J., Gómez-Chova L., Tajahuerce E. 400- to 1000-nm imaging spectrometer based on acousto-optic tunable filters. Journal of Electronic Imaging, 2006, vol. 15, no. 2, pp. 023001. https://doi.org/10.1117/1.2201057Gupta N. Hyperspectral and polarization imaging application of acousto-optic tunable filters // Proc. of World Congress on Ultrasonics. Paris. 2003. Р. 345–348.Gupta N. Hyperspectral and polarization imaging application of acousto-optic tunable filters. Proc. of World Congress on Ultrasonics. Paris, 2003, pp. 345–348.Kutuza B., Pozhar V.E., Pustovoit V.I. AOTF-based imaging spectrometers for research of small-size biological objects //Proceedings of SPIE. 2003. V. 5143. P. 165–169. https://doi. org/10.1117/12.500528Kutuza B., Pozhar V.E., Pustovoit V.I. AOTF-based imaging spectrometers for research of small-size biological objects.Proceedings of SPIE, 2003, vol. 5143, pp. 165–169. https://doi.org/10.1117/12.500528Yushkov K.B., Bogomolov D.V., Voloshinov V.B. Acousto-optic imaging by means of wide-angle tunable acousto-optic filter // Molecular and Quantum Acoustics. 2007. V. 28. P. 299–304.Yushkov K.B., Bogomolov D.V., Voloshinov V.B. Acousto-optic imaging by means of wide-angle tunable acousto-optic filter. Molecular and Quantum Acoustics, 2007, vol. 28, pp. 299–304.Шаповалов В.В., Гуревич Б.С., Колесов И.А., Андреев С.В., Беляев А.В. Источник света с произвольно регулируемым спектральным составом для биомедицинских спектральных анализаторов // Биомедицинская электроника. 2009. № 11. С. 16–20.Shapovalov V.V., Gurevich B.S., Kolesov I.A., Andreev S.V., Beliaev A.V. Light source with arbitrarily adjustable spectral distribution for biomedical spectrum analyzers. Journal Biomedical Radioelectronics, 2009, no. 11, pp. 16–20. (in Russian)Semyonov D.V., Nippolainen E., Kamshilin A.A., Belyaev A.V., Andreev S.V., Gurevich B.S. An ultra-fast distance sensor based on dynamic speckles generated by acousto-optic deflection // Measurement Science and Technology. 2006. V. 17. N 11. P. 2906–2912. https://doi.org/10.1088/0957-0233/17/11/007Semyonov D.V., Nippolainen E., Kamshilin A.A., Belyaev A.V., Andreev S.V., Gurevich B.S. An ultra-fast distance sensor based on dynamic speckles generated by acousto-optic deflection. Measurement Science and Technology, 2006, vol. 17, no. 11, pp. 2906–2912. https://doi.org/10.1088/0957-0233/17/11/007Андреев С.В., Беляев А.В., Гуревич Б.С., Земский В.И., Соколов В.Н., Шаповалов В.В. Универсальный источник полихромного излучения. Патент RU 2287736. Бюл. 2006. № 32.Andreev S.V., Beljaev A.V., Gurevich B.S., Zemskij V.I., Sokolov V.N., Shapovalov V.V. Universal source of polychromatic optical radiation. Patent RU 2287736, 2006. (in Russian)Гуревич С.Б., Гуревич Б.С., Жумалиев К.М. Проблемы информационной оптоэлектроники. СПб.: Наука, 2008. 210 с.Gurevich S.B., Gurevich B.S., Zhumaliev K.M. Information Optoelectronics Problems. St. Petersburg, Nauka Publ., 2008, 210 p. (in Russian)Акаев А.А., Жумалиев К.М., Гуревич С.Б., Гуревич Б.С. Связь оценок качества изображения с информационными характеристиками изображающих систем и памяти // Оптический журнал. 1997. Т. 64. № 2. С. 61–66.Akaev A.A., Zhumaliev K.M., Gurevich S.B., Gurevich B.S. Connecting estimates of image quality to the informational characteristics of imaging systems and memory. Journal of Optical Technology, 1997, vol. 64, no. 2, pp. 127–131.Gupta N., Dahmani R. Multispectral and hyperspectral imaging with AOTF for object recognition // Proceedings of SPIE. 1999. V. 3584. P. 128–135. https://doi.org/10.1117/12.339814Gupta N., Dahmani R. Multispectral and hyperspectral imaging with AOTF for object recognition. Proceedings of SPIE, 1999, vol. 3584, pp. 128–135. https://doi.org/10.1117/12.339814Dong Y., You Z., Gao P. Acousto-optic tunable filter for spectral imaging // Proceedings of SPIE. 2002. V. 4919. P. 269–274. https://doi.org/10.1117/12.465653Dong Y., You Z., Gao P. Acousto-optic tunable filter for spectral imaging. Proceedings of SPIE, 2002, vol. 4919, pp. 269–274. https://doi.org/10.1117/12.465653Gurevich B.S., Andreyev S.V., Belyaev A.V., Chelak V.N., Sagymbaeva K.A. Investigation of information transmission processes in acousto-optic spectrophotometer // Proc. of the World Congress on Ultrasonics. Paris. 2003. P. 365–368.Gurevich B.S., Andreyev S.V., Belyaev A.V., Chelak V.N., Sagymbaeva K.A. Investigation of information transmission processes in acousto-optic spectrophotometer. Proc. of the World Congress on Ultrasonics. Paris, 2003, pp. 365–368.Kogelnik H. Coupled wave theory for thick hologram gratings // Bell System Technical Journal. 1969. V. 48. N 9. P. 2909–2947. https://doi.org/10.1002/j.1538-7305.1969.tb01198.xKogelnik H. Coupled wave theory for thick hologram gratings. Bell System Technical Journal, 1969, vol. 48, no. 9, pp. 2909–2947. https://doi.org/10.1002/j.1538-7305.1969.tb01198.xGurevich B.S., Andreyev S.V., Vorobiev V.V., Rodiontsev A.A., Sokolov V.N. Information losses in acousto-optics, their reasons, and ways to minimize them // Proceedings of SPIE. 1998. V. 3464. P. 55–63. https://doi.org/10.1117/12.323153Gurevich B.S., Andreyev S.V., Vorobiev V.V., Rodiontsev A.A., Sokolov V.N. Information losses in acousto-optics, their reasons, and ways to minimize them. Proceedings of SPIE, 1998, vol. 3464, pp. 55–63. https://doi.org/10.1117/12.323153

The authors declare that there are no conflicts of interest present.