О свойствах М-оценок, оптимизирующих весовую L2-норму функции влияния

Введение. В работе развивается теория устойчивых M-оценок, относящихся к классу сниженных оценок, обладающих свойством устойчивости к асимметричному засорению. Многие известные сниженные оценки могут быть получены в рамках двух подходов д.т.н. А.М. Шурыгина: локально устойчивого подхода, основанного на анализе показателя неустойчивости оценки (L2-нормы функции влияния), или подхода, основанного на модели серии выборок со случайным точечным засорением (модели байесовского точечного засорения). Эти подходы удобны для построения различных устойчивых М-оценок и, по сравнению с классическими робастными процедурами, предоставляют более широкие возможности. Предложенное А.М. Шурыгиным в рамках первого из перечисленных подходов семейство условно оптимальных оценок может определяться как оптимизирующее асимптотическую дисперсию при ограничении на величину неустойчивости. Соответствующая задача допускает представление в форме оптимизации весовой L2-нормы функции влияния. Во втором подходе рассматривается специальным образом сформированная непараметрическая окрестность модельного распределения, и он тоже может быть сведен к анализу весовой L2-нормы функции влияния. Таким образом, данный критерий качества оценивания является достаточно общим и полезным для конструирования робастных оценок. Метод. Теория оценок, оптимальных с точки зрения весовой L2-нормы функции влияния, в настоящее время недостаточно развита. Так, для соответствующих семейств оценок остается нерешенным вопрос единственности членов семейства. Вопрос сводится к исследованию выпуклости (вогнутости) оптимизируемого функционала в зависимости от параметра, задающего семейство. Основные результаты. В работе в общем виде получено выражение для производной по параметру функционала качества оптимальной оценки. Получены неравенства для второй производной, необходимые для установления его выпуклости (вогнутости) по параметру. Полученные результаты применены для описания свойств условно оптимального семейства. Построены функции влияния ряда условно оптимальных оценок для параметров сдвига и масштаба нормальной модели. Исследованы характеристики этих оценок. Обсуждение. Показана устойчивость большинства рассмотренных оценок, что важно для их практического применения. Теоретические результаты могут быть полезны при исследовании свойств компромиссных оценок на базе двух критериев, а также при изучении минимаксных уровней засорения в рамках подхода А.М. Шурыгина на основе модели байесовского точечного засорения. Результаты работы могут найти применение в ситуациях целенаправленного искажения данных противником, в том числе в задачах, связанных с вредоносным машинным обучением.

1. Borovkov A.A. Mathematical Statistics. Amsterdam: Gordon and Breach, 1998. 570 p. https://doi.org/10.1201/9780203749326

2. Шурыгин А.М. Прикладная стохастика: робастность, оценивание, прогноз. М.: Финансы и статистика, 2000. 224 с.

3. Huber P., Ronchetti E. Robust Statistics. 2nd ed. John Wiley & Sons, 2009. 354 p. https://doi.org/10.1002/9780470434697

4. Hampel F., Ronchetti E., Rousseeuw P., Stahel W. Robust Statistics: The Approach Based on Influence Functions. John Wiley & Sons, 2005. 536 p. https://doi.org/10.1002/9781118186435

5. Лисицин Д.В., Гаврилов К.В. Максиминная задача оценивания параметров в условиях байесовского точечного засорения // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2023. № 62. С. 56–64. https://doi.org/10.17223/19988605/62/6

6. Лисицин Д.В., Гаврилов К.В. Оценивание параметров распределения ограниченной случайной величины, робастное к нарушению границ // Научный вестник Новосибирского государственного технического университета. 2016. № 2(63). С. 70–89. https://doi.org/10.17212/1814-1196-2016-2-70-89

7. Lisitsin D.V., Usol’tsev A.G. Minimum gamma-divergence estimation for non-homogeneous data with application to ordered probit model // Applied methods of statistical analysis. Statistical computation and simulation: proceedings of the International Workshop. Novosibirsk, 18–20 Sept. 2019. Novosibirsk: NSTU, 2019. P. 227–234.

8. Лисицин Д.В., Гаврилов К.В. О свойствах условно оптимальных оценок // Научный вестник Новосибирского государственного технического университета. 2015. № 1(58). С. 76–93. https://doi.org/10.17212/1814-1196-2015-1-76-93

9. Лисицин Д.В. Устойчивое оценивание параметров модели по многомерным неоднородным неполным данным // Научный вестник Новосибирского государственного технического университета. 2013. № 1(50). С. 17–30.

10. Смоляк С.А., Титаренко Б.П. Устойчивые методы оценивания: статистическая обработка неоднородных совокупностей. М.: Статистика, 1980. 210 с.

11. Лисицин Д.В., Гаврилов К.В. Об устойчивом оценивании параметров модели при асимметричном засорении данных // Научный вестник Новосибирского государственного технического университета. 2008. № 1(30). С. 33–40. 12. DasGupta A. Asymptotic Theory of Statistics and Probability. New York: Springer, 2008. 722 p. https://doi.org/10.1007/978-0-387-75971-5

12. Van der Vaart A.W. Asymptotic Statistics. Cambridge: Cambridge University Press, 1998. 443 p. https://doi.org/10.1017/CBO9780511802256

13. Shurygin A.M. New approach to optimization of stable estimation // Proc. of the First US/Japan Conference on the Frontiers of Statistical Modeling: An Informational Approach. V. 3. Engineering and Scientific Applications. Springer, Dordrecht, 1994. P. 315–340. https://doi.org/10.1007/978-94-011-0854-6_15

14. Shevlyakov G., Morgenthaler S., Shurygin A. Redescending M-estimators // Journal of Statistical Planning and Inference. 2008. V. 138. N 10. P. 2906–2917. https://doi.org/10.1016/J.JSPI.2007.11.008

15. Shevlyakov G.L., Oja H. Robust Correlation: Theory and Applications. John Wiley & Sons, 2016. 319 p. https://doi.org/10.1002/9781119264507

16. Гаврилов К.В., Веретельникова Е.Л. Об одном способе выбора компромисса в семействе условно оптимальных оценок // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2024. № 67. в печати.

17. Rieder H., Kohl M., Ruckdeschel P. The cost of not knowing the radius // Statistical Methods and Applications. 2008. V. 17. N 1. P. 13–40. https://doi.org/10.1007/s10260-007-0047-7

18. Есипов Д.А., Бучаев А.Я., Керимбай А., Пузикова Я.В., Сайдумаров С.К., Сулименко Н.С., Попов И.Ю., Карманов­ский Н.С. Атаки на основе вредоносных возмущений на системы обработки изображений и методы защиты от них // Научнотехнический вестник информационных технологий, механики и оптики. 2023. № 4(23). С. 720–733. https://doi.org/10.17586/2226-1494-2023-23-4-720-733