Кованцев Антон Николаевич - инженер
Санкт-Петербург, 197101
Anton N. Kovantsev - Engineer
Saint Petersburg, 197101
Предмет исследования. Задача оценки предсказуемости временных рядов возникает при валидации моделей прогнозирования, при классификации рядов с целью оптимизации выбора модели и ее параметров, при анализе результатов. Большая гетероскедастичность ошибок, получаемых при прогнозировании нескольких различных по природе и характеристикам рядов, часто приводит к затруднениям при оценке предсказуемости. В работе исследована внутренняя предсказуемость объектов предсказательного моделирования. На примере прогнозирования временных рядов определена возможность количественной оценки внутренней предсказуемости по вероятности (частоте) получения прогноза с ошибкой, больше заданного уровня, и связь такой меры с характеристиками самих временных рядов.Метод. Суть предлагаемого метода состоит в оценивании внутренней предсказуемости по вероятности возникновения ошибки, большей заранее заданного порогового значения.Основной результат. Исследования выполнены на данных из открытых источников, содержащих более 7000 временных рядов биржевых котировок. Проведено сопоставление полученных значений вероятности возникновения ошибок, превосходящих допустимое значение (вероятностей промаха) для одних и тех же рядов на различных моделях прогнозирования. Показано, что при использовании моделей с одним и тем же рядом эти вероятности отличаются незначительно и могут служить мерой предсказуемости. Выявлена связь полученных значений вероятности с энтропией, показателем Хёрста и иными характеристиками рядов, по которым оценивается предсказуемость. Установлено, что полученная мера позволяет сравнивать предсказуемость временных рядов при выраженной гетероскедастичности ошибок прогнозирования и при применении разных моделей. Мера связана с характеристиками временного ряда и интерпретируема.Практическая значимость. Полученные результаты могут быть обобщены на любые объекты предсказательного моделирования и меры оценки качества прогноза.Результаты исследования будут полезны разработчикам алгоритмов предсказательного моделирования и специалистам по машинному обучению, при решении практических задач прогнозирования.
Assessing the time series predictability is necessary for forecasting models validating, for classifying series to optimize the choice of the model and its parameters, and for analyzing the results. The difficulties in assessing predictability occur due to large heteroscedasticity of errors obtained when predicting several series of different nature and characteristics. In this work, the internal predictability of predictive modeling objects is investigated. Using the example of time series forecasting, we explore the possibility of quantifying internal predictability in terms of the probability (frequency) of obtaining a forecast with an error greater than some certain level. We also try to determine the relationship of such a measure with the characteristics of the time series themselves. The idea of the proposed method is to estimate the internal predictability by the probability of an error exceeding a predetermined threshold value. The studies were carried out on data from open sources containing more than seven thousand time series of stock market prices. We compare the probability of errors which exceed the allowable value (miss probabilities) for the same series on different forecasting models. We show that these probabilities differ insignificantly for different forecasting models with the same series, and hence, the probability can be a measure of predictability. We also show the relationship of the miss probability values with entropy, the Hurst exponent, and other characteristics of the series according to which the predictability can be estimated. It has been established that the resulting measure makes it possible to compare the predictability of time series with pronounced heteroscedasticity of forecast errors and when using different models. The measure is related to the characteristics of the time series and is interpretable. The results can be generalized to any objects of predictive modeling and forecasting quality scores. It can be useful to developers of predictive modeling algorithms, machine learning specialists in solving practical problems of forecasting.
The authors declare that there are no conflicts of interest present.