Честный рейтинг экспертов Кубка Стэнли
За что мы любим кубковую весну? Конечно, за прогнозы, которые оставляют эксперты и обычные болельщики!😍🤪
Но редко дело доходит до анализа результатов. Прогнозы делаются в погоне за сиюминутным хайпом💥 Давайте всё-таки проверим, чьим словам можно доверять, кто действительно разбирается в кубковом хоккее🏒
В своём мини-исследовании я собрал прогнозы 38 экспертов главных российских каналов «Скользкий лёд», «Это хоккей, брат!», «NHL.online», а также комментаторов «Sportcast» и «36 студии». Это первая обзорная статья такого рода в новейшей истории (хоккейные каналы теперь стримят почти каждый день, а число экспертов перевалило за несколько десятков).
Предлагаю взглянуть на разные метрики точности прогнозов, а не просто «угаданный счёт».
Определимся с терминами
С результатами вы сможете ознакомиться в таблице.
А пока предлагаю обсудить выбранные метрики точности.
1. Исход серии
Классический показатель, понятный всем:
✔️ +1 за верно угаданного победителя серии
Спойлер: лидеры — Филипп Майков (Скользкий Лёд), Владислав Дейкун (36 студия), Никита Филатов (Это хоккей, брат!) — угадали победителей 11 серий из 15
2. Успех
При стандартном подсчёте угаданных результатов главная проблема кроется в 7-х матчах (Виталий Магранов давно добавляет очки за 7 матч). На истории видно, что шансы команд в 7 матче практически равны. Эксперты и сами твердят, что исход седьмой игры непредсказуем. Поэтому «успехом» можно считать верно угаданный счёт после 6-го матча. В данном показателе стирается разница между 4:3 и 3:4.
Это практически то же самое, что угаданный счёт, только дополнительно поощряется промах в 7-м матче, если ставка была на проигравшую команду.
✔️ +1 за верно угаданный счёт 4:0 / 4:1 / 4:2 / 3:3 / 2:4 / 1:4 / 0:4
Спойлер: Владимир Дехтярёв (NHL.online) был успешен в 7 сериях, Станислав Морозов (36 студия) в 6
3. Седьмые матчи
Отдельное поле для состязаний. Дополнительный показатель при сравнении участников.
✔️ +1 за верно угаданный счёт 4:3 / 3:4
Спойлер: Филипп Майков (Скользкий Лёд) и Артём Батрак (Это хоккей, брат!) угадали 2 из 3 седьмых матчей
4. Стандартное отклонение
Математика на практике. Показывает тех, кто совсем чуть-чуть не попал в точный счёт.
Ошибиться в прогнозе можно по-разному. Бывает, прогнозируешь 4:1, а серия заканчивается в 4 или 6 матчах — тогда ошибка = 1 матч, и число 1 будет фигурировать в итоговой формуле (рассчитывается из всех 15 серий).
Однако, как трактовать другие ошибки? Как обсуждалось выше, легче всего ошибиться в исходе 7-го матча. 7-й матч уже учитывается в других метриках (№1 и 3). Чтобы сделать их менее коррелирующими (зависимыми), имеем право не учитывать здесь разницу между 4:3 и 3:4.
Выборку составляем из ошибок каждой серии. Примеры:
прогноз — 4:2, факт — 4:2; ошибка — 0
прогноз — 4:2, факт — 4:0; ошибка — 2
прогноз — 4:2, факт — 4:3; ошибка — 1
прогноз — 4:3, факт — 3:4; ошибка — 0 (закрываем глаза на непредсказуемый исход 7-го матча)
прогноз — 4:2, факт — 3:4; ошибка — 1
прогноз — 4:2, факт — 2:4; ошибка — 2
прогноз — 4:2, факт — 1:4; ошибка — 3 (⚡️Tampa-Bay moment😁)
прогноз — 4:0, факт — 3:4; ошибка — 3
√( (0²+2²+1²+0²+1²+2²+3²+3²) / (N-1) ) = √( (0+4+1+0+1+4+9+9) / (8-1) ) = √( 28 / 7 ) = 2
❗️ Рассчитывается через сумму квадратов ошибок, поэтому поощряет тех, кто ошибается не больше чем «на 1 матч»; показатель сильно ухудшается при ошибках «в 2-3 матча».
✔️ выборочное стандартное отклонение (окей гугл)
Лидером тут стал Владислав Дейкун (36 студия), можно сказать, ему чаще всего не везло, мог оказаться в топе
А теперь приготовьтесь к показателю, который перевернёт ваше представление о точности прогнозов…
5. ROC AUC (рок аук)
sklearn.metrics.roc_auc_score
Метрика используется для оценки качества моделей машинного обучения, но её можно применить и для прогнозов людей.
Эта метрика неочевидна в парадигме шоу, в которых участвуют эксперты. Но обретает актуальность в другом формате:
В 2024 году я запустил свой турнир, который позволяет прогнозировать вероятности 8 исходов в серии, чтобы не мучиться с выбором точного счёта, а указывать веса от 0 до 100. Подсчитывается простая сумма угаданных, по аналогии с конкурсами экспертов. Но такой подход более статистический и ключевой в нём является метрика ROC AUC.
Она отражает баланс в прогнозах, и позволяет сравнивать участников с разными тактиками. Метрика снижается у тех, кто слишком «распыляется» мелкими ставками на разный счёт, либо прогнозирует один счёт (как в случае экспертов, которые ставят на один из 8 возможных исходов, и часто промахиваются).
И самое красивое определение: ROC AUC равен вероятности, что предсказатель присвоил больший вес корректному исходу (15 истинных исходов серий), чем ложному исходу (их в плей-офф 15 × (8 - 1) = 105).
Можно представить это наглядно:
1. Ставки человека разделяются на 15 истинных и 105 ложных исходов (в основном среди ложных нули, когда прогнозист знал, что исход невозможен).
2. Сравниваем, числа в «корректной» группе со ставками на ложные исходы.
3. Случайно выбранная ставка на корректный исход с вероятностью, равной ROC AUC, будет больше чем случайно выбранная ставка на ложный исход.
Самое интересное, что прогнозы экспертов хоккейных шоу можно поместить в эту парадигму и сравнить результаты заслуженных экспертов и участников нашего турнира. Наглядно увидим, какой подход лучше в терминах предсказательных моделей.
Результаты
Я собрал прогнозы 38 экспертов, чьи прогнозы были опубликованы в соцсетях. Среди лучших оказались и новые имена:
Вероятностный подход показывает лучшую предсказательную способность (ROC AUC), чем классический конкурс на «точный счёт»:
Эксперты оказались позади обычных болельщиков по ROC AUC, и это доказывает несостоятельность прогнозирования точного счёта в мире с кучей возможных сюжетных поворотов.
Вы можете поспорить, ведь трое лидеров — эксперты, которые прогнозировали в классическом формате. Однако, это статистическая аномалия — говорю вам, как аналитик данных.
Советую прочитать результаты наших Турниров прогнозов — вы не останетесь равнодушны.
В этом блоге мы продолжим вероятностное прогнозирование (подписывайтесь, возвращайтесь к старту регулярного сезона). На горизонте нескольких лет будет очевидно, что обычные болельщики разбираются в хоккее не хуже известных экспертов.
Антихайп!
