Честный рейтинг экспертов Кубка Стэнли
Этот пост написан пользователем Sports.ru, начать писать может каждый болельщик (сделать это можно здесь).
За что мы любим кубковую весну? Конечно, за прогнозы, которые оставляют эксперты и обычные болельщики!😍🤪
Но редко дело доходит до анализа результатов. Прогнозы делаются в погоне за сиюминутным хайпом💥 Давайте всё-таки проверим, чьим словам можно доверять, кто действительно разбирается в кубковом хоккее🏒
В своём мини-исследовании я собрал прогнозы 38 экспертов главных российских каналов «Скользкий лёд», «Это хоккей, брат!», «NHL.online», а также комментаторов «Sportcast» и «36 студии». Это первая обзорная статья такого рода в новейшей истории (хоккейные каналы теперь стримят почти каждый день, а число экспертов перевалило за несколько десятков).
Предлагаю взглянуть на разные метрики точности прогнозов, а не просто «угаданный счёт».
Определимся с терминами
С результатами вы сможете ознакомиться в таблице.
А пока предлагаю обсудить выбранные метрики точности.
1. Исход серии
Классический показатель, понятный всем:
✔️ +1 за верно угаданного победителя серии
Спойлер: лидеры — Филипп Майков (Скользкий Лёд), Владислав Дейкун (36 студия), Никита Филатов (Это хоккей, брат!) — угадали победителей 11 серий из 15
2. Успех
При стандартном подсчёте угаданных результатов главная проблема кроется в 7-х матчах (Виталий Магранов давно добавляет очки за 7 матч). На истории видно, что шансы команд в 7 матче практически равны. Эксперты и сами твердят, что исход седьмой игры непредсказуем. Поэтому «успехом» можно считать верно угаданный счёт после 6-го матча. В данном показателе стирается разница между 4:3 и 3:4.
Это практически то же самое, что угаданный счёт, только дополнительно поощряется промах в 7-м матче, если ставка была на проигравшую команду.
✔️ +1 за верно угаданный счёт 4:0 / 4:1 / 4:2 / 3:3 / 2:4 / 1:4 / 0:4
Спойлер: Владимир Дехтярёв (NHL.online) был успешен в 7 сериях, Станислав Морозов (36 студия) в 6
3. Седьмые матчи
Отдельное поле для состязаний. Дополнительный показатель при сравнении участников.
✔️ +1 за верно угаданный счёт 4:3 / 3:4
Спойлер: Филипп Майков (Скользкий Лёд) и Артём Батрак (Это хоккей, брат!) угадали 2 из 3 седьмых матчей
4. Стандартное отклонение
Математика на практике. Показывает тех, кто совсем чуть-чуть не попал в точный счёт.
Ошибиться в прогнозе можно по-разному. Бывает, прогнозируешь 4:1, а серия заканчивается в 4 или 6 матчах — тогда ошибка = 1 матч, и число 1 будет фигурировать в итоговой формуле (рассчитывается из всех 15 серий).
Однако, как трактовать другие ошибки? Как обсуждалось выше, легче всего ошибиться в исходе 7-го матча. 7-й матч уже учитывается в других метриках (№1 и 3). Чтобы сделать их менее коррелирующими (зависимыми), имеем право не учитывать здесь разницу между 4:3 и 3:4.
Выборку составляем из ошибок каждой серии. Примеры:
прогноз — 4:2, факт — 4:2; ошибка — 0
прогноз — 4:2, факт — 4:0; ошибка — 2
прогноз — 4:2, факт — 4:3; ошибка — 1
прогноз — 4:3, факт — 3:4; ошибка — 0 (закрываем глаза на непредсказуемый исход 7-го матча)
прогноз — 4:2, факт — 3:4; ошибка — 1
прогноз — 4:2, факт — 2:4; ошибка — 2
прогноз — 4:2, факт — 1:4; ошибка — 3 (⚡️Tampa-Bay moment😁)
прогноз — 4:0, факт — 3:4; ошибка — 3
√( (0²+2²+1²+0²+1²+2²+3²+3²) / (N-1) ) = √( (0+4+1+0+1+4+9+9) / (8-1) ) = √( 28 / 7 ) = 2
❗️ Рассчитывается через сумму квадратов ошибок, поэтому поощряет тех, кто ошибается не больше чем «на 1 матч»; показатель сильно ухудшается при ошибках «в 2-3 матча».
✔️ выборочное стандартное отклонение (окей гугл)
Лидером тут стал Владислав Дейкун (36 студия), можно сказать, ему чаще всего не везло, мог оказаться в топе
А теперь приготовьтесь к показателю, который перевернёт ваше представление о точности прогнозов…
5. ROC AUC (рок аук)
sklearn.metrics.roc_auc_score
Метрика используется для оценки качества моделей машинного обучения, но её можно применить и для прогнозов людей.
Эта метрика неочевидна в парадигме шоу, в которых участвуют эксперты. Но обретает актуальность в другом формате:
В 2024 году я запустил свой турнир, который позволяет прогнозировать вероятности 8 исходов в серии, чтобы не мучиться с выбором точного счёта, а указывать веса от 0 до 100. Подсчитывается простая сумма угаданных, по аналогии с конкурсами экспертов. Но такой подход более статистический и ключевой в нём является метрика ROC AUC.
Она отражает баланс в прогнозах, и позволяет сравнивать участников с разными тактиками. Метрика снижается у тех, кто слишком «распыляется» мелкими ставками на разный счёт, либо прогнозирует один счёт (как в случае экспертов, которые ставят на один из 8 возможных исходов, и часто промахиваются).
И самое красивое определение: ROC AUC равен вероятности, что предсказатель присвоил больший вес корректному исходу (15 истинных исходов серий), чем ложному исходу (их в плей-офф 15 × (8 - 1) = 105).
Можно представить это наглядно:
1. Ставки человека разделяются на 15 истинных и 105 ложных исходов (в основном среди ложных нули, когда прогнозист знал, что исход невозможен).
2. Сравниваем, числа в «корректной» группе со ставками на ложные исходы.
3. Случайно выбранная ставка на корректный исход с вероятностью, равной ROC AUC, будет больше чем случайно выбранная ставка на ложный исход.
Самое интересное, что прогнозы экспертов хоккейных шоу можно поместить в эту парадигму и сравнить результаты заслуженных экспертов и участников нашего турнира. Наглядно увидим, какой подход лучше в терминах предсказательных моделей.
Результаты
Я собрал прогнозы 38 экспертов, чьи прогнозы были опубликованы в соцсетях. Среди лучших оказались и новые имена:
Вероятностный подход показывает лучшую предсказательную способность (ROC AUC), чем классический конкурс на «точный счёт»:
Эксперты оказались позади обычных болельщиков по ROC AUC, и это доказывает несостоятельность прогнозирования точного счёта в мире с кучей возможных сюжетных поворотов.
Вы можете поспорить, ведь трое лидеров — эксперты, которые прогнозировали в классическом формате. Однако, это статистическая аномалия — говорю вам, как аналитик данных.
Советую прочитать результаты наших Турниров прогнозов — вы не останетесь равнодушны.
В этом блоге мы продолжим вероятностное прогнозирование (подписывайтесь, возвращайтесь к старту регулярного сезона). На горизонте нескольких лет будет очевидно, что обычные болельщики разбираются в хоккее не хуже известных экспертов.
Антихайп!