Турнир прогнозов Elite // Итоги Кубка Стэнли 2024

Этот пост написан пользователем Sports.ru, начать писать может каждый болельщик (сделать это можно здесь).

Больше приколов можно найти в моём блоге.

В конце поста бонус — планы по развитию на следующий год.

А сейчас приветствуем лидеров!

Среди 28 участников моего первого турнира (каждого из которых я благодарю)

3 место в упорной борьбе разделили waleragrewzew и Pokerok (с результатом 25,3%). Поскольку мной не объявлены дополнительные показатели при равенстве очков, они делят приз и получают по 500₽ 🤝

Заслуженное 2 место и 2000₽ — kostya187 (27,3%), который весь турнир шёл в лидерах!

1 место

3000₽, звание риск-аналитика и лучшего эксперта дифференцированных прогнозов Кубка Стэнли 2024 получает Vertilс показателем точности 30,3%!

Детальные результаты

Продвинутые метрики

Пора понять, кто был ювелирно точен, а чьи прогнозы зашли на халяву.

В спорте не существует предопределённых исходов, невозможно знать будущее наверняка, поэтому подвергнем критическому анализу красивые попадания участников в результат «соткой» и многочисленные нули при неожиданных результатах серий (привет, Флорида-Тампа, Виннипег-Колорадо, Флорида-Эдмонтон).

Медиана

Позволяет увидеть, у кого очки набраны равномерно и постепенно, а кто поимел несколько больших выигрышей (которые могли быть случайными). Медиана — это «обычный» выигрыш участника, в нашем турнире в основном равняется 20-30.

Недостаток медианы — нечувствительна к крупным прогнозам (ставящий по-крупному, имеет низкую медиану, яркий пример — alex023, которому кстати не хватило 5 очков до 3 места).

Пример расчёта: возьмём выигрыши alex023 (15 серий плей-офф), и отсортируем.
0, 0, 0, 0, 0, 10, 10, [15], 20, 30, 40, 50, 50, 50, 100
Число посередине, 15 — и есть медиана.

Средняя ошибка

Тут всё просто, ошибка — это разница в числе матчей, насколько участник промахнулся в прогнозе. Между 4:1 и 4:2 разница — 1 матч. Между 4:2 и 3:4 разница — 2. Максимальная возможная ошибка — 7, а у нас в турнире топ ошибок выглядит так:

Пример расчёта: ставка 60 на 4:2 и 40 на 2:4, серия закончилась 4:3.
Ошибка error = (1*60 + 2*40) / 100 = 1,4. Чем меньше, тем лучше.

Стандартное отклонение (ошибка²)

Почти то же самое, только для каждой ставки берётся ошибка в степени 2. Позволяет увидеть тех, кто не совершал больших ошибок (например ARAMIS777, лидер по этому показателю)

Пример расчёта: ставка 30 на 4:1, 50 на 4:2 и 20 на 4:3, серия закончилась 4:3.

Однако, эксперты могут возразить — исходы 4:2, 2:4 более вероятны, чем семь матчей, а расположены не рядом, что приводит к большой ошибке = 3.
В большинстве ситуаций для команды-лидера победа в 7 матчах вероятнее, чем проигрыш 2:4, поэтому не логично ставить только на два отдалённых исхода — 4:2 и 2:4. При счёте 2:2 наиболее вероятные исходы — 4:2, 4:3, и только потом 2:4 (проверено на исторических данных). Так что величина ошибки — неплохой показатель точности прогнозов.
Однако, при счёте в серии 2:3, гости вероятнее всего выиграют 2:4, либо проиграют в 7-м матче. Счёт 3:4 в таком случае менее вероятен и лучше ставить на исходы, отдалённые друг от друга (4:3, 2:4), что ведёт к накоплению величины ошибки.

ROC AUC [рок аук]

Позволяет решить эту проблему. Метрика используется для оценки качества моделей машинного обучения, но её можно применить и для нашей цели, чтобы выяснить, кто из нас машина по предсказанию исходов 🔥🚘🔥

Если кратко, ROC AUC отражает баланс в прогнозах, и позволяет сравнивать участников с разными тактиками. Метрика снижена у тех, кто слишком «распыляется» мелкими ставками, либо промахивается по-крупному. Также позволяет увидеть, кто заработал очки на халяву (тогда AUC меньше, чем у соседей по таблице).

Кривая ROC наглядно показывает предсказательную способность участников. Метрика AUC равна площади под кривой ROC. Значение 0,5 соответствует диагонали на графике и случайным предсказаниям (если поставить на все исходы серии по 12,5 баллов (100 / 8)). Качество прогнозов определяется тем, насколько кривая выгнута в сторону верхнего левого угла, максимальное значение ROC AUC равно 1.

Чья кривая расположена выше в левой части, тот отлично угадывал крупные ставки (> 40).
Чья кривая выше в центре, тот стабильно и качественно выигрывал по 20-30 баллов.
Если вы заинтересовались, можете углубиться в тему.

Прерывистые линии у тех, кто поставил не на все серии турнира:

Пример расчёта в python: roc_auc = sklearn.metrics.roc_auc_score(result_vector, prognosis_vector), куда передаются векторы результатов серий и прогнозов участника (15 серий * 8 исходов = 120 элементов в каждом векторе).

Можно заметить, что метрика ROC AUC высока у долго лидировавших участников. Те, кто рискнул и вырвался в лидеры в конце турнира, имеют меньший ROC AUC. Мне это видится наиболее справедливым признаком мастерства, так что я планирую в следующем году...

Планы

1. Определить победителя общего турнира по метрике ROC AUC,
   лучший по очкам также будет награждён
2. Запустить платный турнир (со взносом 500 или более). Призовой фонд получит четверть участников, лучших по очкам
3. Увеличить собственный призовой фонд общего турнира в несколько раз. Напомню, в этом году 6000₽ были разыграны между 3 призовыми местами. Собираюсь наградить призами 13 человек (необычным способом, но об этом в следующем году)
4. Запустить турнир по Кубку Гагарина (призовой фонд не обещаю, т.к. НХЛ люблю сильнее)

Прошу лидеров минувшего турнира написать мне в л.с. sports.ru или fantasy-h2h.ru реквизиты и соответствующее имя для получения приза

Насладиться финальными результатами можно здесь

Всем хоккей!