Начну с цифры, которой обычно не хвастаются.
На проверке из 246 завершенных боев UFC моя модель правильно выбрала победителя 150 раз. Это 61%. На тех боях, где удалось восстановить архивную линию, рыночный фаворит оказался точнее: 69,4% против 63,9% у модели.
Если задача состоит только в том, чтобы чаще называть победителя, букмекер пока впереди. Скрывать это за красивыми словами было бы странно. Все равно через несколько турниров любой рассказ проверяется результатами.
Но точность выбора победителя и ценность коэффициента не одно и то же. Именно с этой разницы начался проект CAGE MATH.
Коэффициент не говорит, что произойдет
Коэффициент показывает цену исхода. В ней уже есть оценка букмекера, движение денег и заложенная маржа. Фаворит действительно побеждает чаще, но ставка на каждого фаворита подряд от этого не становится хорошей стратегией.
На 183 боях с доступной линией простая ставка одинаковой суммой на рыночного фаворита дала бы условные минус 0,9%. Выбор модели на тех же архивных ценах дал плюс 3,7%. Разница небольшая, выборка ограничена, а архивная линия не всегда совпадает с тем коэффициентом, который видел конкретный игрок. Поэтому называть эти цифры доказанной доходностью нельзя.
Пока это только сигнал: иногда менее точный прогноз может находить более выгодную цену. Проверить, сохраняется ли этот эффект на будущих турнирах, гораздо важнее, чем объявлять победу после истории.
Что именно считает модель
Перед боем собирается снимок доступной статистики. Результат этого боя в расчет, разумеется, не попадает. Модель смотрит не только на общий рекорд, потому что одинаковые 10 побед могут быть набраны против совсем разного уровня соперников.
Когда данные доступны, в расчете учитываются темп и точность ударов, пропущенные удары, борьба, защита от тейкдаунов, частота финишей, среднее время боя, опыт в UFC, текущая форма и длительные простои. Отдельно отмечается качество данных. Дебютант, спортсмен после долгого перерыва и ветеран с десятью боями в UFC не должны получать одинаковое доверие только потому, что в таблице заполнены все ячейки.
На выходе получается не фраза «этот точно победит», а вероятность. Например, 57% означает довольно близкий бой, а не уверенную рекомендацию. Если букмекер своей ценой уже заложил более высокую вероятность, преимущества для ставки может не быть вообще.
Кроме победителя отдельно оцениваются дистанция боя и тоталы. Эти рынки нельзя смешивать в одну среднюю оценку. Боец может быть небольшим фаворитом, но гораздо сильнее выглядеть прогноз на то, что поединок пройдет все раунды. Или наоборот: победителя выбрать трудно, зато стили обоих указывают на высокую вероятность досрочного окончания.
Самый полезный результат оказался не самым громким
Когда расчет и рыночный фаворит совпали, победитель был выбран правильно в 92 случаях из 123. Это 74,8%. Когда они расходились, модель выиграла спор только в 25 случаях из 60.
Отсюда появилось простое правило: если математика и рынок смотрят в разные стороны, в итоговом разборе не нужно показывать две фамилии и предлагать читателю угадать самому. Ставку на победителя лучше пропустить. Само разногласие тоже является информацией.
Я проверил и дополнительный независимый расчет. Сам по себе он не превзошел основную модель: на одинаковых боях обе получили 61%. Поэтому заменять рабочую формулу новым алгоритмом только ради слова «машинное обучение» не было смысла.
Дополнительный расчет остался подтверждающим фильтром. Когда основная модель, второй расчет и рынок выбрали одного бойца, результат составил 78 победителей из 102, или 76,5%. Звучит интересно, но 102 боя все еще недостаточно для больших выводов. Я уже видел результаты этой исторической проверки, поэтому использовать ее как окончательное доказательство нельзя. Следующая честная проверка должна проходить только на будущих кардах с заранее опубликованным прогнозом.
Зачем выносить это в публичный блог
У закрытой проверки есть удобный соблазн. Удачный прогноз запоминается, неудачный легко объяснить случайностью, а спорное решение можно потом не включить в красивую статистику.
Здесь порядок будет другим.
До турнира публикуется полный список боев с вероятностями. Отдельно отмечаются основные варианты, повышенный риск и пропуски. После турнира выходит проверка: что прошло, что не прошло, как изменилась условная доходность и где модель ошиблась. Старые материалы не переписываются под известный результат.
Я не собираюсь превращать каждый бой в обязательную ставку. Иногда лучший вывод по поединку звучит скучно: данных недостаточно или цена уже невыгодна. Такая строка полезнее уверенного совета, придуманного ради заполнения карточки.
Что будет дальше
Перед ближайшим турниром здесь появится первый публичный разбор всего карда. Не только несколько удобных боев, а общая оценка каждой пары: вероятность победителя, дистанция, возможный рынок и конкретная причина риска.
После карда будет опубликован результат в том же составе. Без удаления промахов и без пересчета прогноза задним числом.
Я не знаю заранее, выдержит ли модель длинную дистанцию. Именно поэтому этот блог и нужен. Если преимущество существует, оно проявится в открытой истории. Если его нет, это тоже станет видно, и формулу придется менять, а не придумывать оправдания.
Ставка может проиграть даже при хорошем расчете. Любая вероятность ниже 100% оставляет место неожиданности, поэтому рисковать деньгами, потеря которых будет болезненной, не стоит.
А пока начнем с самого честного обещания, которое здесь можно дать: все проверим.
Комментарии