5 побед, 5 поражений и −0,38 единицы. Почему этот результат важнее, чем кажется на первый взгляд.
Большинство сервисов спортивных прогнозов показывают только удачные ставки. Неудачные исчезают из ленты, не разбираются или объясняются невезением.
Мы решили идти другим путём.
Каждый прогноз Perseus публикуется до начала события, сохраняется в открытой истории и после окончания матча проходит разбор. Нас интересует не только итоговый счёт, но и то, насколько верной была сама идея.
Именно поэтому первые десять прогнозов — хороший повод остановиться и посмотреть на модель со стороны.
Десяти матчей недостаточно, чтобы делать выводы о прибыльности стратегии или превосходстве над рынком. Но этого уже достаточно, чтобы проверить гораздо более важную вещь — умеем ли мы честно оценивать собственные решения.
Результаты первых десяти прогнозов
Для сравнения все прогнозы рассчитывались одинаково — по одной условной единице на каждую ставку.
Первые цифры
После первых десяти прогнозов статистика выглядит так:
* Победы — 5
* Поражения — 5
* Проходимость — 50%
* Средний коэффициент — 2,09
* Оборот — 10 единиц
* Финансовый результат — −0,38 единицы
* ROI — −3,8%
На первый взгляд результат кажется посредственным.
Но именно здесь многие начинают делать неправильные выводы.
Проходимость сама по себе практически ничего не говорит о качестве модели.
Можно выигрывать меньше половины ставок и оставаться в плюсе благодаря высоким коэффициентам. А можно показывать 70% побед и всё равно терять деньги, если постоянно играть слишком коротких фаворитов.
В нашем случае пять выигранных ставок принесли 4,62 единицы прибыли, тогда как пять проигравших забрали 5 единиц.
Именно поэтому итог серии — минус 0,38 единицы.
Для дистанции в десять ставок такой результат находится внутри обычной спортивной дисперсии. Но считать его «просто невезением» тоже было бы неправильно.
Гораздо важнее разобраться, почему возник этот минус.
Не каждая победа означает хороший прогноз
Одна из самых распространённых ошибок при оценке любой модели звучит очень просто:
> «Если ставка выиграла — значит анализ был правильным.»
На практике это не так.
Футбол слишком вариативен, чтобы судить исключительно по итоговому счёту.
Например, ставка на тотал меньше 2,5 в матче Крузейро — Ботафого выиграла благодаря счёту 0:1.
Но если посмотреть глубже, окажется, что хозяева:
* нанесли 16 ударов;
* 6 раз попали в створ;
* создали около 1,63 ожидаемого гола (xG).
То есть сама игра оказалась значительно более открытой, чем предполагала модель.
Прогноз принёс прибыль.
Но назвать его идеальным нельзя.
Модель переоценила влияние кадровых потерь «Крузейро» на способность команды создавать опасные моменты.
Похожая ситуация возникла и в матче Баия — Коринтианс.
Обе команды действительно забили.
Однако атакующий объём «Коринтианса» оказался заметно слабее ожидаемого. Ставка выиграла во многом благодаря высокой реализации одного из немногих опасных моментов.
С финансовой точки зрения это победы.
С аналитической — повод внимательно пересмотреть гипотезы.
Именно такие матчи позволяют улучшать модель значительно сильнее, чем «идеальные» выигрыши.
Какие прогнозы действительно оказались сильными
КАМАЗ — Ротор
Победа «Ротора» за 2,55
Если выбирать лучший прогноз первой десятки, то именно этот будет одним из главных кандидатов.
Перед матчем модель учитывала несколько факторов одновременно.
КАМАЗ начал сезон двумя поражениями, пропустив пять мячей. Команда серьёзно изменилась летом и выглядела менее организованной в обороне.
«Ротор», наоборот, постепенно набирал форму после неудачного старта, сохранил основной костяк состава и уже успел уверенно обыграть СКА-Хабаровск.
Матч закончился победой гостей 2:0.
Но главным подтверждением качества прогноза стал не счёт.
Практически вся предматчевая гипотеза реализовалась на поле:
* проблемы КАМАЗа в обороне снова проявились;
* «Ротор» контролировал игру лучше ожидаемого;
* команда второй матч подряд сохранила свои ворота «сухими».
Важно отметить ещё одну деталь.
Мы не считали этот исход очевидным.
Вероятность победы гостей была ниже 50%.
Но коэффициент 2,55 компенсировал этот риск.
Именно подобные ситуации модель должна искать на длинной дистанции.
---
Русенборг — Фредрикстад
Победа «Русенборга» за 1,72
После летней паузы «Русенборг» выиграл два матча подряд со счётом 3:0.
«Фредрикстад», наоборот, проиграл две встречи и не смог забить ни одного мяча.
Единственным серьёзным риском выглядела возможная усталость хозяев после товарищеской встречи с «Манчестер Юнайтед».
Перед публикацией прогноза удалось дополнительно проверить состав и распределение игрового времени.
Оказалось, что основная группа игроков получила вполне комфортную нагрузку.
В результате «Русенборг» уверенно победил 4:0.
Главный вывод здесь касается не самого счёта.
Модель получила полезное подтверждение: при анализе календаря гораздо важнее смотреть реальные минуты ключевых игроков, чем просто количество дней между матчами.
---
Оренсе — Индепендьенте дель Валье
Победа гостей за 1,65
Лидер чемпионата выглядел сильнее практически по всем ключевым параметрам.
Высокая результативность, стабильная форма и заметная разница в классе делали победу гостей наиболее логичным выбором.
Матч закончился со счётом 3:2.
Основная гипотеза полностью подтвердилась.
Однако сам сценарий встречи оказался заметно более нервным.
«Аутсайдер» дважды сумел отличиться и сохранял интригу практически до финального свистка.
Поэтому этот прогноз нельзя считать примером лёгкой победы.
Скорее это хороший пример того, что даже правильно найденное преимущество не отменяет высокий уровень неопределённости футбола.
Где модель действительно ошиблась
Поражения далеко не всегда одинаковы.
Иногда прогноз проигрывает из-за случайности, иногда — из-за неверного выбора рынка, а иногда модель просто неправильно оценивает сам матч.
Именно поэтому после каждого события мы стараемся ответить не на вопрос «ставка зашла или нет?», а на другой:
> Что именно оказалось неверным в нашей гипотезе?
Такой подход позволяет постепенно улучшать модель, а не просто ждать удачной серии.
Мальмё — Эльфсборг
Недооценили тактическое взаимодействие
Перед матчем всё выглядело достаточно логично.
«Мальмё» набрал хорошую форму, играл дома, а «Эльфсборг» долгое время не мог победить.
Модель сделала ставку на победу хозяев.
Однако уже первые минуты встречи показали, что ключевой фактор находится совсем в другой плоскости.
«Эльфсборг» агрессивно прессинговал, регулярно заставляя защитников «Мальмё» ошибаться при выходе из обороны.
Первый гол стал прямым следствием именно такого давления.
Несмотря на преимущество хозяев по владению мячом, ожидаемые голы оказались практически равными, а гости гораздо эффективнее использовали свои моменты.
Итог — поражение «Мальмё» со счётом 1:2.
Самый важный вывод после этого матча звучит так:
форма команды не способна заменить анализ тактического взаимодействия.
Иногда именно стиль игры двух соперников определяет исход сильнее, чем последние результаты.
Классификация ошибки: тактическая.
---
Палмейрас — Атлетико Минейро
Переоценили низовой сценарий
Первый тайм полностью подтверждал прогноз.
Счёт оставался 0:0, темп встречи был умеренным, а игра развивалась именно так, как ожидала модель.
Но после первого забитого мяча матч резко изменился.
«Палмейрас» усилил давление, увеличил количество ударов и буквально за двадцать минут игра превратилась в открытую перестрелку.
Финальный счёт — 2:1.
Ошибка оказалась не в оценке силы команд.
Ошибка была глубже.
Модель слишком жёстко связала кадровые ограничения с низкой результативностью и недостаточно учла способность сильного домашнего фаворита резко менять сценарий встречи после первого гола.
Классификация ошибки: модель игрового сценария.
---
Раннерс — Силькеборг
Правильная идея — неправильный рынок
Иногда анализ оказывается верным, а ставка — нет.
Именно это произошло здесь.
Основная мысль модели была простой:
оборона «Силькеборга» серьёзно ослаблена после межсезонья.
Матч начался именно так.
«Раннерс» быстро открыл счёт.
Однако вместо уверенной победы хозяев встреча постепенно перешла в равную игру и закончилась 1:1.
Разбирая матч, мы поняли интересную вещь.
Наличие слабой обороны у соперника ещё не означает высокой вероятности победы.
Та же самая гипотеза могла быть гораздо точнее выражена через:
* индивидуальный тотал хозяев;
* фору 0;
* ставку с защитой от ничьей.
Именно выбор рынка стал слабым местом этого прогноза.
Классификация ошибки: неверный выбор рынка.
Когда прогноз проиграл, но идея оказалась правильной
Это, пожалуй, самая интересная категория.
Такие матчи особенно ценны для обучения модели.
Жилина — Кошице
Коэффициент 3,85 изначально говорил о высокой степени риска.
Но сама идея прогноза выглядела убедительно.
«Жилина» проводила матч чемпионата между еврокубковыми встречами.
Мы предположили, что тренер серьёзно изменит состав.
После публикации прогноза это полностью подтвердилось.
В стартовом составе осталось всего три игрока из предыдущего еврокубкового матча.
Тренер позже прямо говорил об усталости команды и необходимости ротации.
По ходу встречи «Кошице»:
* вели в счёте;
* дважды отыгрывались;
* были очень близки к победе.
Но матч закончился 4:4.
Этот результат не отменяет правильность первоначальной гипотезы.
Скорее наоборот.
Он показывает, что при подобных сценариях необходимо тщательнее выбирать рынок.
Возможно, ставка Х2 или фора +0,5 лучше отражала найденное преимущество, чем чистая победа андердога.
---
ЦСКА София — Ботев
Иногда футбол напоминает, почему его невозможно полностью описать цифрами.
До 89-й минуты ставка на тотал меньше 2,5 выглядела практически идеальной.
Затем произошло невероятное.
Команды забили:
* на 89-й минуте;
* на 90+1;
* на 90+3.
За несколько минут матч полностью перевернулся.
Финальный счёт — 3:2.
Конечно, модель должна учитывать вероятность раскрытия игры после изменения счёта.
Но столь поздние голевые серии остаются относительно редким сценарием.
Поэтому этот прогноз правильнее считать не фундаментальной ошибкой анализа, а примером ситуации, когда хороший процесс не привёл к нужному результату.
Классификация: качественный процесс, плохой итог.
---
Что уже показали первые десять прогнозов
Несмотря на небольшую выборку, первые результаты позволяют сделать несколько важных наблюдений.
1. Победа не всегда означает правильный анализ
Некоторые выигравшие ставки прошли благодаря удачному развитию событий, а не потому, что модель идеально описала матч.
Именно поэтому мы разбираем не только счёт, но и саму игру.
2. Правильная гипотеза ещё не гарантирует правильный рынок
Этот вывод оказался одним из самых полезных.
Модель достаточно хорошо определяла:
* проблемы фаворитов;
* влияние ротации;
* слабые стороны отдельных команд.
Но иногда слишком агрессивно переводила эти наблюдения в выбор рынка.
Это направление уже стало одной из главных задач для дальнейшего развития модели.
3. После десяти прогнозов нельзя «переобучать» модель
Это, пожалуй, самый важный вывод.
Одна яркая победа не делает гипотезу закономерностью.
Точно так же одно поражение не означает, что правило нужно немедленно удалить.
Любое изменение модели должно подтверждаться достаточно большой выборкой.
По предварительной оценке, первые устойчивые закономерности можно будет искать после 30–50 закрытых прогнозов.
Главный вывод
Если смотреть только на цифры, всё выглядит довольно просто.
Первые десять прогнозов Perseus завершились с результатом −0,38 единицы при ROI −3,8%.
Можно было бы закончить статью на этом.
Но тогда мы повторили бы ту же ошибку, которую часто совершают при оценке спортивной аналитики — свели всё к одному числу.
Для нас гораздо важнее другое.
За эти десять матчей модель получила десятки новых наблюдений:
* где мы недооценили тактическое взаимодействие;
* где выбрали слишком рискованный рынок;
* где игровой сценарий оказался сложнее ожидаемого;
* где прогноз проиграл, несмотря на верную гипотезу.
Именно такие разборы делают модель лучше.
Perseus создаётся не как сервис, который просит верить прогнозам.
Мы хотим, чтобы каждый опубликованный прогноз можно было проверить спустя неделю, месяц или год.
Без удалённых проигрышей.
Без переписанной истории.
Без попыток объяснить каждое поражение случайностью.
Мы считаем, что доверие строится иначе.
Не заявлениями.
Не обещаниями высокой проходимости.
А открытой историей решений, постоянным анализом собственных ошибок и готовностью признавать их публично.
Сегодня в истории Perseus — всего десять прогнозов.
Через месяц их будет несколько десятков.
Через год — сотни.
Именно тогда станет действительно интересно посмотреть, какие выводы выдержат проверку большой дистанцией.
perseus.nexaire.ru
Комментарии