Cykl 23: czy model na psach daje przewagę? Test na 2167 gonitwach
Czytelnik napisał (w skrócie): zbudował model xgboost, który dla każdego psa liczy prawdopodobieństwo wygranej, a potem skaluje te liczby w gonitwie tak, żeby sumowały się do 100%. Zauważył, że gdy jeden pies dostaje ponad 30%, a reszta dużo mniej, w praktyce ten pies wygrywał częściej, niż mówił model. Pyta, czy to sensowna strategia i jak wygląda na moich danych.
Krótka odpowiedź po ludzku: sama metoda liczenia jest w porządku, ale to, co zauważyłeś, mówi więcej o Twoim modelu niż o rzeczywistości. Sprawdziłem tę hipotezę na 2167 gonitwach chartów. Ostry rynek wycenia takich faworytów niemal idealnie, więc samo stawianie na wyraźnego faworyta nie daje przewagi.
Najpierw trzy słowa z definicją, bo padną niżej. "Kalibracja" to pytanie, czy coś, co dostaje 40% szansy, naprawdę wygrywa mniej więcej 4 razy na 10. "De-vig" to zdjęcie marży bukmachera z kursu, żeby została czysta szansa. "Przewaga" (edge) to sytuacja, w której kurs płaci więcej, niż wynosi realna szansa; na dłuższą metę tylko takie zakłady wychodzą na plus.
Test 1: mój własny model
Zrobiłem prosty model na oficjalnych ratingach psów. Ta sama idea co u Ciebie: liczba na psa, normalizacja w gonitwie do 100%. Dla faworyta każdej gonitwy porównałem, ile model obiecywał, a ile psy realnie wygrywały.
| p faworyta | gonitw | model | faktycznie | różnica |
|---|---|---|---|---|
| 0,30-0,40 | 109 | 0,346 | 0,376 | +0,031 |
| 0,40-0,50 | 51 | 0,448 | 0,353 | -0,095 |
| 0,50-0,60 | 47 | 0,544 | 0,277 | -0,267 |
| 0,60-0,75 | 25 | 0,661 | 0,320 | -0,341 |
| 0,75-1,00 | 17 | 0,810 | 0,294 | -0,516 |
Mój model robi coś odwrotnego niż Twój: przecenia faworytów. Gdy daje faworytowi 55%, ten wygrywa realnie 37%. Twój model niedocenia, mój przecenia. To jest sedno sprawy. "Faworyt wygrywa częściej, niż mówi model" nie jest prawem natury, tylko cechą konkretnego modelu. xgboost zwykle ściska prawdopodobieństwa w stronę środka, przez co na ekstremach jest zbyt ostrożny, i stąd Twój efekt. Mój model liczy inaczej i myli się w drugą stronę.
Test 2: rynek
Teraz to samo, ale zamiast modelu bierzemy cenę giełdy Betfair (BSP), po zdjęciu marży. Giełda to najostrzejszy rynek, jaki jest, tam gra mądry pieniądz.
| p faworyta | gonitw | rynek | faktycznie | różnica |
|---|---|---|---|---|
| 0,30-0,40 | 718 | 0,348 | 0,338 | -0,010 |
| 0,40-0,50 | 496 | 0,447 | 0,419 | -0,027 |
| 0,50-0,60 | 324 | 0,546 | 0,562 | +0,015 |
| 0,60-0,75 | 216 | 0,667 | 0,699 | +0,032 |
| 0,75-1,00 | 40 | 0,789 | 0,750 | -0,039 |
Tu kalibracja jest niemal idealna w każdym przedziale, różnice mieszczą się w szumie. Dla wyraźnego faworyta (ponad 30% i duża przewaga nad drugim psem) rynek wyceniał 52,2%, a realnie wygrywali 53,0% na 1102 gonitwach. Rynek już wie.
Co z tego wynika dla obstawiania
Twoja poprawka ("podbij faworytów") naprawia Twój model, ale w najlepszym razie zrówna go z rynkiem, a nie go pobije. Przewaga jest tylko tam, gdzie Twoja liczba jest lepsza od ceny, nie od Twojej własnej starej liczby. Na giełdzie wyraźny faworyt jest wyceniony poprawnie, więc stawianie na niego to płacenie prowizji za nic.
Gdzie realnie warto szukać przewagi:
- U miękkiego bukmachera, który nie nadąża za rynkiem. Dobrze skalibrowany model ma sens jako narzędzie do porównania z jego kursem, nie z wynikiem własnych faworytów.
- Po drugiej stronie stawki. To longshoty, czyli psy o wysokich kursach, są systematycznie przepłacane. W moich danych band kursów 21-51 dawał zwrot -21,9%. Unikanie ich jest pewniejszym źródłem plusa niż gonienie faworytów.
Uczciwe zastrzeżenia
Moje dane to charty z Australii i Nowej Zelandii oraz cena giełdowa Betfair, czyli najostrzejszy możliwy rynek. Twój może być inny, a przeciw miękkiej książce z kursami fixed obraz bywa łagodniejszy. Na najwyższych kubełkach mojego modelu próbki są małe, po kilkanaście gonitw, więc tam patrz na kierunek, nie na dokładną liczbę. Ale główny wynik, ten na 2167 gonitwach rynku, jest mocny.
Dzięki za list. Metodę masz dobrą. Brakującego elementu szukaj nie w wyniku swoich faworytów, tylko w porównaniu modelu z ceną.