Чому найкращий бектест розчаровує: відбір, випадковість і плацебо-тест
Ми впорядкували 54 комбінацій «стратегія × актив» за результатом 2022–2023 років після витрат. Десятка найкращих заробляла в середньому +0,51 R на угоду. У 2024–2025 роках ті самі десять дали −0,05 R. На даних, з яких едж прибрано, десятка найкращих того самого перебору однаково показує +0,43 R. Перевага переможців була приблизно такою, яку дає сама випадковість.
Що тестували
П'ять опублікованих шаблонів стратегій (FVG після зняття ліквідності, ордер-блок із пробоєм структури, рейди рівнів, девіація ренжу й азійський діапазон) на двадцяти активах: основні й крос-пари, золото, срібло, нафта, індекси США і Європи, біткоїн. Кожна комбінація — звичайний бектест рушія з комісією, свопом і цінами bid/ask.
Кожен бектест розділили навпіл: 2022–2023 — для вибору, 2024–2025 — для перевірки. Комбінація брала участь, лише якщо мала щонайменше 10 угод у кожній половині; таких 54 із 100.
Результат
| 2022–2023 (вибір) | 2024–2025 (перевірка) | |
|---|---|---|
| Десятка найкращих за 2022–2023 | +0,51 R | −0,05 R |
| П'ятірка найкращих за 2022–2023 | +0,73 R | +0,21 R |
| Усі комбінації | −0,11 R | −0,10 R |
| Плацебо: десятка без еджу | +0,43 R | — |
Середній нетто-результат угоди в R (один R — сума, якою ризикує угода). У половині вибору прибуткових після витрат було 19 комбінацій із 54, у половині перевірки — 20.
Як це читати
- Найкраща комбінація заробила +1,11 R на угоду у 2022–2023. Найкраща з перебору зовсім без еджу дає в середньому +0,87 R. Такий вражаючий результат перебір такого розміру видає сам собою.
- Перенеслося мало: 4 із десятки лишились прибутковими у 2024–2025, але разом вони дали −0,05 R на угоду, а рангова кореляція між половинами — лише 0,11.
- Більшість комбінацій збиткові після витрат в обох половинах. Перебір стратегій і активів здебільшого знаходить ті кілька, яким пощастило саме у вікні, на яке ви дивились.
Що робити натомість
- Рахуйте, скільки варіантів ви спробували, і порівнюйте переможця з найкращим із такої самої кількості плацебо-варіантів, а не з нулем.
- Тримайте період, який не використовували для вибору, і судіть стратегію лише на ньому.
- Віддавайте перевагу правилу, що працює на багатьох активах, а не комбінації, найкращій на одному.
Як міряли
- Бектести рушія на прод-сервері, період 01.01.2022 – 01.01.2026, стартовий баланс $10 000, фіксований ризик 1% на угоду.
- Витрати: комісія і своп, виміряні для одного брокера з комісією; спред — через ціни bid/ask входу й виходу.
- Нетто R угоди = (прибуток − комісія − своп) ÷ сума ризику. Рахуються всі закриті угоди, включно із закритими за часом.
- Плацебо: угоди 2022–2023 кожної комбінації зсунуто так, щоб їхнє середнє дорівнювало нулю, і перевибрано з поверненням; перебір повторено 2 000 разів.
Бектести пораховано 24 жовтня 2026 р.
Питання
Отже, бектест марний?
Ні. Бектест, обраний як найкращий із багатьох, виглядатиме кращим, ніж він є. Судіть його на даних, які не брали участі у виборі, і порівнюйте з плацебо того самого розміру перебору.
Скільки угод достатньо?
Єдиного числа немає. Що менше угод і що більше спробуваних варіантів, то більшу перевагу дає сама випадковість. Тут комбінації мали щонайменше 10 угод на половину, і випадковість однаково пояснила перевагу.
Для навчання, не інвестиційна порада. Минулі результати, зокрема бектести, не гарантують майбутніх.
← Усі дослідження