Почему лучший бэктест разочаровывает: отбор, случай и плацебо-тест
Мы упорядочили 54 комбинаций «стратегия × актив» по результату 2022–2023 годов после издержек. Десятка лучших зарабатывала в среднем +0,51 R на сделку. В 2024–2025 годах те же десять дали −0,05 R. На данных, из которых эдж убран, десятка лучших того же перебора всё равно показывает +0,43 R. Преимущество победителей было примерно таким, какое даёт сам случай.
Что тестировали
Пять опубликованных шаблонов стратегий (имбаланс (FVG) после снятия ликвидности, ордер блок со сломом структуры, снятие уровней, девиация рейнджа и азиатский диапазон) на двадцати активах: мажоры и кросс-пары, золото, серебро, нефть, индексы США и Европы, биткоин. Каждая комбинация — обычный бэктест движка с комиссией, свопом и ценами bid/ask.
Каждый бэктест разделили пополам: 2022–2023 — для выбора, 2024–2025 — для проверки вне выборки (out of sample). Комбинация участвовала, только если имела не меньше 10 сделок в каждой половине; таких 54 из 100.
Результат
| 2022–2023 (выбор) | 2024–2025 (проверка) | |
|---|---|---|
| Десятка лучших за 2022–2023 | +0,51 R | −0,05 R |
| Пятёрка лучших за 2022–2023 | +0,73 R | +0,21 R |
| Все комбинации | −0,11 R | −0,10 R |
| Плацебо: десятка без эджа | +0,43 R | — |
Средний нетто-результат сделки в R (один R — сумма, которой рискует сделка). В половине выбора прибыльных после издержек было 19 комбинаций из 54, в половине проверки — 20.
Как это читать
- Лучшая комбинация заработала +1,11 R на сделку в 2022–2023. Лучшая из перебора совсем без эджа даёт в среднем +0,87 R. Такой впечатляющий результат перебор такого размера выдаёт сам по себе.
- Перенеслось мало: 4 из десятки остались прибыльными в 2024–2025, но вместе они дали −0,05 R на сделку, а ранговая корреляция между половинами — лишь 0,11.
- Большинство комбинаций убыточны после издержек в обеих половинах. Перебор стратегий и активов в основном находит те несколько, которым повезло именно в окне, на которое вы смотрели.
Что делать вместо этого
- Считайте, сколько вариантов вы попробовали, и сравнивайте победителя с лучшим из такого же числа плацебо-вариантов, а не с нулём.
- Держите период, который не использовали для выбора, и оценивайте стратегию только на нём.
- Предпочитайте правило, которое работает на многих активах, а не комбинацию, лучшую на одном.
Как измеряли
- Бэктесты движка на рабочем сервере, период 01.01.2022 – 01.01.2026, стартовый баланс $10 000, фиксированный риск 1% на сделку.
- Издержки: комиссия и своп, измеренные для одного брокера с комиссией; спред — через цены bid/ask входа и выхода.
- Нетто R сделки = (прибыль − комиссия − своп) ÷ сумма риска. Учитываются все закрытые сделки, включая закрытые по времени.
- Плацебо: сделки 2022–2023 каждой комбинации сдвинуты так, чтобы их среднее равнялось нулю, и перевыбраны с возвращением; перебор повторён 2 000 раз.
Бэктесты посчитаны 24 октября 2026 г.
Вопросы
Значит, бэктест бесполезен?
Нет. Бэктест, выбранный как лучший из многих, будет выглядеть лучше, чем он есть. Оценивайте его на данных, которые не участвовали в выборе, и сравнивайте с плацебо того же размера перебора.
Сколько сделок достаточно?
Единого числа нет. Чем меньше сделок и чем больше опробованных вариантов, тем большее преимущество даёт сам случай. Здесь комбинации имели не меньше 10 сделок на половину, и случай всё равно объяснил преимущество.
Для обучения, не инвестиционный совет. Прошлые результаты, в том числе бэктесты, не гарантируют будущих.
← Все исследования