Подгонка под историю (overfitting)
Подгонка — это настройка стратегии под прошлые данные настолько точно, что она воспроизводит шум этой истории, а не устойчивую закономерность; на новых данных она ломается.
Что это значит
Признаки: результат падает после небольшого изменения параметра, всю прибыль даёт один период, или фильтр выбран потому, что он убрал худшие сделки.
Защита: меньше свободных параметров, проверка вне выборки и walk-forward, плацебо-тест — та же стратегия на перемешанных данных не должна выглядеть так же хорошо.
Как это считает 1nTest
Рядом с каждым результатом 1nTest показывает проверки устойчивости: стабильность по временным окнам и другие показатели, а также, по желанию, плацебо-тест против входов, случайно сдвинутых во времени.
Убыточные примеры мы публикуем намеренно: библиотека только с победителями — это тоже ошибка отбора.