После оптимизации правил и параметров торговой системы и получения хорошей эффективности на выборке данных важно так или иначе подтвердить эффективность этой системы, прежде чем рисковать реальными деньгами. Подтверждение дает трейдеру еще один шанс отказаться от неудачного решения. От систем, которые не подтвердили себя, следует отказываться, а использовать лишь подтвержденные. Подтверждение — критический шаг на дороге к успеху при оптимизации и при любом методе совершенствования работы торговой системы.
Для гарантии успеха любое решение следует подтверждать тестами на данных вне выборки или статистическим анализом, но предпочтительно — обоими методами. Отбросьте любое решение, которое не будет прибыльным в тесте на данных, не входящих в первоначальную выборку, — при реальной торговле оно, скорей всего, провалится. Рассчитывайте статистическую значимость всех тестов — и в пределах выборки данных, и вне ее. Оценка статистической значимости показывает вероятность того, что пригодность системы на выборке данных соответствует ее пригодности в других условиях, включая реальную торговлю. Статистический анализ работает по принципу распределения вероятностей прибылей в сделках, совершаемых системой. Используйте только статистические методы, скорректированные для множественных тестов, когда анализируете результаты тестов в пределах выборки. Тесты вне пределов выборки следует оценивать стандартными, некорректированными методами. Подобные отчеты приводились в главе, посвященной симуляторам. Займитесь изучением статистики; это улучшит ваши трейдерские качества.
Некоторые советуют проверять модель на чувствительность к малым изменениям параметров. Модель, которая мало чувствительна к таким изменениям, считается высоконадежной. Не обращайте на подобные заявления слишком много внимания. Фактически, устойчивость к изменению параметров не может служить показателем надежности системы.
Многие чрезвычайно надежные модели весьма чувствительны к изменениям некоторых параметров. Единственно достоверный показатель надежности системы — статистика, в особенности результаты тестов на данных вне пределов выборки.
