Forward optimization vs in-sample bias: Гүйцэтгэлийг буруу ойлгох аюул

Сүүлийн жилүүдэд backtest хийж стратеги хөгжүүлэх аргууд улам боловсронгуй болж байна. Python, MetaTrader, QuantConnect гэх мэт хэрэгслүүдийн тусламжтайгаар арилжаачид олон зуун үзүүлэлт, параметрийг туршиж, хамгийн өндөр өгөөжтэй, хамгийн бага drawdown-тэй тохиргоог олох боломжтой болсон.

Гэхдээ үүний сүүдэрт нэг том аюул нуугдаж байдаг. Тэр бол:

Бид стратегийг “илүү ашигтай харагдуулахаар” оптимизац хийж, бодит зах зээлд хэрэггүй системийг сонгочихдог.

Ингэснээр график, өндөр Sharpe ratio бүхий систем маань live trade дээр огт өөрөөр аашлах магадлалтай болдог.

Энэ нийтлэлд бид forward optimization, in-sample bias гэх ойлголтуудыг харьцуулан тайлбарлаж, арилжаачдын гаргадаг түгээмэл төөрөгдлүүд, эрсдэлийг бууруулах арга замууд, гүнзгий тест хийх workflow-г танилцуулна.

1. Optimization гэж юу вэ?

Стратеги хөгжүүлэлтийн үе шатанд бид backtest хийхдээ:

• SL, TP-ийн хэмжээг өөр өөрөөр турших
• Indicator-ийн параметрүүдийг өөрчлөх
• Timeframe, entry/exit condition-ийг өөрчлөх
• Filter нэмэх (ADX>25 үед л оролт хийх гэх мэт)

гэсэн олон туршилт хийдэг. Энэ бүгдийг Optimization гэж нэрлэнэ.

Харин over-optimization гэдэг нь:

• Хэт олон параметр туршиж
• Олон хувилбар дундаас хамгийн сайн нь “санаатайгаар” сонгогдож
• Зөвхөн тухайн sample дээр “сайхан харагддаг” хувилбар үлдэж
• Бодит зах зээлд давтагдахгүй үр дүн өгөх

гэж ойлгож болно.

2. In-Sample Bias гэж юу вэ?

In-sample гэдэг нь тухайн стратегийг хөгжүүлж, параметр тааруулж байсан өгөгдлийн хэсгийг хэлдэг. Энэ нь "тестийн үеийн дата" юм.

Харин in-sample bias гэдэг нь:

• Стратегийг зөвхөн тухайн өгөгдлийн хүрээнд тааруулснаас болж
• Ирээдүйд давтагдахгүй загварыг “сайн” гэж эндүүрэх үзэгдэл юм.

Жишээ: 2018–2022 оны EUR/USD 15min timeframe дээр сайн ажилласан стратеги бодитоор 2023 онд өөр аашилна.

3. Forward Optimization гэж юу вэ?

Forward optimization бол:

• Backtest хийсэн (in-sample) өгөгдлөөс гадуур
• Тусад нь авсан “хөндлөн баталгаа” өгөгдөл (out-of-sample) дээр
• Стратегийг шалгах, баталгаажуулах арга юм.

Энэ нь бидэнд:

• Overfitting эсэхийг шалгах
• Стратегийн robustness-г тодорхойлох
• Жинхэнэ нөхцөлд хэр аашлахыг урьдчилан харах боломж өгдөг.

4. Яагаад зөвхөн backtest дээр итгэж болохгүй вэ?

Энгийн жишээ:

• Та 500 параметрийн хослол туршсан
• Нэг нь хамгийн өндөр өгөөж, хамгийн бага drawdown үзүүлсэн
• Гэхдээ энэ тохиргоо зөвхөн таны туршсан дата дээр ажилладаг байж болно

Үүнийг data mining bias гэж нэрлэдэг. Энэ үед:

• Та “маш сайн тохирсон” хувилбар сонгосон
• Харин ирээдүйд огт өөр үр дүн гарч магадгүй

5. Буруу гүйцэтгэлийн төөрөгдөл хэрхэн үүсдэг вэ?

Ихэнх трейдер дараах алдааг гаргадаг:

1. Backtest дээр өндөр өгөөжтэй хувилбар сонгодог
2. Энэ хувилбарыг live орчинд хэрэглэдэг
3. Зах зээл огт өөрөөр аашилж, стратеги нурдаг
4. Арилжаачин “систем буруу” гэж үзэн орхидог

Гэтэл үнэн хэрэгтээ асуудал системд биш, харин тест хийх арга зүйд байсан.

6. Зөв тест хийх workflow: Forward Walk-through

Алхам алхмаар:

1. Бүх датагаа 70/30 гэж хуваа
   • 70% in-sample (optimization-д ашиглана)
   • 30% out-of-sample (баталгаажуулахад ашиглана)
2. In-sample дээр тохиргоонуудыг test хийнэ
   • Sharpe, Max DD, Expectancy-гээ хар
3. Сонгосон тохиргоог Out-of-sample дээр шалгана
   • Үр дүн in-sample шиг байна уу?
   • Том зөрүү гарвал overfitting хийсэн гэсэн үг
4. Walk-Forward хийх (хугацааны “цонхоор” гулсах)
   • Жил жилээр optimization хийж, дараагийн 3 сарынг "зөгнөж" test хийнэ
   • Ингэснээр та ирээдүйг давтагдаж чадах эсэхийг шалгана

7. Гүйцэтгэлийг буруу ойлгохын уршиг

• Хуурамч өндөр итгэлтэй стратеги
• Бодит арилжаанд хөрөнгө алдах
• Проп фирмийн шалгуурт унана (evaluation үед стратеги унана)
• Статистикийн гажуудал дээр үндэслэсэн system-ийг live болгоно

8. Хэрхэн стратеги “амьдралд нийцэх” болохыг батлах вэ?

• Multiple sample test: Өөр өөр хослол, timeframe, дата дээр турших
• Out-of-sample validation: Зах зээлийн өөр үе дээр тест хийх
• Robust parameter zone: Дараалсан хэд хэдэн параметр ижил үр дүнтэй байвал сайн
• Monte Carlo simulation: Random series үүсгэж variability шалгах
• Walk-forward analysis: Ирээдүйд moving optimization хийж үнэлэх

9. Проп фирмийн орчинд ямар үнэ цэнтэй вэ?

Проп фирмүүд:

• Drawdown хязгаартай
• Evaluation phase нь out-of-sample гэсэн үг
• Real-time trade нь 100% unseen data
• Performance decay илүү хурдан илрэх орчин

Тиймээс таны стратеги зөвхөн backtest дээр биш, үнэхээр robust, шалгагдсан байх ёстой.

График биш баталгаатай систем л амьд үлддэг

Стратеги хөгжүүлэлт гэдэг нь график сайхан харагдуулах биш, харин ирээдүйд давтагдах боломжийг өндөрсгөх урлаг юм.

Forward optimization, in-sample/out-of-sample validation нь:

• Таны стратегийг буруу ойлгохоос хамгаална
• Үнэхээр зах зээлийн сэтгэлзүйг тусгасан логик уу эсвэл санамсаргүй noise уу гэдгийг ялгана
• Проп трейдинг гэх мэт өндөр шалгууртай орчинд тогтвортой байдал бий болгоно