บทความในหมวด บทเรียนที่ 14: ทดสอบและวัดผล
🎯 เมื่อเรียนบทเรียนนี้จบ คุณจะ
- เข้าใจความเสี่ยงจากการเลือกกฎให้เข้ากับอดีต
- แยกสัญญาณเตือนออกจากข้อพิสูจน์ Overfitting
- เก็บบันทึกทางเลือกที่ลองและสถานะข้อมูล
- รู้เหตุผลที่ความเรียบง่ายหรือ ATR ไม่รับประกันผลใหม่
Overfitting คือการปรับกฎของกลยุทธ์จนพอดีกับข้อมูลในอดีตมากเกินไป จนใช้กับข้อมูลใหม่ไม่ได้
เป็นหนึ่งในสาเหตุที่ผลย้อนหลังดีแต่ผลกับข้อมูลใหม่แย่ลง ต้องแยกจากข้อมูลผิด ต้นทุน และสภาวะตลาดด้วย
เกิดขึ้นได้อย่างไร
ส่วนที่ 1 — รูปแบบที่อาจเกิดซ้ำ ซึ่งเป็นสิ่งที่คุณต้องการจับ
ส่วนที่ 2 — ความบังเอิญของช่วงเวลานั้น ซึ่งอาจไม่เกิดซ้ำในลักษณะเดิม
ปัญหาคือทั้งสองส่วนอยู่ปนกันและแยกไม่ออกด้วยตาเปล่า
เมื่อคุณปรับกฎจนผลย้อนหลังสวยที่สุด — คุณกำลังปรับให้พอดีกับทั้งสองส่วน
จึงไม่ควรคาดว่าความสัมพันธ์บังเอิญจะคงอยู่ในข้อมูลใหม่
สิ่งที่เกิดขึ้นเมื่อปรับมากเกินไป
ผลย้อนหลังดีขึ้น อาจไม่ดีขึ้นในข้อมูลใหม่
ชุดข้อมูลที่ใช้ปรับ
การลองหลายกฎเปิดโอกาสให้เลือกผลย้อนหลังที่ดูดี รวมทั้งความสัมพันธ์ที่เกิดโดยบังเอิญ
ชุดข้อมูลที่แยกไว้
ผลอาจดีขึ้น คงเดิม หรือแย่ลง ต้องประเมินโดยไม่ใช้ผลชุดนี้ย้อนปรับซ้ำจนกลายเป็นชุดพัฒนา
สิ่งที่ต้องบันทึก
เวอร์ชันกฎ สิ่งที่ลองทั้งหมด ช่วงพัฒนา/ประเมิน ต้นทุน และเหตุผลเปลี่ยนกฎ
ภาพอธิบายความเสี่ยง ไม่ได้กล่าวว่าการเพิ่มเงื่อนไขทุกครั้งทำให้ผลใหม่แย่ลง และไม่มีจุดเหมาะสมสากลที่อ่านได้จากกราฟจำลอง
แผนภาพสรุปแนวคิด ไม่ใช่รูปแบบผลที่ทุกระบบต้องมี การเพิ่มเงื่อนไขไม่ได้ทำให้ดีขึ้นทุกครั้ง และไม่สามารถอ่านจุดที่เหมาะสมของกลยุทธ์จริงจากภาพนี้ได้
ผลชุดพัฒนากับชุดใหม่ต่างกันมาก เป็นเหตุให้ตรวจต่อ
ผลที่ดีที่สุดในชุดที่ลอง — อาจดีขึ้นเมื่อเปิดโอกาสให้เลือกมากขึ้น ไม่ใช่ทุกการเพิ่มเงื่อนไขทำให้ผลดี
ผลกับข้อมูลใหม่ — อาจไม่ดีขึ้นตาม หรือแย่ลงเมื่อกฎจับรายละเอียดเฉพาะอดีต
ปัญหาคือคุณเห็นผลของชุดข้อมูลที่ใช้ปรับขณะพัฒนากฎ
การเลือกผลที่ดีที่สุดจากหลายครั้งที่ลองอาจทำให้เข้าใจว่ากฎดีขึ้น ทั้งที่ยังไม่ได้ตรวจด้วยข้อมูลใหม่
จึงต้องมีการประเมินแยกข้อมูลและบันทึกการลองทั้งหมด แม้ผลชุดที่เก็บไว้ก็ยังไม่ใช่คำยืนยันว่าไม่มี Overfitting
สัญญาณเตือนที่สังเกตได้
| สัญญาณ | ทำไมถึงน่าสงสัย |
|---|---|
| ผลย้อนหลังดีมากผิดปกติ | ตลาดจริงไม่ค่อยให้ผลที่เรียบขนาดนั้น |
| มีเงื่อนไขจำนวนมาก | แต่ละเงื่อนไขคือโอกาสปรับให้พอดีกับอดีต |
| ตัวเลขที่ใช้เป็นค่าแปลก ๆ | เช่นค่าที่ละเอียดผิดปกติ มักมาจากการลองไปเรื่อย |
| เปลี่ยนค่าเล็กน้อยแล้วผลเปลี่ยนมาก | เป็นเหตุให้ตรวจความไวของกฎ |
| อธิบายไม่ได้ว่าทำไมถึงใช้เงื่อนไขนี้ | ควรระบุสมมติฐานและตรวจข้อมูลใหม่ เหตุผลที่ฟังดีอย่างเดียวก็ไม่กัน Overfitting |
วิธีทำ: ลองเปลี่ยนค่าพารามิเตอร์ขึ้นและลงเล็กน้อย แล้วดูผล
ถ้าผลเปลี่ยนมาก อาจมาจากตัวอย่างน้อย เกณฑ์ที่มีจุดตัด หรือความไม่เสถียร ควรตรวจโดยไม่ถือว่าเป็นข้อพิสูจน์ Overfitting
ถ้าผลเปลี่ยนไม่มาก — แปลว่าอยู่บนพื้นที่กว้าง ซึ่งมีโอกาสใช้ได้กับข้อมูลใหม่มากกว่า
พื้นที่ค่าที่ให้ผลใกล้เคียงกันเป็นหลักฐานประกอบความทนทาน แต่ยังต้องประเมินผลสุทธิ ความเสี่ยงและข้อมูลที่ไม่ใช้เลือกค่า
วิธีลดความเสี่ยงจาก Overfitting
- แบ่งข้อมูลตั้งแต่ก่อนเริ่ม — ส่วนที่ใช้ปรับ และส่วนที่ห้ามแตะ
- เปิดส่วนที่เก็บไว้ครั้งเดียว — และยอมรับผลที่ได้
- ใช้เงื่อนไขน้อยที่สุดที่ยังทำงานได้
- ทุกเงื่อนไขต้องมีเหตุผลอธิบายได้ ไม่ใช่ใส่เพราะทำให้ตัวเลขดีขึ้น
- ตรวจว่าค่าพารามิเตอร์อยู่บนพื้นที่กว้าง ไม่ใช่ยอดแหลม
ถ้าเปิดข้อมูลที่เก็บไว้แล้วผลไม่ดี — ชุดนั้นยังใช้พัฒนาหรือทบทวนได้ แต่ไม่ใช่ข้อมูลที่ไม่เคยเห็นสำหรับการปรับครั้งต่อไป
เพราะคุณเห็นมันแล้ว และการปรับกฎหลังจากนั้นคือการปรับให้พอดีกับข้อมูลชุดที่สองด้วย
ถ้าจะปรับต่อ ต้องหาข้อมูลชุดใหม่ที่ยังไม่เคยเห็นมาทดสอบ
นี่คือเหตุผลที่ต้องแบ่งข้อมูลไว้ตั้งแต่แรก และไม่รีบเปิด
บันทึกการลองให้เห็นทั้งกระบวนการ
- หมายเลขเวอร์ชัน เหตุผลและเวลาที่เปลี่ยนกฎ
- ทุกชุดค่าที่ลอง รวมคู่เงิน Timeframe ช่วงเวลา และตัวที่ไม่ผ่าน
- ข้อมูลที่ใช้เลือกกับข้อมูลที่กันไว้ประเมิน พร้อมวันที่เปิดดู
- เกณฑ์เลือกที่กำหนดไว้ก่อนผล เช่น ขีดจำกัดความเสี่ยงและต้นทุน
- เมื่อเปิดชุดประเมินแล้วปรับต่อ ให้เปลี่ยนสถานะชุดนั้นเป็นข้อมูลพัฒนา และหาเหตุการณ์ใหม่สำหรับการประเมิน
ตัวอย่างเชิงสถิติ: ถ้าทดสอบสมมติฐานอิสระ 20 ครั้ง โดยแต่ละครั้งมีโอกาสบวกลวง 5% โอกาสพบอย่างน้อยหนึ่งบวกลวงคือ 1 − 0.95^20 ≈ 64.15% ตัวเลขนี้ใช้เฉพาะสมมติฐานที่ระบุ ไม่ใช่โอกาส Overfit ของกลยุทธ์จริง 20 ตัวซึ่งอาจสัมพันธ์กัน
ความสับสนที่พบบ่อย
การปรับกฎตามเหตุผลที่อธิบายได้ เป็นส่วนหนึ่งของกระบวนการที่ถูกต้อง
ตัวอย่างการปรับที่มีเหตุผล: พบว่ากฎไม่ได้ระบุว่าจะทำอย่างไรเมื่อมีข่าวสำคัญ จึงเพิ่มเงื่อนไขนั้น
ตัวอย่าง Overfitting: ลองเปลี่ยนค่าไปเรื่อยจนเจอค่าที่ให้ผลย้อนหลังสูงสุด
ความต่างต้องดูทั้งเหตุผล กระบวนการเลือก จำนวนทางเลือกที่ลอง และการประเมินแยก แม้มีเหตุผลก็ยัง Overfit ได้
เรื่องที่ต้องระวังเป็นพิเศษ
เพราะถ้าคุณทดสอบ 20 กลยุทธ์ — บางตัวจะให้ผลดีจากความบังเอิญเพียงอย่างเดียว
และการเลือกตัวที่ดีที่สุดจาก 20 ตัว อาจเลือกตัวที่ได้ประโยชน์จากความบังเอิญของชุดนั้น จึงต้องบันทึกทั้งตัวที่ผ่านและไม่ผ่าน
วิธีลด: ทดสอบตัวที่เลือกกับข้อมูลที่ยังไม่เคยเห็นอีกครั้ง
แล้วทองคำล่ะ
หน่วยราคาและ Contract Size เป็นข้อมูลสัญญาที่ต้องตั้งให้ถูก ไม่ใช่พารามิเตอร์ที่ควรปรับเพื่อให้ผลสวย ส่วนระยะ SL และ ATR เป็นทางเลือกของกฎเช่นเดียวกับสินทรัพย์อื่น
ยิ่งมีตัวแปรมาก ยิ่งมีโอกาสปรับให้พอดีกับอดีตมาก
กฎที่ใช้ได้ในช่วงหนึ่งอาจใช้ไม่ได้ในอีกช่วง จึงควรตรวจข้อมูลหลายสภาวะโดยไม่จัดอันดับความเสี่ยงจากชื่อสินทรัพย์
หากต้องการเปรียบเทียบระยะคงที่กับสัดส่วน ATR ให้กำหนดวิธีเลือกและข้อมูลประเมินไว้ก่อน ATR มี period และตัวคูณที่ปรับได้ จึงไม่ป้องกัน Overfitting อัตโนมัติ
คำถามที่พบบ่อย
รู้ได้อย่างไรว่า Overfit ไปแล้ว?
ไม่มีสัญญาณเดียวที่ยืนยันแน่นอน ดูจำนวนครั้งที่ลอง ความไวของค่า ข้อมูลรั่ว และผลชุดใหม่ร่วมกัน ผลชุดใหม่แย่ก็อาจมีสาเหตุอื่น
ปรับพารามิเตอร์กี่ครั้งถึงเรียกว่ามากเกินไป?
ไม่มีตัวเลขตายตัว — แต่ยิ่งปรับหลายรอบกับข้อมูลชุดเดิม ยิ่งเสี่ยง ให้นับจำนวนครั้งที่ปรับไว้ด้วย
กลยุทธ์ที่เรียบง่ายปลอดภัยกว่าไหม?
มีโอกาส Overfit น้อยกว่า เพราะมีจุดให้ปรับน้อยกว่า — แต่ก็ไม่ได้แปลว่าจะทำกำไรได้
ถ้าผลกับข้อมูลที่เก็บไว้ไม่ดี ควรทำอย่างไร?
ยอมรับว่ากลยุทธ์นี้ยังไม่พร้อม แล้วกลับไปทบทวน Logic — ไม่ใช่ปรับตัวเลขจนกว่าจะผ่าน
สรุป
2. ระหว่างปรับ คุณเห็นแค่ผลที่ดีขึ้นเรื่อย ๆ จึงไม่รู้ว่าเลยจุดพอดีแล้ว
3. เป็นเหตุให้ตรวจความไวของกฎ: เปลี่ยนค่าเล็กน้อยแล้วผลเปลี่ยนมาก
4. ความทนทานต่อการเปลี่ยนค่าเป็นหลักฐานประกอบ ไม่ใช่การรับประกัน
5. การเลือกจากหลายตัวเพิ่มความเสี่ยง ต้องนับการลองทั้งหมดและประเมินแยกข้อมูล
อ่านต่อ
แหล่งอ้างอิง
Bailey, Borwein, López de Prado และ Zhu — The Probability of Backtest Overfitting (2015): อธิบายความเสี่ยงการเลือกผลจากการทดสอบหลายทางเลือกและข้อจำกัดของการแบ่ง Holdout เพียงอย่างเดียว
- Overfitting เป็นแนวคิดมาตรฐานในสาขาสถิติและการเรียนรู้ของเครื่อง ซึ่งอธิบายว่าโมเดลที่ปรับให้พอดีกับข้อมูลชุดหนึ่งมากเกินไปจะทำงานได้แย่ลงกับข้อมูลใหม่ ภาพประกอบเป็นแผนภาพอธิบายแนวคิด ไม่ใช่ข้อมูลจริง และตำแหน่งของจุดที่พอดีต่างกันในแต่ละกรณีและหาล่วงหน้าไม่ได้
📘 บทความนี้เป็นส่วนหนึ่งของ บทเรียนที่ 14: Build → Test → Measure → Improve
📚 บทความถัดไป
ต้องทดสอบกี่ไม้จึงจะเชื่อถือได้?
คุณได้วางวิธีแยกข้อมูลและติดตามการเลือกกฎ
บทถัดไปตรวจว่าจำนวนตัวอย่างที่มีรองรับข้อสรุปได้แค่ไหน และควรรายงานความไม่แน่นอนอย่างไร
Share This Story, Choose Your Platform!
โฆษณาพันธมิตร: จำนวน $30 ในภาพไม่ยืนยันสิทธิ์ของทุกบัญชี ตรวจข้อเสนอที่แสดงสำหรับคุณและเงื่อนไขถอนกำไรก่อนสมัคร ดูวิธีตรวจสิทธิ์
ตรวจสิทธิ์ก่อนรับโบนัส
โบนัสและเงื่อนไขอาจต่างกันตามประเทศ ประเภทบัญชี และช่วงเวลา ตรวจข้อเสนอที่แสดงในบัญชีของคุณ พร้อมเงื่อนไขการใช้เครดิตและการถอนกำไรก่อนตัดสินใจ
บทความในหมวด บทเรียนที่ 14: ทดสอบและวัดผล 🎯 เมื่อเรียนบ […]
