บทความในหมวด บทเรียนที่ 14: ทดสอบและวัดผล

🎯 เมื่อเรียนบทเรียนนี้จบ คุณจะ

• แยกช่วงพัฒนากับช่วงประเมินตามลำดับเวลา
• รู้ความต่างของ Rolling และ Anchored window
• รวมผล Out-of-sample โดยไม่ซ้ำหรือทิ้ง Position ค้าง
• ตีความค่าที่เปลี่ยนโดยไม่ด่วนสรุป Overfitting

Walk-Forward Analysis คือการแบ่งข้อมูลเป็นหลายรอบ โดยแต่ละรอบใช้ช่วงหนึ่งปรับกฎ แล้วทดสอบกับช่วงถัดไปที่ยังไม่เคยใช้

เป็นวิธีเพิ่มหลักฐานสำหรับคำถามที่ Backtest ธรรมดา ช่วงเดียวอาจตอบได้จำกัด — กระบวนการเลือกกฎทำงานอย่างไรในหลายช่วงเวลา โดยยังไม่ยืนยันว่าใช้ได้ทั่วไป

ปัญหาที่วิธีนี้แก้

วิธีการทำงาน

โครงสร้างของแต่ละรอบ

รอบที่ 1  ปรับกฎกับช่วง A  ->  ทดสอบกับช่วง B
รอบที่ 2  ปรับกฎกับช่วง B  ->  ทดสอบกับช่วง C
รอบที่ 3  ปรับกฎกับช่วง C  ->  ทดสอบกับช่วง D
รอบที่ 4  ปรับกฎกับช่วง D  ->  ทดสอบกับช่วง E

สิ่งที่ต้องดู
  ผลของช่วง B, C, D, E รวมกัน
  ไม่ใช่ผลของช่วงที่ใช้ปรับ

เลือกหน้าต่างและจัดการรอยต่อให้ชัด

Rolling window ใช้ช่วงพัฒนาที่มีความยาวคงที่และเลื่อนไป ส่วน Anchored/Expanding window คงจุดเริ่มต้นแล้วเพิ่มข้อมูลอดีต ทั้งสองแบบต้องใช้เฉพาะข้อมูลที่รู้ก่อนเริ่มช่วงประเมิน

• กำหนดรายการค่าที่ให้เลือก วิธีจัดอันดับ และวิธีตัดสินเมื่อผลเสมอกันก่อนเริ่ม
• หากมี Position ค้างข้ามรอบ ให้ระบุว่าจะปิดตามกฎเก่าหรือโอนการดูแลอย่างไร พร้อมต้นทุน ห้ามรีเซ็ตผลขาดทุนค้าง
• ใช้ข้อมูลก่อนช่วงประเมินเพื่อเตรียม Indicator ได้ แต่ห้ามใช้ผลในช่วงประเมินเลือกค่า
• หลีกเลี่ยงการรวมช่วง Out-of-sample ที่ทับกันเป็นผลอิสระ ต้องมีเส้นผลตามเวลาที่ไม่ซ้ำ
• ถ้าใช้ผลรวมเลือกความยาวหน้าต่างอีกครั้ง ผลนั้นกลายเป็นข้อมูลพัฒนา ต้องมีข้อมูลใหม่ตรวจนโยบายที่เลือก

ตัวอย่าง A→B ในภาพเป็นแบบย่อเพื่ออธิบาย ไม่ใช่ความยาวหน้าต่างที่เหมาะกับทุกกลยุทธ์ และผลแต่ละรอบไม่จำเป็นต้องกำไรทั้งหมดจึงจะนำมาประเมินได้

สิ่งที่ต้องกำหนดก่อนเริ่ม

อ่านผลอย่างไร

ข้อจำกัดที่ต้องยอมรับ

แล้วทองคำล่ะ

คำถามที่พบบ่อย

ต้องใช้กี่รอบ?
มากพอที่แต่ละรอบยังมีไม้พอสรุปผล — ซึ่งแปลว่าต้องมีข้อมูลรวมมากพอสมควร ถ้าแบ่งแล้วแต่ละรอบมีไม้น้อยเกินไป ผลจะไม่บอกอะไร

ช่วงปรับกับช่วงทดสอบควรยาวเท่าไร?
ไม่มีค่ามาตรฐาน — สิ่งสำคัญคือกำหนดไว้ก่อนเห็นผล และไม่ลองหลายค่าแล้วเลือกตัวที่ดีที่สุด

แทนที่ Forward Test ได้ไหม?
ไม่ได้ — เพราะยังเป็นข้อมูลย้อนหลังและไม่ตรวจว่าคุณทำตามกฎได้จริงเมื่อมีเงินเดิมพัน

ผลแต่ละรอบต้องดีทุกรอบไหม?
ไม่จำเป็น — แต่ถ้าแกว่งมากผิดปกติ ควรถือว่ากฎยังไม่นิ่งพอ มากกว่าจะเลือกดูเฉพาะรอบที่ดี

สรุป

อ่านต่อ

• Performance Metrics ที่ต้องวัด
• Overfitting และ Curve Fitting
• Forward Testing
• Sample Size เท่าไรจึงเชื่อถือได้

แหล่งอ้างอิง

• Hyndman และ Athanasopoulos — Time series cross-validation
• Bailey และคณะ — ความเสี่ยงจากการเลือกผลย้อนหลัง

• Walk-Forward Analysis เป็นวิธีการที่พัฒนามาจากแนวคิดการตรวจสอบข้ามชุดข้อมูลในสาขาสถิติ บทความนี้อธิบายหลักการและข้อจำกัด ไม่ได้ยืนยันว่าการใช้วิธีนี้จะทำให้กลยุทธ์ทำกำไรได้ ความยาวของช่วงและจำนวนรอบที่เหมาะสมต่างกันตามกลยุทธ์และปริมาณข้อมูลที่มี

📘 บทความนี้เป็นส่วนหนึ่งของ บทเรียนที่ 14: Build → Test → Measure → Improve