บทความในหมวด บทเรียนที่ 14: ทดสอบและวัดผล

🎯 เมื่อเรียนบทเรียนนี้จบ คุณจะ

  • อ่านตัวเลขจากตัวอย่างน้อยโดยไม่สรุปเกินหลักฐาน
  • แยกอัตราชนะออกจากกำไรเฉลี่ยและความเสี่ยง
  • เข้าใจสมมติฐานของตัวอย่าง Binomial และ Wilson
  • กำหนดจำนวนและช่วงข้อมูลตามสิ่งที่ต้องการประเมิน

Sample Size คือจำนวนไม้ที่คุณใช้ตัดสินว่ากลยุทธ์ทำงานหรือไม่

จำนวนตัวอย่างมีผลต่อความไม่แน่นอน ไม้น้อยยังบอกผลที่พบและช่วยตรวจข้อผิดพลาดได้ แต่ไม่ควรตีความเกินหลักฐาน

ปัญหาที่มองไม่เห็น

30 ไม้ต่อกลยุทธ์

P(B ชนะมากกว่า A) ≈ 18.17% ส่วนโอกาสจำนวนชนะเสมอกัน ≈ 7.59%

200 ไม้ต่อกลยุทธ์

P(B ชนะมากกว่า A) ≈ 1.99% ส่วนโอกาสเสมอ ≈ 0.53%

ตัวอย่าง Binomial อิสระ A=55%, B=45% ตัวเลขเป็นการเปรียบเทียบอัตราชนะ ไม่ใช่การจัดอันดับผลตอบแทน

ทดสอบ 30 ไม้ กลยุทธ์ที่มีอัตราชนะต่ำกว่าอาจวัดได้สูงกว่า

สมมติมีกลยุทธ์สองตัว — A มี Win Rate จริง 55% · B มี 45%

ถ้าคุณทดสอบทั้งสองตัวด้วย 30 ไม้ แล้วเทียบผลที่วัดได้

มีโอกาส 18% ที่ B จะวัดได้สูงกว่า A

คือประมาณ 18.17% สำหรับการเปรียบเทียบอัตราชนะครั้งเดียว ไม่นับกรณีเสมอ และไม่ใช่โอกาสเลือกกลยุทธ์กำไรน้อยกว่า เพราะยังไม่ได้กำหนดขนาดกำไร/ขาดทุนและต้นทุน

ที่ 200 ไม้ โอกาสนั้นลดเหลือ 2%

คำนวณจากการแจกแจง Binomial โดยตรง: จำนวนชนะ A ~ Bin(n,0.55), B ~ Bin(n,0.45) สมมติทั้งสองชุดอิสระ โอกาสชนะคงที่ และเปรียบเทียบ B > A ไม่รวม B = A

ทำไมตัวเลขจากไม้น้อยถึงหลอกลวง

เพราะผลของแต่ละไม้มีความสุ่มปนอยู่

กลยุทธ์ที่มี Win Rate จริง 55% ไม่ได้ชนะ 55 จาก 100 ไม้ทุกครั้ง

บางชุดอาจชนะ 40 บางชุดอาจชนะ 70 — และคุณเห็นแค่ชุดเดียว

ยิ่งไม้น้อย ความแตกต่างระหว่างชุดยิ่งกว้าง

📖 ดูช่วงความเชื่อมั่นตามจำนวนไม้ในบทเรียนที่ 14

ช่วงความไม่แน่นอนต้องตอบคำถามให้ตรง

ถ้าชนะ 15 จาก 30 ไม้ ช่วง Wilson 95% ของอัตราชนะประมาณ 33.15%–66.85%; ถ้าชนะ 100 จาก 200 ไม้ ช่วงประมาณ 43.14%–56.86% ภายใต้ผลอิสระและโอกาสชนะคงที่ ช่วงนี้ไม่ได้บอก Expectancy หรือความน่าจะเป็นที่ระบบจะมีกำไร

ระดับ 95% เป็นคุณสมบัติการครอบคลุมของวิธีสร้างช่วงเมื่อสุ่มซ้ำ ไม่ใช่การรับประกันค่าจริงอยู่ในช่วงที่คำนวณครั้งนี้ หากไม้สัมพันธ์กันหรือกฎเปลี่ยน ความไม่แน่นอนอาจมากกว่าสูตรนี้

สำหรับกำไรเฉลี่ย ให้เก็บผลสุทธิของแต่ละไม้ ไม่ใช่เพียงชนะ/แพ้ ตรวจผลที่กระจุกตัว การขาดทุนรุนแรง และจำนวนเหตุการณ์ที่เป็นอิสระ หากใช้ Bootstrap ต้องเลือกวิธีที่คงการพึ่งพากันตามเวลา ไม่สุ่มทุกไม้แยกกันโดยไม่ตรวจ

จำนวนไม้ที่ต้องมี ขึ้นกับกลยุทธ์

ลักษณะกลยุทธ์ ต้องการไม้ เพราะอะไร
ผลกระจายสม่ำเสมอ น้อยกว่า ค่าเฉลี่ยนิ่งเร็ว
พึ่งพาไม้ใหญ่ที่เกิดไม่บ่อย มากกว่ามาก ถ้าไม่เจอไม้ใหญ่ ผลจะบิดเบือน
มีไม้แพ้หนักที่เกิดไม่บ่อย มากกว่ามาก ถ้าไม่เจอ จะประเมินความเสี่ยงต่ำเกิน
ข้อได้เปรียบบาง มากกว่า ต้องแยกจากความบังเอิญให้ได้

สองแถวกลางคือกรณีที่อันตรายที่สุด

ผลอาจดูดีหรือแย่กว่ารูปแบบที่เกิดในระยะยาว หากตัวอย่างขาดเหตุการณ์สำคัญ

กลยุทธ์ตามเทรนด์ ที่ไม่เจอไม้ใหญ่ จะดูเหมือนใช้ไม่ได้
กลยุทธ์สวนทาง ที่ไม่เจอไม้แพ้หนัก จะดูเหมือนดีมาก

ทั้งสองกรณีให้ข้อสรุปที่ผิด — และผิดคนละทาง

เกณฑ์ที่ใช้ได้จริง

  1. กำหนดจำนวนไม้ขั้นต่ำไว้ก่อนเริ่มทดสอบ — ไม่ใช่หยุดเมื่อผลดูดี
  2. ตรวจว่าตัวอย่างครอบคลุมสภาวะตลาดหลายแบบ ไม่ใช่แค่ช่วงเดียว
  3. ตรวจว่าเจอไม้ที่สำคัญของกลยุทธ์นั้นแล้วหรือยัง
  4. ถ้ายังไม่ถึงเกณฑ์ ให้รายงานผลเบื้องต้นและสิ่งที่ยังสรุปไม่ได้ ไม่ถือว่าผ่านเพียงเพราะผลดี

ข้อ 2 สำคัญพอ ๆ กับจำนวน

ทดสอบ 300 ไม้ในช่วงที่ตลาดมีทิศทางตลอด ยังบอกไม่ได้ว่ากลยุทธ์ทำงานอย่างไรใน Range

วิธีตรวจ: แบ่งผลออกตามสภาวะตลาด แล้วดูว่าแต่ละกลุ่มมีกี่ไม้

ถ้ากลุ่มใดมีไม้น้อยมาก — คุณยังไม่รู้ว่ากลยุทธ์ทำงานอย่างไรในสภาวะนั้น

ทำไมไม่ควรระบุตัวเลขเดียว

เว็บไซต์นี้ไม่บอกว่า “ต้องทดสอบ 100 ไม้” หรือตัวเลขใดตัวเลขหนึ่ง

เพราะจำนวนที่ต้องมีขึ้นกับความแรงของข้อได้เปรียบและการกระจายของผล

ข้อได้เปรียบที่ชัดเจนมาก อาจเห็นได้จากไม้ไม่มาก
ข้อได้เปรียบที่บาง อาจต้องใช้หลายร้อยหรือหลายพันไม้

ไม่มีเส้นแบ่ง 100 ไม้ที่ทำให้ข้อมูลไร้ค่าหรือเชื่อถือได้ทันที ต้องกำหนดเป้าหมายการประมาณและความคลาดเคลื่อนที่ยอมรับได้

ตัวอย่างมากขึ้นไม่ได้แก้ข้อมูลลำเอียงหรือ Overfitting และการพบเหตุการณ์รุนแรงไม่ครบยังทำให้ประเมินความเสี่ยงต่ำไปได้

วิธีเพิ่มจำนวนไม้โดยไม่รอนาน

วิธี ข้อควรระวัง
ทดสอบย้อนหลังนานขึ้น ตลาดในอดีตไกลอาจต่างจากปัจจุบัน
ทดสอบกับหลายคู่ คู่ที่ Correlation สูงไม่ใช่ตัวอย่างอิสระ
ลด Timeframe เปลี่ยนกลยุทธ์ไปเลย ผลใช้แทนกันไม่ได้

แถวกลางเป็นกับดักที่พบบ่อย

การทดสอบกับ 5 คู่ที่เคลื่อนไหวไปด้วยกัน ไม่ได้ให้ตัวอย่าง 5 เท่า

เพราะไม้จากคู่เหล่านั้นได้รับผลจากเหตุการณ์เดียวกัน — จึงไม่ใช่ข้อมูลที่เป็นอิสระต่อกัน

ผลคือคุณจะรู้สึกว่ามีข้อมูลมาก ทั้งที่จริง ๆ มีน้อยกว่านั้นมาก

แล้วทองคำล่ะ

จำนวนตัวอย่างของกลยุทธ์ทองต้องพิจารณาจากการกระจายผลและสิ่งที่จะประเมิน

เช่นเดียวกับสินทรัพย์อื่น ต้องตรวจช่วงแนวโน้ม ช่วงกรอบ และความผันผวน ไม่สรุปว่าต้องมากกว่าคู่เงินจากชื่อสินทรัพย์เพียงอย่างเดียว

ถ้าตัวอย่างของคุณอยู่ในช่วงเดียว ผลจะไม่บอกว่ากลยุทธ์ทำงานอย่างไรในอีกช่วง

⚠️ และทองกับคู่เงินที่มี USD ไม่ใช่ตัวอย่างอิสระต่อกัน — เพราะทั้งคู่ได้รับผลจากดอลลาร์

สิ่งที่ควรทำ: แบ่งผลออกตามช่วงที่พฤติกรรมของทองต่างกัน แล้วดูว่าแต่ละช่วงมีกี่ไม้

📖 บทเรียนที่ 12: Gold / XAU/USD

คำถามที่พบบ่อย

ถ้ามีเวลาทดสอบจำกัดควรทำอย่างไร?
เก็บข้อมูลย้อนหลังหรือเดินเวลาจริงด้วยบัญชีทดลองต่อ พร้อมระบุความไม่แน่นอน ไม่จำเป็นต้องใช้เงินจริงเพื่อเพิ่มจำนวนตัวอย่าง

ทดสอบ 50 ไม้ได้ผลดีมาก ใช้ได้ไหม?
ยังสรุปไม่ได้ — ที่ 50 ไม้ ช่วงที่ค่าจริงอาจอยู่ยังกว้างมาก และกลยุทธ์ที่แย่กว่าก็ให้ผลแบบนั้นได้

ทดสอบมากไปได้ไหม?
จำนวนไม้มากไม่เป็นปัญหา — แต่การปรับพารามิเตอร์หลายรอบกับข้อมูลชุดเดิมเป็นปัญหา อ่านเรื่อง Overfitting

นับไม้ที่ไม่ได้เข้าด้วยไหม?
บันทึกไว้แยกต่างหาก — มีประโยชน์ในการตรวจว่าเกณฑ์กรองดีไหม แต่ไม่นับรวมในจำนวนไม้ที่ใช้วัดผล

สรุป

1. ภายใต้ตัวอย่างสมมติ อัตราชนะ 45% อาจวัดสูงกว่า 55% ได้ประมาณ 18.17% ที่ 30 ไม้

2. จำนวนที่ต้องมีขึ้นกับการกระจายของผล ไม่มีตัวเลขเดียวที่ใช้ได้ทุกกรณี

3. ไม่มีจำนวนไม้ขั้นต่ำเดียวที่ใช้ได้ทุกกรณี ต้องบอกความไม่แน่นอน

4. ความหลากหลายของสภาวะตลาดสำคัญพอ ๆ กับจำนวน

5. คู่ที่ Correlation สูงไม่ใช่ตัวอย่างอิสระ — ทองกับคู่ที่มี USD ก็เช่นกัน

อ่านต่อ

แหล่งอ้างอิง

NIST — ช่วงความเชื่อมั่น Wilson สำหรับสัดส่วน

ตรวจตัวอย่างซ้ำได้ด้วยผลรวม P(B > A) = Σ P(B=k) × P(A<k), k=0 ถึง n โดยใช้การแจกแจง Binomial ตาม n และโอกาสชนะที่ระบุ ไม่อาศัยผลสุ่มจำลอง

  • ตัวเลขเปรียบเทียบในบทความคำนวณแบบ Binomial โดยตรง โดยสมมติว่าไม้และชุดผลทั้งสองอิสระและโอกาสชนะคงที่ ในความเป็นจริงผลของไม้ที่เกิดใกล้กันอาจไม่เป็นอิสระ ทำให้ความไม่แน่นอนจริงสูงกว่าที่คำนวณ การคำนวณตรวจสอบซ้ำได้จากค่าที่ระบุ

📘 บทความนี้เป็นส่วนหนึ่งของ บทเรียนที่ 14: Build → Test → Measure → Improve

คำเตือนความเสี่ยง: การซื้อขาย Forex และ CFD มีความเสี่ยงสูง ผลจากการทดสอบจำนวนไม้น้อยอาจนำไปสู่การเลือกกลยุทธ์ที่ไม่มีข้อได้เปรียบจริง เนื้อหานี้จัดทำเพื่อการศึกษาเท่านั้น

📚 บทความถัดไป

Forward Testing คืออะไร? ตรวจอะไรที่ Backtest ตรวจไม่ได้

คุณได้เห็นว่าจำนวนไม้ต้องอ่านร่วมกับการกระจายผลและความไม่แน่นอน

ต่อไปคือการเก็บผลตามเวลาที่เกิดจริง เพื่อเปรียบเทียบกฎ การส่งคำสั่ง และการทำตามแผน

Share This Story, Choose Your Platform!

โฆษณาพันธมิตร: จำนวน $30 ในภาพไม่ยืนยันสิทธิ์ของทุกบัญชี ตรวจข้อเสนอที่แสดงสำหรับคุณและเงื่อนไขถอนกำไรก่อนสมัคร ดูวิธีตรวจสิทธิ์

ตรวจสิทธิ์ก่อนรับโบนัส

โบนัสและเงื่อนไขอาจต่างกันตามประเทศ ประเภทบัญชี และช่วงเวลา ตรวจข้อเสนอที่แสดงในบัญชีของคุณ พร้อมเงื่อนไขการใช้เครดิตและการถอนกำไรก่อนตัดสินใจ

ดูวิธีตรวจสิทธิ์โบนัส

โบนัสเทรดฟรี ไม่ต้องฝากเงิน

ตรวจสิทธิ์และเงื่อนไขก่อนรับโบนัส การถอนกำไรขึ้นอยู่กับข้อกำหนดของข้อเสนอและบัญชี ไม่ใช่ทุกคนจะมีสิทธิ์รับโบนัส

บทความที่เกี่ยวข้อง