บทความในหมวด บทเรียนที่ 14: ทดสอบและวัดผล
🎯 เมื่อเรียนบทเรียนนี้จบ คุณจะ
- อ่านตัวเลขจากตัวอย่างน้อยโดยไม่สรุปเกินหลักฐาน
- แยกอัตราชนะออกจากกำไรเฉลี่ยและความเสี่ยง
- เข้าใจสมมติฐานของตัวอย่าง Binomial และ Wilson
- กำหนดจำนวนและช่วงข้อมูลตามสิ่งที่ต้องการประเมิน
Sample Size คือจำนวนไม้ที่คุณใช้ตัดสินว่ากลยุทธ์ทำงานหรือไม่
จำนวนตัวอย่างมีผลต่อความไม่แน่นอน ไม้น้อยยังบอกผลที่พบและช่วยตรวจข้อผิดพลาดได้ แต่ไม่ควรตีความเกินหลักฐาน
ปัญหาที่มองไม่เห็น
30 ไม้ต่อกลยุทธ์
P(B ชนะมากกว่า A) ≈ 18.17% ส่วนโอกาสจำนวนชนะเสมอกัน ≈ 7.59%
200 ไม้ต่อกลยุทธ์
P(B ชนะมากกว่า A) ≈ 1.99% ส่วนโอกาสเสมอ ≈ 0.53%
ตัวอย่าง Binomial อิสระ A=55%, B=45% ตัวเลขเป็นการเปรียบเทียบอัตราชนะ ไม่ใช่การจัดอันดับผลตอบแทน
ทดสอบ 30 ไม้ กลยุทธ์ที่มีอัตราชนะต่ำกว่าอาจวัดได้สูงกว่า
สมมติมีกลยุทธ์สองตัว — A มี Win Rate จริง 55% · B มี 45%
ถ้าคุณทดสอบทั้งสองตัวด้วย 30 ไม้ แล้วเทียบผลที่วัดได้
มีโอกาส 18% ที่ B จะวัดได้สูงกว่า A
คือประมาณ 18.17% สำหรับการเปรียบเทียบอัตราชนะครั้งเดียว ไม่นับกรณีเสมอ และไม่ใช่โอกาสเลือกกลยุทธ์กำไรน้อยกว่า เพราะยังไม่ได้กำหนดขนาดกำไร/ขาดทุนและต้นทุน
ที่ 200 ไม้ โอกาสนั้นลดเหลือ 2%
คำนวณจากการแจกแจง Binomial โดยตรง: จำนวนชนะ A ~ Bin(n,0.55), B ~ Bin(n,0.45) สมมติทั้งสองชุดอิสระ โอกาสชนะคงที่ และเปรียบเทียบ B > A ไม่รวม B = A
ทำไมตัวเลขจากไม้น้อยถึงหลอกลวง
เพราะผลของแต่ละไม้มีความสุ่มปนอยู่
กลยุทธ์ที่มี Win Rate จริง 55% ไม่ได้ชนะ 55 จาก 100 ไม้ทุกครั้ง
บางชุดอาจชนะ 40 บางชุดอาจชนะ 70 — และคุณเห็นแค่ชุดเดียว
ยิ่งไม้น้อย ความแตกต่างระหว่างชุดยิ่งกว้าง
ช่วงความไม่แน่นอนต้องตอบคำถามให้ตรง
ถ้าชนะ 15 จาก 30 ไม้ ช่วง Wilson 95% ของอัตราชนะประมาณ 33.15%–66.85%; ถ้าชนะ 100 จาก 200 ไม้ ช่วงประมาณ 43.14%–56.86% ภายใต้ผลอิสระและโอกาสชนะคงที่ ช่วงนี้ไม่ได้บอก Expectancy หรือความน่าจะเป็นที่ระบบจะมีกำไร
ระดับ 95% เป็นคุณสมบัติการครอบคลุมของวิธีสร้างช่วงเมื่อสุ่มซ้ำ ไม่ใช่การรับประกันค่าจริงอยู่ในช่วงที่คำนวณครั้งนี้ หากไม้สัมพันธ์กันหรือกฎเปลี่ยน ความไม่แน่นอนอาจมากกว่าสูตรนี้
สำหรับกำไรเฉลี่ย ให้เก็บผลสุทธิของแต่ละไม้ ไม่ใช่เพียงชนะ/แพ้ ตรวจผลที่กระจุกตัว การขาดทุนรุนแรง และจำนวนเหตุการณ์ที่เป็นอิสระ หากใช้ Bootstrap ต้องเลือกวิธีที่คงการพึ่งพากันตามเวลา ไม่สุ่มทุกไม้แยกกันโดยไม่ตรวจ
จำนวนไม้ที่ต้องมี ขึ้นกับกลยุทธ์
| ลักษณะกลยุทธ์ | ต้องการไม้ | เพราะอะไร |
|---|---|---|
| ผลกระจายสม่ำเสมอ | น้อยกว่า | ค่าเฉลี่ยนิ่งเร็ว |
| พึ่งพาไม้ใหญ่ที่เกิดไม่บ่อย | มากกว่ามาก | ถ้าไม่เจอไม้ใหญ่ ผลจะบิดเบือน |
| มีไม้แพ้หนักที่เกิดไม่บ่อย | มากกว่ามาก | ถ้าไม่เจอ จะประเมินความเสี่ยงต่ำเกิน |
| ข้อได้เปรียบบาง | มากกว่า | ต้องแยกจากความบังเอิญให้ได้ |
สองแถวกลางคือกรณีที่อันตรายที่สุด
ผลอาจดูดีหรือแย่กว่ารูปแบบที่เกิดในระยะยาว หากตัวอย่างขาดเหตุการณ์สำคัญ
กลยุทธ์ตามเทรนด์ ที่ไม่เจอไม้ใหญ่ จะดูเหมือนใช้ไม่ได้
กลยุทธ์สวนทาง ที่ไม่เจอไม้แพ้หนัก จะดูเหมือนดีมาก
ทั้งสองกรณีให้ข้อสรุปที่ผิด — และผิดคนละทาง
เกณฑ์ที่ใช้ได้จริง
- กำหนดจำนวนไม้ขั้นต่ำไว้ก่อนเริ่มทดสอบ — ไม่ใช่หยุดเมื่อผลดูดี
- ตรวจว่าตัวอย่างครอบคลุมสภาวะตลาดหลายแบบ ไม่ใช่แค่ช่วงเดียว
- ตรวจว่าเจอไม้ที่สำคัญของกลยุทธ์นั้นแล้วหรือยัง
- ถ้ายังไม่ถึงเกณฑ์ ให้รายงานผลเบื้องต้นและสิ่งที่ยังสรุปไม่ได้ ไม่ถือว่าผ่านเพียงเพราะผลดี
ข้อ 2 สำคัญพอ ๆ กับจำนวน
ทดสอบ 300 ไม้ในช่วงที่ตลาดมีทิศทางตลอด ยังบอกไม่ได้ว่ากลยุทธ์ทำงานอย่างไรใน Range
วิธีตรวจ: แบ่งผลออกตามสภาวะตลาด แล้วดูว่าแต่ละกลุ่มมีกี่ไม้
ถ้ากลุ่มใดมีไม้น้อยมาก — คุณยังไม่รู้ว่ากลยุทธ์ทำงานอย่างไรในสภาวะนั้น
ทำไมไม่ควรระบุตัวเลขเดียว
เว็บไซต์นี้ไม่บอกว่า “ต้องทดสอบ 100 ไม้” หรือตัวเลขใดตัวเลขหนึ่ง
เพราะจำนวนที่ต้องมีขึ้นกับความแรงของข้อได้เปรียบและการกระจายของผล
ข้อได้เปรียบที่ชัดเจนมาก อาจเห็นได้จากไม้ไม่มาก
ข้อได้เปรียบที่บาง อาจต้องใช้หลายร้อยหรือหลายพันไม้
ไม่มีเส้นแบ่ง 100 ไม้ที่ทำให้ข้อมูลไร้ค่าหรือเชื่อถือได้ทันที ต้องกำหนดเป้าหมายการประมาณและความคลาดเคลื่อนที่ยอมรับได้
ตัวอย่างมากขึ้นไม่ได้แก้ข้อมูลลำเอียงหรือ Overfitting และการพบเหตุการณ์รุนแรงไม่ครบยังทำให้ประเมินความเสี่ยงต่ำไปได้
วิธีเพิ่มจำนวนไม้โดยไม่รอนาน
| วิธี | ข้อควรระวัง |
|---|---|
| ทดสอบย้อนหลังนานขึ้น | ตลาดในอดีตไกลอาจต่างจากปัจจุบัน |
| ทดสอบกับหลายคู่ | คู่ที่ Correlation สูงไม่ใช่ตัวอย่างอิสระ |
| ลด Timeframe | เปลี่ยนกลยุทธ์ไปเลย ผลใช้แทนกันไม่ได้ |
แถวกลางเป็นกับดักที่พบบ่อย
การทดสอบกับ 5 คู่ที่เคลื่อนไหวไปด้วยกัน ไม่ได้ให้ตัวอย่าง 5 เท่า
เพราะไม้จากคู่เหล่านั้นได้รับผลจากเหตุการณ์เดียวกัน — จึงไม่ใช่ข้อมูลที่เป็นอิสระต่อกัน
ผลคือคุณจะรู้สึกว่ามีข้อมูลมาก ทั้งที่จริง ๆ มีน้อยกว่านั้นมาก
แล้วทองคำล่ะ
จำนวนตัวอย่างของกลยุทธ์ทองต้องพิจารณาจากการกระจายผลและสิ่งที่จะประเมิน
เช่นเดียวกับสินทรัพย์อื่น ต้องตรวจช่วงแนวโน้ม ช่วงกรอบ และความผันผวน ไม่สรุปว่าต้องมากกว่าคู่เงินจากชื่อสินทรัพย์เพียงอย่างเดียว
ถ้าตัวอย่างของคุณอยู่ในช่วงเดียว ผลจะไม่บอกว่ากลยุทธ์ทำงานอย่างไรในอีกช่วง
⚠️ และทองกับคู่เงินที่มี USD ไม่ใช่ตัวอย่างอิสระต่อกัน — เพราะทั้งคู่ได้รับผลจากดอลลาร์
สิ่งที่ควรทำ: แบ่งผลออกตามช่วงที่พฤติกรรมของทองต่างกัน แล้วดูว่าแต่ละช่วงมีกี่ไม้
คำถามที่พบบ่อย
ถ้ามีเวลาทดสอบจำกัดควรทำอย่างไร?
เก็บข้อมูลย้อนหลังหรือเดินเวลาจริงด้วยบัญชีทดลองต่อ พร้อมระบุความไม่แน่นอน ไม่จำเป็นต้องใช้เงินจริงเพื่อเพิ่มจำนวนตัวอย่าง
ทดสอบ 50 ไม้ได้ผลดีมาก ใช้ได้ไหม?
ยังสรุปไม่ได้ — ที่ 50 ไม้ ช่วงที่ค่าจริงอาจอยู่ยังกว้างมาก และกลยุทธ์ที่แย่กว่าก็ให้ผลแบบนั้นได้
ทดสอบมากไปได้ไหม?
จำนวนไม้มากไม่เป็นปัญหา — แต่การปรับพารามิเตอร์หลายรอบกับข้อมูลชุดเดิมเป็นปัญหา อ่านเรื่อง Overfitting
นับไม้ที่ไม่ได้เข้าด้วยไหม?
บันทึกไว้แยกต่างหาก — มีประโยชน์ในการตรวจว่าเกณฑ์กรองดีไหม แต่ไม่นับรวมในจำนวนไม้ที่ใช้วัดผล
สรุป
1. ภายใต้ตัวอย่างสมมติ อัตราชนะ 45% อาจวัดสูงกว่า 55% ได้ประมาณ 18.17% ที่ 30 ไม้
2. จำนวนที่ต้องมีขึ้นกับการกระจายของผล ไม่มีตัวเลขเดียวที่ใช้ได้ทุกกรณี
3. ไม่มีจำนวนไม้ขั้นต่ำเดียวที่ใช้ได้ทุกกรณี ต้องบอกความไม่แน่นอน
4. ความหลากหลายของสภาวะตลาดสำคัญพอ ๆ กับจำนวน
5. คู่ที่ Correlation สูงไม่ใช่ตัวอย่างอิสระ — ทองกับคู่ที่มี USD ก็เช่นกัน
อ่านต่อ
แหล่งอ้างอิง
NIST — ช่วงความเชื่อมั่น Wilson สำหรับสัดส่วน
ตรวจตัวอย่างซ้ำได้ด้วยผลรวม P(B > A) = Σ P(B=k) × P(A<k), k=0 ถึง n โดยใช้การแจกแจง Binomial ตาม n และโอกาสชนะที่ระบุ ไม่อาศัยผลสุ่มจำลอง
- ตัวเลขเปรียบเทียบในบทความคำนวณแบบ Binomial โดยตรง โดยสมมติว่าไม้และชุดผลทั้งสองอิสระและโอกาสชนะคงที่ ในความเป็นจริงผลของไม้ที่เกิดใกล้กันอาจไม่เป็นอิสระ ทำให้ความไม่แน่นอนจริงสูงกว่าที่คำนวณ การคำนวณตรวจสอบซ้ำได้จากค่าที่ระบุ
📘 บทความนี้เป็นส่วนหนึ่งของ บทเรียนที่ 14: Build → Test → Measure → Improve
📚 บทความถัดไป
Forward Testing คืออะไร? ตรวจอะไรที่ Backtest ตรวจไม่ได้
คุณได้เห็นว่าจำนวนไม้ต้องอ่านร่วมกับการกระจายผลและความไม่แน่นอน
ต่อไปคือการเก็บผลตามเวลาที่เกิดจริง เพื่อเปรียบเทียบกฎ การส่งคำสั่ง และการทำตามแผน
Share This Story, Choose Your Platform!
โฆษณาพันธมิตร: จำนวน $30 ในภาพไม่ยืนยันสิทธิ์ของทุกบัญชี ตรวจข้อเสนอที่แสดงสำหรับคุณและเงื่อนไขถอนกำไรก่อนสมัคร ดูวิธีตรวจสิทธิ์
ตรวจสิทธิ์ก่อนรับโบนัส
โบนัสและเงื่อนไขอาจต่างกันตามประเทศ ประเภทบัญชี และช่วงเวลา ตรวจข้อเสนอที่แสดงในบัญชีของคุณ พร้อมเงื่อนไขการใช้เครดิตและการถอนกำไรก่อนตัดสินใจ
บทความในหมวด บทเรียนที่ 14: ทดสอบและวัดผล 🎯 เมื่อเรียนบ […]
บทความในหมวด บทเรียนที่ 14: ทดสอบและวัดผล 🎯 เมื่อเรียนบ […]
บทความในหมวด บทเรียนที่ 13: Trading Strategy 🎯 เมื่อเรี […]


