8.12 ชุดกันไว้ทดสอบ การปกปิดแบบบอด การตรวจศูนย์ และการทวนสอบข้ามไปป์ไลน์: ทำอย่างไรให้ EFT ไม่ใช่ “ทฤษฎีที่เล่าเรื่องเก่ง”

I. ข้อสรุปของส่วนนี้

ส่วนนี้ไม่เพิ่มเส้นคำตัดสินระดับวัตถุใหม่อีกแล้ว; สิ่งที่มันเติมเข้ามา คือกฎการเข้ารับการตรวจสอบที่เย็นกว่า แข็งกว่า และไม่น่าประจบเอาเสียเลย ตราบใดที่ EFT ยังต้องการเขียนเศษตกค้างของการเลื่อนแดง การปิดวงของแผนที่ฐานร่วม การแบ่งชั้นของโครงสร้าง ลายริ้วตรงละเอียดใกล้ขอบฟ้า เกณฑ์ของอุปกรณ์ขอบเขต และรั้วกั้นควอนตัมใน 8.4 ถึง 8.11 ให้เป็น “การสนับสนุน” มันก็ต้องยอมรับรั้วกั้นร่วมสี่บานก่อน: ชุดกันไว้ทดสอบห้ามใช้ผลลัพธ์ย้อนกลับไปปรับกรอบ การปกปิดแบบบอดห้ามแอบดูคำตอบ การตรวจศูนย์ห้ามเด่นมีนัยสำคัญพร้อมกับผลหลัก และการทวนสอบข้ามไปป์ไลน์ห้ามปล่อยให้เส้นทางเดียวผูกขาดความจริง หากไม่มีประตูสี่บานนี้ เล่มที่ 8 ต่อให้เร้าใจเพียงใด ก็ยังอาจเป็นเพียงเรื่องเล่าที่มีพลังอธิบายสูง; เมื่อผ่านประตูทั้งสี่นี้แล้ว มันจึงเริ่มมีหน้าตาเหมือนทฤษฎีผู้สมัครที่ยินดีเข้ารับการตรวจสอบจริง

II. หลังระดับวัตถุ ยังต้องเติมประตูรวมด้านวิธีวิทยา

8.4 ถึง 8.11 ก่อนหน้านี้ได้ยกสนามรบระดับวัตถุทั้งหมดที่ EFT อยากชนะที่สุด และบาดเจ็บง่ายที่สุดขึ้นมาวางบนโต๊ะแล้ว: พจน์ร่วมไร้การกระจายข้ามโพรบ แกนหลัก TPR กับเศษตกค้าง PER แผนที่ฐานร่วมของการหมุน—เลนส์—การควบรวม การเกิดรูปโครงสร้าง ฟิล์มฐานกับโทโมกราฟีสิ่งแวดล้อม เขตใกล้ขอบฟ้าและลายเซ็นจำเพาะของขอบเขต อุปกรณ์ขอบเขตกับสูญญากาศสนามแรง ตลอดจนการแพร่กระจายควอนตัมกับรั้วกั้นห้ามสื่อสาร แต่ถ้าเนื้อหาเหล่านี้เขียนเพียงว่า “วัดอะไร” “ผลแบบใดนับว่าสนับสนุน” และ “ผลแบบใดจะกระทบแกนหลัก” ก็ยังไม่พอ เพราะภาษาของ EFT เองมีพลังอธิบายสูงมาก และสิ่งที่ทฤษฎีซึ่งอธิบายเก่งกลัวที่สุด ไม่ใช่การไม่มีกรณีตัวอย่าง แต่คือเมื่อมีกรณีมากเกินไป ใคร ๆ ก็สามารถเล่าให้มันเข้าเรื่องได้ภายหลัง

ส่วนก่อนหน้านี้ยังขาดประตูรวมอีกบานหนึ่ง: ผลลัพธ์ใดก็ตามที่ต้องการถูกบันทึกคะแนน ต้องถูกถามก่อนว่ามันชนะมาภายใต้รั้วกั้นวิธีวิทยาชุดเดียวกันหรือไม่ เมื่อเขียนประตูรวมนี้ให้ชัดก่อน บัญชีรวมภายหลังจึงจะมีสิทธิ์แยก “การสนับสนุนโดยตรง” “การรัดให้แคบลง” และ “ความเสียหายเชิงโครงสร้าง” ได้; มิฉะนั้น มันจะไถลไปเป็นสมุดบันทึกความดีความชอบที่เลือกตัวอย่างภายหลังได้ง่ายมาก

III. ส่วนนี้ไม่เพิ่มตระกูลการทดลองใหม่ เพียงเติมวินัยในการรับการตรวจสอบ

ส่วนนี้ไม่ควรถูกเขียนให้เป็นตำราสถิติ ถ้าเป็นเช่นนั้น เล่มที่ 8 จะเย็นชืดลงอย่างฉับพลัน และจะเบี่ยงออกจากสิ่งที่มันต้องทำจริง ๆ 8.12 ไม่ได้มาเพื่อสอนผู้อ่านว่าอะไรคือชุดฝึก ชุดทดสอบ นัยสำคัญ Bayes factor หรือการเฉลี่ยแบบจำลอง; มันทำเรื่องที่โหดกว่านั้นเพียงเรื่องเดียว คือจะป้องกันไม่ให้ EFT หลอกตัวเองได้อย่างไร

ดังนั้น กฎสี่ข้อที่ 8.12 กล่าวถึงจึงไม่ใช่การกระทำทางเทคนิคที่แยกขาดจากกัน แต่ล้วนขยายอยู่ภายใต้วินัยรวมข้อเดียว: ตรึงกรอบไว้ก่อนล่วงหน้า หลังผลออกมาอนุญาตให้บันทึกบัญชีเท่านั้น ห้ามเปลี่ยนปาก ตัวอย่างจะเลือกอย่างไร วัตถุใดเข้าสู่ตัวอย่างหลัก ย่านความถี่หรือชั้นการเลื่อนแดงใดกันไว้เป็นชุดกันไว้ทดสอบเท่านั้น ตัวชี้วัดสิ่งแวดล้อมใดเข้าสู่การวิเคราะห์หลัก เงื่อนไขคัดออกใดมีผล กฎให้คะแนนใดนับว่าเข้าเป้า ทั้งหมดต้องเขียนให้ชัดก่อนเห็นผลหลัก หากไม่มีขั้นตอนนี้ ชุดกันไว้ทดสอบจะถูกแอบกิน การปกปิดแบบบอดจะกลายเป็นการแสดง การตรวจศูนย์จะถูกเลือกเฉพาะอันที่อ่อนที่สุด และการทวนสอบข้ามไปป์ไลน์ก็จะเสื่อมลงเป็น “อคติชุดเดิมวิ่งซ้ำสองรอบ”

สิ่งที่สำคัญพอกันคือการแยกบทบาท การทดลองและการสังเกตจำนวนมากในเล่มที่ 8 จริง ๆ แล้วเหมาะโดยธรรมชาติกับโครงกระดูกร่วมแบบหนึ่ง: กลุ่มป้อนคำทำนายล่วงหน้าออกบัตรทำนายโดยอาศัยสิ่งแวดล้อม เรขาคณิต และตัวแทนค่าที่ถูกตรึงไว้แล้วเท่านั้น; กลุ่มวัดดึงค่าที่อ่านได้ออกมาโดยไม่รู้ว่าในบัตรทำนายเขียนอะไร; จากนั้นกลุ่มชี้ขาดจึงค่อยนำคำทำนายกับผลลัพธ์มาจัดเข้าหากันตามตารางคะแนนที่ลงทะเบียนไว้ล่วงหน้า ไม่ใช่ว่าทุกเส้นจะต้องลอกสามกลุ่มนี้ไปใช้แบบกลไก แต่โครงกระดูกนี้เตือนประเด็นสำคัญที่สุดของส่วนนี้: คำทำนายต้องมาก่อนภาพที่สวย กฎต้องมาก่อนเรื่องเล่าที่ไพเราะ

IV. รั้วกั้นบานที่หนึ่ง: ชุดกันไว้ทดสอบ — ห้ามใช้ผลลัพธ์ย้อนกลับไปปรับกรอบ

ชุดกันไว้ทดสอบใน 8.12 ไม่ใช่ “การตรวจความสามารถทั่วไป” แบบอ่อนโยน แต่เป็นมีดที่มีไว้กันการย้อนกลับไปปรับกรอบโดยเฉพาะ เพราะความผิดพลาดที่ EFT ทำได้ง่ายที่สุด ไม่ใช่การมองไม่เห็นสัญญาณเลย แต่คือเมื่อเห็นทิศทางบางอย่างแล้ว ก็อดไม่ได้ที่จะปรับตัวอย่าง ปรับการแบ่งชั้นสิ่งแวดล้อม ปรับเกณฑ์ ปรับกรอบพื้นหลัง ปรับตระกูลฟิต ต่อไปเรื่อย ๆ จนทิศทางเล็ก ๆ นั้นงอกเป็นภาพที่สวย ความหมายของชุดกันไว้ทดสอบ คือปิดทางถอยเส้นนี้เสีย: คุณกำหนดกรอบในส่วนฝึกได้ แต่ห้ามเอาส่วนที่กันไว้กลับมาแก้ถ้อยคำที่คุณพูดไปแล้ว

ในแผ่นงานจักรวาลวิทยา ชุดกันไว้ทดสอบอาจเป็นหน้าต่างการเลื่อนแดงที่กันไว้ ชนิดแหล่งกำเนิดหนึ่งที่กันไว้ พื้นที่ท้องฟ้าหนึ่งผืนที่กันไว้ เวอร์ชันสำรวจท้องฟ้าหนึ่งรุ่นที่กันไว้ หรือแม้แต่ห่วงโซ่ระยะทางอิสระทั้งชุดที่กันไว้; ในแผ่นงานจักรวาลสุดขั้ว มันอาจเป็นวัตถุบางชุด ยุคสังเกตบางช่วง ช่วงรอบวงบางตอน กระจุกควบรวมบางกลุ่ม หรือระดับสิ่งแวดล้อมบางระดับที่กันไว้; ในแผ่นงานห้องปฏิบัติการและควอนตัม มันอาจเป็นหน้าต่างพารามิเตอร์บางช่วง วัสดุบางชนิด อุปกรณ์หนึ่งเครื่อง หรือระดับสแกนใกล้เกณฑ์ที่ยังไม่เปิดเผยป้ายกำกับ รูปแบบอาจต่างกันได้ แต่วินัยมีเพียงข้อเดียว: สิ่งที่กันไว้ใช้เพื่อยืนยันเท่านั้น ไม่ใช้ย้อนกลับไปปรับพารามิเตอร์

ผลจากชุดกันไว้ทดสอบที่เพิ่มคะแนนให้ EFT จริง ๆ ไม่ใช่แนวโน้มที่เคยเห็นมาแล้วในชุดฝึกแล้วในชุดกันไว้ยัง “คล้ายอยู่บ้าง” แต่คือทิศทางไม่พลิก ลำดับไม่แตก และกรอบไม่เปลี่ยน ตัวอย่างเช่น หากพจน์ร่วมใน 8.4 เป็นสีฐานร่วมไร้การกระจายจริง เมื่อย้ายไปยังย่านความถี่ หน้าต่างเหตุการณ์ หรือสถานีที่กันไว้ อย่างน้อยมันควรรักษาทิศทางเดียวกันและหน้าต่างเดียวกันไว้ได้; หากแกนหลัก TPR ใน 8.5 กินสีฐานได้จริง เมื่อย้ายไปยังชนิดแหล่งกำเนิดหรือพื้นที่ท้องฟ้าที่กันไว้ ค่า α สากลก็ไม่ควรเปลี่ยนปากทันที; หากแผนที่ฐานร่วมใน 8.6 ไม่ใช่การปะติดปะต่อรายกรณี เมื่อเอาแผนที่ฐานที่ตรึงไว้แล้วไปใช้กับวัตถุที่กันไว้ ก็ไม่ควรต้องเริ่มชุดแพตช์ใหม่ทันที ตรงกันข้าม ขอเพียงแนวโน้มเข้าสู่ชุดกันไว้แล้วพลิกทิศ เสียลำดับ หรือจำเป็นต้องเลือกตัวอย่างใหม่ มันก็ไม่ใช่ข้อสรุปหลักอีกต่อไป แต่จึงลดกลับไปเป็นเบาะแส

ยังต้องเขียนเพิ่มอีกประโยคหนึ่ง: ชุดกันไว้ทดสอบจะกันไว้เฉพาะ “ส่วนที่ผ่านง่ายที่สุด” ไม่ได้ หากทฤษฎีเก็บตัวอย่างที่สะอาดที่สุด คุ้นที่สุด และถูกใจที่สุดไว้ท้ายสุด แต่เอาพื้นที่ท้องฟ้าเสี่ยงสูง ย่านความถี่ที่ปรับเทียบยาก วัตถุซับซ้อน และหน้าต่างพารามิเตอร์ใกล้เกณฑ์ไปลองผิดลองถูกซ้ำแล้วซ้ำเล่าในส่วนฝึกก่อน สิ่งที่เรียกว่าชุดกันไว้ก็ปนเปื้อนไปแล้ว ชุดกันไว้ที่แท้จริงควรจงใจบรรจุหน่วยที่มีโอกาสตบหน้าทฤษฎีมากที่สุด เพราะเป้าหมายของเล่มที่ 8 ไม่ใช่เขียนอัตราชนะให้สูง แต่เขียนเงื่อนไขแพ้ชนะให้แข็ง

V. รั้วกั้นบานที่สอง: การปกปิดแบบบอด — ให้คำทำนายพูดก่อนภาพสวย

คุณค่าของการปกปิดแบบบอดไม่ได้อยู่ที่รูปแบบว่า “ดูเป็นวิทยาศาสตร์กว่า” แต่อยู่ที่มันบังคับให้ทฤษฎีพูดส่วนที่เสี่ยงจริง ๆ ออกมาก่อน EFT มีหลายจุดที่ง่ายมากจะเติมคำอธิบายหลังดูภาพจบ: พจน์ร่วมดูเหมือนถูกสิ่งแวดล้อมเสริม จึงบอกว่าเดิมทีก็คาดว่าจะถูกสิ่งแวดล้อมเสริมอยู่แล้ว; อคติบางอย่างดูเหมือนแรงขึ้นเฉพาะในสิ่งแวดล้อมชนิดโหนด จึงบอกว่าโครงกระดูกควรเป็นเช่นนั้นแต่แรก; แพลตฟอร์มหนึ่งเกิดช่วงราบหลังผ่านเกณฑ์ จึงบอกว่านี่ก็เหมือนความไม่ต่อเนื่องของเกณฑ์พอดี หากประโยคเหล่านี้ไม่ได้เขียนก่อนเห็นผล มันก็ไม่ใช่คำทำนาย แต่เป็นวาทศิลป์หลังมองย้อนกลับ

ดังนั้น การปกปิดแบบบอดที่ 8.12 ต้องการ จึงไม่ใช่แค่ปิดชื่อไฟล์ หรือสลับป้ายกำกับตัวอย่างเท่านั้น สำหรับ EFT สิ่งที่สำคัญกว่าคือการปกปิดแบบบอดที่มีโครงสร้าง “ป้อนคำทำนายล่วงหน้า—วัด—ชี้ขาด” ในขั้นป้อนคำทำนายล่วงหน้า ทฤษฎีอาศัยได้เพียงตัวชี้วัดสิ่งแวดล้อม ข้อมูลเรขาคณิต พารามิเตอร์วัสดุ หรือบัญชีประวัติที่ถูกตรึงไว้แล้ว เพื่อเขียนบัตรทำนายว่า “ช่องใดควรแรงกว่า ช่องใดควรอ่อนกว่า คาดว่าจะไปทิศเดียวกันหรือสวนทิศ ควรรักษาภาวะไร้การกระจายหรือไม่ ควรปรากฏในหน้าต่างเดียวกันหรือไม่”; ในขั้นวัด ผู้ที่ดึงสัญญาณออกมาต้องไม่รู้ว่าบัตรนี้เขียนอะไร; ในขั้นชี้ขาด จึงให้บุคคลที่สามนับการเข้าเป้า การผิดทิศ และการไม่เข้าเป้า ตามกฎที่ตรึงไว้ เฉพาะเช่นนี้ EFT จึงถือว่ากำลังเอาคอตัวเองลงเดิมพันจริง

รูปแบบเฉพาะของการปกปิดแบบบอดในแผ่นงานต่าง ๆ อาจแตกต่างกันมาก 8.4 และ 8.5 อาจปิดบังการแบ่งชั้นสิ่งแวดล้อมกับป้ายกำกับชนิดแหล่งกำเนิด; 8.6 ถึง 8.9 อาจปิดบังสนามทิศทางของโครงกระดูก เฟสการควบรวม ชั้นของจุดเย็น แม่แบบทิศทางใกล้ขอบฟ้า หรือการจัดชั้นวัตถุ; ส่วน 8.10 และ 8.11 เหมาะกว่าที่จะปิดบังล็อตวัสดุ ระดับเกณฑ์ ลำดับการขับ ระดับความสะอาดของลิงก์ หรือแม้แต่ว่าเป็นหน้าต่างพารามิเตอร์ที่กันไว้หรือไม่ ประเด็นสำคัญไม่ใช่รูปแบบต้องเหมือนกัน แต่คือวินัยต้องเหมือนกัน: พูดก่อนว่าจะเกิดอะไร แล้วค่อยดูว่ามันเกิดขึ้นหรือไม่; ไม่ใช่เห็นอะไรก่อน แล้วจึงบอกว่าตนรู้ตั้งแต่แรกว่าจะเป็นอย่างนั้น

การปกปิดแบบบอดยังมีคุณค่าที่มักถูกมองข้ามอีกอย่างหนึ่ง: มันบังคับให้ EFT แยก “สิ่งที่คาดการณ์ล่วงหน้าได้” ออกจาก “สิ่งที่อธิบายได้ภายหลัง” ทั้งสองอย่างบนกระดาษดูคล้ายกันราวกับ “พูดถูกแล้ว” แต่สถานะทางวิทยาศาสตร์ต่างกันโดยสิ้นเชิง อย่างแรกคือการเสี่ยงลงเดิมพันก่อนผลออกมา อย่างหลังคือการหาวากยสัมพันธ์มารองรับหลังผลออกมาแล้ว สิ่งที่ 8.12 ต้องปกป้องพอดีคืออย่างแรก; เพราะมีเพียงอย่างแรกเท่านั้นที่เปลี่ยนอัตราชนะของทฤษฎีได้จริง

VI. รั้วกั้นบานที่สาม: การตรวจศูนย์ — อย่าตัดสินภาพลวงว่าเป็นฟิสิกส์ใหม่

เส้นคำตัดสินจำนวนมากของ EFT ชอบอ่านโครงสร้างที่ “อ่อนมากแต่มีวินัย”: พจน์ร่วมไร้การกระจาย ความเป็นโมโนโทนของสิ่งแวดล้อม การย่อขยายร่วมตำแหน่ง ช่วงราบหลังเกณฑ์ การทำนายล่วงหน้าเข้าเป้า แผนที่ฐานร่วมข้ามโพรบ พอดีเพราะสัญญาณเหล่านี้มักไม่ใช่ปริมาณรวมขนาดใหญ่ที่ท่วมทับทุกอย่าง แต่คล้ายลำดับ เครื่องหมาย หน้าต่างเดียวกัน เศษตกค้าง และการแบ่งชั้น มันจึงถูกสร้างปลอมอย่างเงียบ ๆ ได้ง่ายเป็นพิเศษจากระบบวิทยา ฟังก์ชันคัดเลือก การลอยของการปรับเทียบ อคติของแม่แบบ และนิสัยของสายวิเคราะห์ หน้าที่ของการตรวจศูนย์ คือสร้างศาลให้ภาพลวงเหล่านี้โดยเฉพาะ

การตรวจศูนย์ที่แข็งพอ อย่างน้อยต้องมีสองชนิด

การตรวจศูนย์ไม่ใช่ตัวประกอบ และไม่ควรเดินผ่านฉากอยู่แค่ในภาคผนวก สำหรับ 8.4 หากการย้อนเวลา การสลับย่านความถี่ และตัวเปรียบเทียบแบบมีการกระจาย สามารถให้ “พจน์ร่วมหน่วงเวลาศูนย์” ได้เช่นกัน ผลหลักก็ยืนไม่ได้ตั้งแต่ต้น; สำหรับ 8.6 และ 8.7 หากหลังหมุนโครงกระดูกแบบสุ่มหรือรบกวนแผนที่ฐานแล้ว สิ่งที่เรียกว่าการร่วมแนวและแผนที่ฐานร่วมยังคงยืนอยู่ได้ ผลลัพธ์ก็คล้ายอคติของอัลกอริทึมมากกว่า; สำหรับ 8.9 หากลายริ้วตรงละเอียดใกล้ขอบฟ้าพอเปลี่ยนกรอบการสร้างภาพกับทิศแม่แบบแล้วก็ยังมีนัยสำคัญเท่าเดิม ลายเซ็นจำเพาะก็เพียงกำลังกินประโยชน์จากสายการประมวลผล; สำหรับ 8.10 และ 8.11 หากโครงแบบตัวแทน โหลดปลอม โพรงว่าง การตัดบัญชีคลาสสิกที่ขาดออก หรือการควบคุมเกณฑ์ปลอม ให้ “สัญญาณใหม่” ได้เช่นกัน สิ่งที่เรียกว่าฟิสิกส์ใหม่ก็แค่วนอยู่ในเครื่องมือเท่านั้น หากผลหลักรักษาความจำเพาะต่อหน้าการตรวจศูนย์ไม่ได้ ก็ไม่มีคุณสมบัติจะถูกยกระดับเป็นการสนับสนุน

นอกจากนี้ นอกเหนือจากการตรวจศูนย์ ยังต้องมีตัวควบคุมบวก กล่าวคือกระบวนการไม่เพียงต้องล้มเหลวได้ถูกต้องเมื่อ “ไม่มีโครงสร้างของ EFT” เท่านั้น แต่ยังต้องสำเร็จได้ถูกต้องเมื่อ “ฉีดโครงสร้างที่รู้จักเข้าไป” หรือเมื่อ “ฟิสิกส์ที่รู้จักควรปรากฏ” หากไปป์ไลน์เส้นหนึ่งทั้งทุบภาพลวงไม่แตก และกู้สัญญาณที่รู้จักกลับมาไม่ได้ ผลหลักของมันก็ไม่มีคุณสมบัติในการบันทึกคะแนนใด ๆ ดังนั้น การตรวจศูนย์ของเล่มที่ 8 จึงไม่ใช่การรื้อเวทีอย่างเดียว แต่ล็อกเรื่อง “ควรสำเร็จก็สำเร็จ ควรล้มเหลวก็ตายจริง” ไว้พร้อมกันด้วย

VII. รั้วกั้นบานที่สี่: การทวนสอบข้ามไปป์ไลน์ — ไม่ให้เส้นทางเดียวผูกขาดความจริง

ชัยชนะชนิดที่อันตรายที่สุดชนิดหนึ่งในเล่มที่ 8 คือชัยชนะที่ “พอเปลี่ยนเส้นทางประมวลผลข้อมูลแล้วก็ยืนไม่ได้อีกต่อไป” เพราะปริมาณจำนวนมากที่ EFT ใส่ใจ เดิมทีก็พึ่งพาสายการดึงออกที่ซับซ้อน: จะหักพื้นหลังอย่างไร จะดึงโครงกระดูกอย่างไร จะกลับภาพเลนส์อย่างไร จะสร้างภาพวงแหวนใหม่อย่างไร จะระบุเกณฑ์อย่างไร จะเทียบเวลาดิบอย่างไร จะลงบัญชีเสียงรบกวนกับการคัดเลือกภายหลังอย่างไร ขอเพียงขั้นตอนใดขั้นตอนหนึ่งในนั้นพึ่งพานิสัยเริ่มต้นของทีมใดทีมหนึ่งอย่างมาก ผลลัพธ์สวย ๆ ในไปป์ไลน์เดียวก็ไม่มีวันเลื่อนเป็นข้อสรุปทางฟิสิกส์ได้โดยอัตโนมัติ

ดังนั้น การทวนสอบข้ามไปป์ไลน์ที่ 8.12 กล่าวถึง จึงไม่ใช่การนำโค้ดชุดเดิมไปเปลี่ยนเมล็ดสุ่มแล้วรันซ้ำสองรอบ มันต้องการความเป็นอิสระจริง ๆ: สายพรีโพรเซสที่เป็นอิสระ แบบจำลองพื้นหลังที่เป็นอิสระ วิธีสร้างโครงกระดูกหรือสร้างภาพใหม่ที่เป็นอิสระ ตระกูลฟิตที่เป็นอิสระ เส้นทางปรับเทียบที่เป็นอิสระ และยิ่งดีหากมีทีมอิสระ สถาบันอิสระ และเวอร์ชันฮาร์ดแวร์อิสระเพิ่มเข้ามา สำหรับข้อมูลดาราศาสตร์ นี่หมายความว่าผลิตภัณฑ์สำรวจท้องฟ้าต่างกัน ไปป์ไลน์สร้างภาพหรือกลับสภาพต่างกัน และชุดแบบจำลองมหภาคต่างกัน ต้องยังให้ข้อสรุปไปทิศเดียวกันได้; สำหรับข้อมูลห้องปฏิบัติการ หมายความว่าอุปกรณ์ต่างกัน ซอฟต์แวร์ควบคุมต่างกัน สายเก็บข้อมูลและประมวลผลภายหลังต่างกัน ก็ไม่ควรทำให้ผลลัพธ์พลิกได้ตามใจ

EFT ตรงนี้ไม่จำเป็นต้องให้ทุกไปป์ไลน์ตอบตัวเลขเหมือนกันทุกประการ สิ่งที่มันต้องการจริง ๆ เรียบง่ายกว่า และปลอมยากกว่าด้วย: เครื่องหมายหลักต้องสอดคล้องกัน ลำดับหลักต้องสอดคล้องกัน โครงสร้างหลักต้องสอดคล้องกัน หากสัญญาณหนึ่งต้องใช้ได้เฉพาะในวิธีหักพื้นหลังแบบหนึ่ง วิธีทำ regularization ของการสร้างใหม่แบบหนึ่ง ฐานแม่แบบแบบหนึ่ง หรือหน้าต่างคัดเลือกภายหลังแบบหนึ่งเท่านั้น และพอไปป์ไลน์ที่สมเหตุสมผลอื่นเข้ามาก็แตกออก สิ่งที่เล่มที่ 8 ควรเขียนอย่างซื่อสัตย์ที่สุด ไม่ใช่ “ยังถกเถียงอยู่แต่มีความหวังมาก” แต่คือ “ขณะนี้เป็นเพียงเบาะแสที่สัมพันธ์กับสายการประมวลผลเส้นหนึ่ง”

สุดท้าย การทวนสอบข้ามไปป์ไลน์ยังต้องตกลงสู่บัญชีที่เปิดเผยและคำนวณซ้ำได้ ไม่ใช่ทุกทีมจำเป็นต้องเปิดไฟล์กลางทั้งหมดแบบไร้ข้อสงวนในครั้งเดียว แต่อย่างน้อยต้องทำให้ผู้ทวนสอบภายนอกเห็นจุดตัดสินใจสำคัญได้: ตัวอย่างใดถูกคัดออก พารามิเตอร์ใดถูกตรึง หน่วยกันไว้ใดไม่ได้ถูกแตะ การตรวจศูนย์ใดล้มเหลว ไปป์ไลน์อิสระใดไม่เห็นด้วย หากบัญชีเหล่านี้อยู่ในมือทีมเดิมเท่านั้น โลกภายนอกก็ยากจะแยกได้ว่า “นี่คือปรากฏการณ์ซับซ้อน” หรือ “นี่คือกระบวนการซับซ้อน” กันแน่

VIII. เหตุใดรั้วกั้นทั้งสี่ต้องทำงานร่วมกัน ไม่ใช่ผ่านฉากแยกกัน

ทำเฉพาะชุดกันไว้ทดสอบแต่ไม่ทำการปกปิดแบบบอด จะเปิดช่องให้คนเห็นแนวโน้มก่อน แล้วค่อยเลือกชุดกันไว้ที่ “สมเหตุสมผล” อย่างประณีต; ทำเฉพาะการปกปิดแบบบอดแต่ไม่ทำการตรวจศูนย์ จะทำให้แม้ไม่ได้แอบดูคำตอบ ก็ยังอาจตีภาพลวงจากระบบเป็นความประหลาดใจ; ทำเฉพาะการตรวจศูนย์แต่ไม่ทำข้ามไปป์ไลน์ จะปล่อยให้เส้นทางวิเคราะห์เส้นหนึ่งแบกอคติชนิดเดียวกันทั้งในผลหลักและการตรวจศูนย์; ทำเฉพาะข้ามไปป์ไลน์แต่ไม่ทำชุดกันไว้ทดสอบ หลายทีมก็ยังอาจร่วมกัน overfit ชุดฝึกจนเกือบเหมือนคำพยากรณ์ได้ รั้วกั้นทั้งสี่ไม่ใช่ของตกแต่งสี่ชิ้น แต่เป็นโซ่เส้นเดียว

เพราะฉะนั้น 8.12 ต้องปฏิเสธตรรกะชดเชยที่พบได้บ่อยอย่างชัดเจน: “แม้ไม่ได้ทำชุดกันไว้ แต่เราปกปิดแบบบอดแล้ว; แม้การตรวจศูนย์ธรรมดาไปหน่อย แต่ข้ามไปป์ไลน์สอดคล้องกันดี; แม้ยังไม่มีการทวนสอบอิสระ แต่บนชุดฝึกสวยมาก” วิธีให้คะแนนแบบนี้อาจใช้ได้ดีในการประชาสัมพันธ์ แต่ในการตรวจสอบถือว่าผิดกฎ เล่มที่ 8 ไม่ได้มาเพื่อขอ “คะแนนความประทับใจรวม”; มันต้องการพิสูจน์ว่าภายใต้กฎที่เสียเปรียบที่สุด ยังยืนอยู่ได้หรือไม่ ประตูสำคัญบานใดไม่ผ่าน ก็เอาความสวยงามของอีกบานหนึ่งมาหักล้างแทนไม่ได้

IX. จะกดรั้วกั้นทั้งสี่ลงไปใน 8.4 ถึง 8.11 อย่างไร

เมื่อวางลงใน 8.4 และ 8.5 ภารกิจแกนหลักของรั้วกั้นทั้งสี่คือป้องกันไม่ให้ “พจน์ร่วม” และ “บัญชีแยก TPR/PER” ถูกเย็บขึ้นภายหลัง ตรงนี้ ชุดกันไว้ทดสอบควรกันไว้เป็นชนิดแหล่งกำเนิด พื้นที่ท้องฟ้า ย่านความถี่ และหน้าต่างเหตุการณ์; การปกปิดแบบบอดต้องให้บัตรทำนายสิ่งแวดล้อมกับกฎบัญชีแยกปริมาณหลัก—เศษตกค้างถูกตรึงไว้ก่อน; การตรวจศูนย์ควรทำตัวแทนกฎการกระจาย การย้อนเวลา การสลับป้ายกำกับ และการสลับสถานีก่อน; ส่วนการทวนสอบข้ามไปป์ไลน์อย่างน้อยต้องครอบคลุมสายการประมวลผลการเลื่อนแดง สายการประมวลผลเวลาหน่วง ห่วงโซ่ระยะทางอิสระ และสายแบบจำลองเลนส์ หากรั้วเหล่านี้ไม่ครบ 8.4 และ 8.5 ก็ไถลกลับไปเป็น “ภาพนี้ก็เหมือน ภาพนั้นก็เล่าได้” ได้ง่ายมาก

เมื่อวางลงใน 8.6 ถึง 8.9 ภารกิจของรั้วกั้นทั้งสี่คือป้องกันไม่ให้ “แผนที่ฐานร่วม ทิศทางโครงกระดูก ลายริ้วตรงละเอียดใกล้ขอบฟ้า ลายเซ็นจำเพาะของขอบเขต” เสื่อมลงเป็นการตีความภาพ ตรงนี้ ชุดกันไว้ทดสอบควรใช้วัตถุที่กันไว้ ยุคสังเกตที่กันไว้ ชั้นการเลื่อนแดงที่กันไว้ เฟสการควบรวมที่กันไว้ และหน่วยแนวสายตาที่กันไว้มากขึ้น; การปกปิดแบบบอดอาจกดไว้ที่สนามทิศทางโครงกระดูก ระดับสิ่งแวดล้อม แม่แบบทิศทาง การจัดชั้นวัตถุ และบัตรทำนายลายเซ็นจำเพาะ; การตรวจศูนย์ต้องเน้นเป็นพิเศษที่การหมุนแม่แบบ โครงกระดูกสุ่ม หน้ากากสุ่ม ตัวเปรียบเทียบนอกแกน จุดร้อนปลอม / จุดเย็นปลอม การเลื่อนตำแหน่งและการสุ่มตัวอย่างใหม่; ส่วนการทวนสอบข้ามไปป์ไลน์ต้องให้อัลกอริทึมโครงกระดูกต่างกัน การสร้างมวลใหม่ต่างกัน แผนภาพสร้างภาพต่างกัน และสายดึงเวลาหน่วงต่างกัน ให้ข้อสรุปไปทิศเดียวกันพร้อมกันได้

เมื่อวางลงใน 8.10 และ 8.11 รั้วกั้นทั้งสี่ยิ่งผ่อนไม่ได้ เพราะแผ่นงานห้องปฏิบัติการมักเกิดชัยชนะปลอมแบบ “สัญญาณสวยมาก แต่จริง ๆ แล้วใช้ได้เฉพาะในอุปกรณ์กับสคริปต์ประมวลผลชุดนี้” ตรงนี้ ชุดกันไว้ทดสอบอาจเป็นหน้าต่างพารามิเตอร์ทั้งช่วง วัสดุทั้งชนิด อุปกรณ์ทั้งเครื่อง หรือชิปทั้งล็อต; การปกปิดแบบบอดอาจกดไว้ที่ระดับเกณฑ์ ป้ายวัสดุ ลำดับการขับ และระดับความสะอาดของลิงก์; การตรวจศูนย์ต้องรวมโครงแบบตัวแทน โพรงว่าง โหลดปลอม ขั้วกลับทิศ ตัวเปรียบเทียบสายที่ตัดขาด การจับเวลาผิด และการฉีด-กู้คืน; ส่วนการทวนสอบข้ามไปป์ไลน์ควรผลักไปถึงข้ามสถาบัน ข้ามฮาร์ดแวร์ ข้ามซอฟต์แวร์ควบคุม โดยเฉพาะบัญชีดิบและบัญชีหลังการคัดเลือกต้องเปิดเผยสองทาง เฉพาะเช่นนี้ เล่มที่ 8 จึงจะไม่เขียนความบังเอิญทางวิศวกรรมผิดเป็นคุณสมบัติใหม่ของ EFT

X. ผลลัพธ์เชิงวิธีวิทยาแบบใดจึงสนับสนุน EFT จริง

จากมุมของ 8.12 สิ่งที่สนับสนุน EFT จริง ไม่ใช่วัตถุบางชนิด “ดูเหมือน EFT มากกว่า” แต่คือหลังจาก EFT ยอมรับกฎที่เสียเปรียบที่สุดแล้ว มันยังชนะการเข้าเป้าเชิงโครงสร้างในหลายเส้นคำตัดสินได้ พูดให้เป็นรูปธรรม อย่างน้อยควรเกิดหลายเรื่องพร้อมกัน:

หากเงื่อนไขเหล่านี้ไม่ได้เกิดขึ้นบนเส้นละเอียดโดดเดี่ยวเส้นเดียว แต่เกิดขึ้นพร้อมกันข้ามหลายตระกูลใน 8.4 ถึง 8.11 เมื่อนั้น EFT จึงจะหลุดจากคำประเมินที่อันตรายที่สุดว่าเป็น “ทฤษฎีที่เล่าเรื่องเก่ง” เป็นครั้งแรกอย่างแท้จริง เพราะนั่นหมายความว่ามันไม่เพียงอธิบายวัตถุได้เท่านั้น แต่ยังยอมให้อำนาจอธิบายของตนถูกวิธีวิทยาบีบอัดด้วย และที่สำคัญกว่านั้น หลังถูกบีบอัดแล้วมันยังเหลืออะไรบางอย่างอยู่

ยังมีอีกจุดหนึ่งที่ต้องเขียนให้แข็ง: การสนับสนุนเชิงวิธีวิทยาเองก็มีลำดับชั้น ชั้นที่อ่อนที่สุด เพียงแค่ผลหนึ่งไม่ล้มต่อหน้ารั้วกั้น; ชั้นที่แข็งกว่า คือมันไม่เพียงไม่ล้มต่อหน้ารั้วกั้น แต่ยังแสดงเชิงรุกการปิดวงสี่ประสาน ได้แก่ การทำนายล่วงหน้าเข้าเป้า ชุดกันไว้มั่นคง การตรวจศูนย์แยกได้ และข้ามทีมไปทิศเดียวกัน สิ่งที่เล่มที่ 8 ต้องการจริง ๆ ไม่ใช่ชั้นแรก แต่เป็นชั้นหลัง เพราะชั้นแรกบอกได้เพียงว่า EFT ยังไม่ถูกจับได้ว่ามีความผิดพลาดเชิงเชิงกระบวนการชั่วคราว ส่วนชั้นหลังจึงบอกว่ามันเริ่มชนะเครดิตเชิงกระบวนการแล้ว

XI. ผลแบบใดนับเป็นการรัดให้แคบลง แต่ยังไม่ออกจากสนามทันที

ไม่ใช่ความยากเชิงวิธีวิทยาทุกอย่างจะตี EFT กลับเข้าสู่เขตเขียนใหม่ทันที ผลบางอย่างเหมือนการรัดให้แคบลงมากกว่าการทำให้ใช้ไม่ได้

XII. ผลแบบใดจะกระทบแกนหลักโดยตรง

ความเสียหายเชิงวิธีวิทยายังมีอีกรูปแบบหนึ่งที่มักถูกประเมินต่ำเกินไป: กฎถูกยกระดับหลังผลออกมาเสมอ วันนี้บอกว่าดูทิศเดียวกัน พรุ่งนี้บอกว่าดูลำดับ มะรืนบอกว่าดูเฉพาะซับตัวอย่างสิ่งแวดล้อมแรง; วันนี้บอกว่าสองไปป์ไลน์พอ พรุ่งนี้เพราะไม่สอดคล้องกันจึงเปลี่ยนเป็นเชื่อแค่หนึ่งในสอง; วันนี้บอกว่ากันพื้นที่ท้องฟ้าไว้ พรุ่งนี้เพราะพลิกทิศจึงเปลี่ยนไปเป็นกันย่านความถี่ไว้ ขอเพียงปรากฏการณ์ “กฎวิ่งไล่ตามผล” แบบนี้ดำรงอยู่นาน 8.12 ก็ต้องตัดสินเป็นอาการบาดเจ็บหนัก เพราะนั่นหมายความว่า EFT ยังไม่ได้เรียนรู้ที่จะส่งตัวเองให้กฎที่ตรึงไว้ตรวจสอบ

XIII. สถานการณ์ใดวันนี้ยังตัดสินไม่ได้

ยังมีสถานะยังตัดสินไม่ได้อีกชนิดหนึ่งที่สมเหตุสมผลแต่อันตราย คือวัตถุหายากเกินไป แพลตฟอร์มแพงเกินไป หรือรอบการทดลองทำซ้ำนานเกินไป เช่น ลายริ้วตรงละเอียดใกล้ขอบฟ้าบางชนิด การควบรวมสุดขั้วบางกรณี หรือสายควอนตัมต้นทุนสูงบางแบบ ย่อมไม่อาจทำให้การทวนสอบหลายสถาบันอย่างรวดเร็วเหมือนการทดลองปกติได้จริง ในกรณีนี้ 8.12 อาจอนุญาต “ความหนาแน่นหลักฐานยังไม่พอ” ชั่วคราว แต่ห้ามลักเปลี่ยนเป็น “ดังนั้นให้ลงบัญชีเป็นการสนับสนุนไปก่อน” ในไวยากรณ์ของเล่มที่ 8 ความแพงและความหายากทำได้เพียงชะลอคำตัดสิน ไม่ใช่ยกอัตราชนะให้สูงขึ้น

XIV. อย่าเอา “อธิบายได้” มาแทน “ทนการตรวจสอบได้”: การหันเลี้ยวสำคัญที่สุดของส่วนนี้

สิ่งที่ส่วนนี้เติมเข้ามา ไม่ใช่ข้อกำหนดทางเทคนิคเพิ่มเติมไม่กี่ข้อ แต่คือการเปลี่ยนท่าทีของทั้งเล่มจากวิชาอธิบายไปสู่วิชารับการตรวจสอบ สิ่งที่วิชาอธิบายถนัดที่สุด คือในวัตถุใหม่ทุกชิ้นล้วนหาประโยคหนึ่งมารองรับมันได้; แต่วิชารับการตรวจสอบทำตรงกันข้าม มันมัดตัวเองไว้ก่อน แล้วค่อยถามว่าตัวเองยังเหลืออะไรอยู่ สำหรับทฤษฎีอย่าง EFT ที่พยายามเขียนแผนที่ฐานใหม่ การหันเลี้ยวนี้สำคัญเป็นพิเศษ เพราะยิ่งมันพูดเก่ง ก็ยิ่งต้องเรียนรู้ที่จะเงียบก่อน; ยิ่งมันเล่าให้เข้าเรื่องได้ ก็ยิ่งต้องยอมรับกฎที่เสียเปรียบที่สุดก่อน

นี่คือความหมายชั้นหนึ่งที่ส่วนนี้ควรถูกจดจำมากที่สุด: สิ่งที่น่ากลัวจริงของการพิสูจน์เท็จ ไม่ได้อยู่ที่ศัตรูแข็งแกร่งเพียงใด แต่อยู่ที่ตัวคุณเองยินดีใช้กฎที่เสียเปรียบที่สุดตรวจตัวเองหรือไม่ หาก EFT ไม่ยอมทำเช่นนี้ ต่อให้คนอื่นชั่วคราวยังโต้แย้งมันไม่ได้ มันก็ยังเป็นเพียงเรื่องเล่าที่เก่ง; กลับกัน ต่อให้มันชนะได้เพียงบางหน้าต่างภายใต้กฎที่เสียเปรียบที่สุด ชัยชนะส่วนนั้นก็หนักกว่าคำอธิบายสวยงามทั้งเล่มที่ไม่ผ่านรั้วกั้น

XV. สรุปส่วนนี้

เล่มที่ 8 จะยืนอยู่ได้หรือไม่ ไม่ได้ขึ้นอยู่เพียงว่ามันเห็นอะไร แต่ยังขึ้นอยู่กับว่า EFT ยินดีให้ตัวเองเสียเปรียบก่อนหน้าประตูทั้งสี่ — ชุดกันไว้ทดสอบ การปกปิดแบบบอด การตรวจศูนย์ และการทวนสอบข้ามไปป์ไลน์ — หรือไม่ เฉพาะเมื่อ EFT ยอมรับกฎชุดนี้ที่ทำให้ตัวเองลำบากก่อน การสนับสนุนใด ๆ ที่ได้มาในภายหลัง จึงจะไม่เป็นเพียงเสียงสะท้อนของเรื่องเล่าตัวเอง