ทุกตัวเลขในวิทยานิพนธ์ต้องค้นหาเจอด้วย Ctrl+F

ภาพหลอนที่ดูแม่นยำ

โมเดลภาษาเขียนตัวเลขได้สวยงามมาก ขนาดตัวอย่าง N=337 ความสอดคล้องภายใน α=0.821 R²=0.594 ความนัยสำคัญ p<0.01 รูปแบบถูกต้อง ทศนิยมตรงกันหมด และศัพท์สถิติก็ใช้ถูกจุด ทั้งย่อหน้าดูเหมือนตัดออกมาจากงานวิจัยเชิงประจักษ์ที่ตีพิมพ์แล้ว

แล้วอาจารย์ที่ปรึกษาถามเพียงข้อเดียว "ตัวเลข 0.594 นี้มาจากงานไหน"

จากนั้นเหลือเพียงสองทาง คือคุณใช้เวลาสองชั่วโมงไล่เปิด PDF จนกว่าจะเจอบรรทัดนั้น หรือคุณหาที่มาของมันไม่พบเลย ซึ่งกรณีหลังไม่ใช่พิมพ์ผิด แต่คือการกุขึ้นมาทั้งหมด

ตัวเลขในวิทยานิพนธ์ไม่ใช่เครื่องประดับ แต่ละตัวเลขคือข้ออ้างเกี่ยวกับโลกภายนอก ข้ออ้างนั้นตรวจสอบได้ หรือไม่ก็เป็นเพียงตัวเลขที่หน้าตาเหมือนข้อมูล

วิธีที่หนึ่ง ประตูรายชื่ออนุญาต

ด่านแรกของการค้นหาไม่ใช่คำค้น แต่คือตัวแหล่งข้อมูล

เฉพาะมหาวิทยาลัยชั้นนำ วารสารแกนกลาง และหน่วยงานที่มีอำนาจของประเทศที่คุณกำลังศึกษาอยู่เท่านั้นที่เข้าสู่กระบวนการค้นหา โดเมนที่ไม่อยู่ในรายชื่อนั้นจะถูกตัดทิ้งตั้งแต่ขั้นค้นหา ก่อนที่ระบบจะอ่านแม้กระทั่งในสรุป

การทำแบบนี้ไม่ใช่เพื่อให้ดูเข้มงวด แต่เพราะการปนแหล่งทำให้บ่อหลักฐานเสียไป ตัวเลขที่พิงด้วยบทความอ่อนแอหนึ่งชิ้นจะดึงความน่าเชื่อถือที่ดูเหมือนจริงของข้อสรุปลงมาจนถึงระดับที่อธิบายไม่ได้ ประตูรายชื่ออนุญาตจึงเปลี่ยน "แหล่งอ้างอิงที่น่าเชื่อถือ" จากความตั้งใจดีของผู้เขียน ให้เป็นค่าเริ่มต้นของระบบ

วิธีที่สอง ผูกทุกตัวเลขไว้กับประโยคของมัน

ตัวเลขที่หลุดจากประโยคเดิมจะเสียความหมาย R²=0.594 ที่ไม่มีประโยคกำกับว่าอธิบายผลลัพธ์อะไร เป็นเพียงเครื่องประดับ

WriterOne เก็บทุกตัวเลขพร้อมประโยคแม่แต่งที่เป็นเจ้าของตัวเลขนั้นในต้นฉบับ แล้วเทียบทีละคำ ประโยคต้องค้นหาเจอในข้อความเต็มที่เก็บไว้ และตัวเลขในประโยคนั้นต้องตรงกับตัวเลขบนการ์ดหลักฐาน ถ้าหาประโยคไม่พบ หรือตัวเลขในประโยคไม่ตรง หลักฐานนั้นถือเป็นโมฆ ไม่ใช่ลดระดับเป็นรอตรวจ แต่ตัดทิ้งทั้งใบ

กฎนี้ดูเข้ม แต่มันคือฐานรากของห่วงโซ่หลักฐานทั้งหมด

วิธีที่สาม ที่ไม่มีข้อมูลก็คือ "ไม่ได้รายงาน"

ถ้าต้นฉบับไม่ได้รายงานสถิติใด บัญชีคุณภาพข้อมูลก็เขียนว่า "ไม่ได้รายงาน" โดยไม่เติมสิ่งที่ขาด

นักศึกษาจำนวนมากรู้สึกว่าช่องว่างดูไม่ดี จึงให้โมเดลไปเก็บรายละเอียดให้ครบ ทั้ง Cronbach's alpha, RMSEA และ CFI ค่าที่ถูกแต่งขึ้นเหล่านี้จะเดินทางไปถึงกราฟ ถึงข้อสรุป และถึงห้องสอบ ทั้งที่ในต้นฉบับไม่มีประโยคใดรองรับมันเลย

กฎเดียวกันนี้ใช้กับกราฟด้วย เมื่อการ์ดหลักฐานหนึ่งใบมีจุดข้อมูลที่ตรวจสอบได้น้อยกว่าสองจุด ระบบก็ไม่วาดกราฟ แต่ลดรูปแบบเป็นกราฟตรวจสอบคุณภาพที่ติดป้ายกำกับชัดเจน ระบุว่าตัวชี้วัดใดขาดหายไปและเพราะอะไร แทนการที่จะวาดกราฟที่ดูเหมือนมีข้อมูลจริง

รายละเอียดเชิงวิศวกรรม ลายนิ้วมือและบัญชี 22 คอลัมน์

ความตรวจสอบได้ต้องมีที่อยู่จริง ต้นฉบับที่เก็บไว้อยู่ในรูป Markdown พร้อมลายนิ้วมือ SHA-256 เปลี่ยนไปแม้แต่ไบต์เดียวลายนิ้วมือก็เปลี่ยนตาม ทั้งคุณและอาจารย์ที่ปรึกษาจึงยืนยันได้ว่าข้อความที่กำลังตรวจคือข้อความฉบับเดียวกับที่จับเก็บมา

หลังการ์ดหลักฐานทุกใบคือบัญชีคุณภาพข้อมูล 22 คอลัมน์ ได้แก่ นิยามตัวชี้วัด หน่วย ช่วงเวลา พื้นที่ แหล่งที่มา ขนาดตัวอย่าง วิธีสุ่มตัวอย่าง ความเชื่อมั่น ความแม่นยำ ช่วงความเชื่อมั่น ดัชนีความพอดีของแบบจำลอง ความนัยสำคัญ ความเทียบเคียงของนิยาม ข้อจำกัด และอื่น ๆ ในแต่ละคอลัมน์จะมีค่าที่ตรวจสอบได้ หรือระบุว่า "ไม่ได้รายงาน" อย่างชัดเจน ช่องว่างไม่ใช่ค่าว่าง แต่คือข้อค้นพบ

บทสรุป ความตรวจสอบได้สำคัญกว่าความครบถ้วน

บทวิจารณ์วรรณกรรมที่มีการ์ด 30 ใบ แต่มีตัวเลข 12 ตัวที่ตามย้อนกลับถึงต้นฉบับได้ทีละคำ แข็งแรงกว่าบทวิจารณ์ที่มีการ์ด 50 ใบแต่มีตัวเลข 20 ตัวที่หาที่มาไม่ได้

สิ่งที่อาจารย์ตรวจจริงก็คือบทวิจารณ์อันหลัง ความตรวจสอบได้สำคัญกว่าความครบถ้วน เพราะตัวเลขที่ตรวจสอบไม่ได้ไม่ได้นำเสนอข้อค้นพบ แต่นำเสนอความเสี่ยง