正在準備內容……

信度與效度各需要哪些證據文章封面:以情境、行為觀察與證據邊界呈現主題

信度與效度各需要哪些證據

信度關心分數在特定條件下的一致性。效度關心現有證據能否支持某種分數解釋與用途。本文用四個問題說明如何核對工具、版本、樣本和適用範圍。

作者 費馬測試編輯部

信度與效度各需要哪些證據

當人格測試頁面寫著“可靠”“有效”時,讀者很容易把它理解成一句總評:這份測試已經準確地說明了我是誰。這個理解太快了。信度關心的是:在明確的測量條件下,分數是否具有某種一致性;效度關心的是:已有證據是否支持把這些分數解釋為某件事,並用於某個明確用途。兩者都是需要說明對象、證據和邊界的測量術語,不是貼在任何人格產品上的通用的品質標章。(《教育與心理測驗標準》第 1、2 章)

更簡短地說:信度不是“結果一定正確”,效度也不是“任何用途都成立”。一項研究可以為某個量表、特定版本、語言、樣本、計分和用途報告證據;這不等於同一類框架下的所有問卷都獲得了同樣結論,更不能自動證明某一位讀者的結果、能力、健康狀態或未來表現。

先回答:信度與效度分別在問什麼

信度討論的是分數的一致性問題。不同研究會在不同條件下討論內部一致性、重複作答的一致程度,或評分者之間的一致程度;具體指標回答的是具體設計中的具體問題。比如,同一套題在某個研究樣本中的題目之間是否以某種方式共同變化,和隔一段時間再次作答時分數是否相近,並不是同一個問題。看到一個“信度係數”時,不能省略它所對應的工具、版本、樣本、作答條件和證據類型。

效度討論的不是一個量表有沒有拿到“通過章”,而是證據是否支持某種解釋或用途。研究者可能考察量表結構是否符合預期、與相關測量是否呈現預期關係、能否區分相近但不同的構念,或在明確條件下與某類外部標準有關。每一類證據只能支持自己覆蓋的解釋範圍;它不會自動支持診斷、招募、錄取、職業匹配、關係判斷或未來預測。(《教育與心理測驗標準》第 1 章:效度與用途)

所以,問“這份人格測試有沒有信度和效度”還不夠具體。更可核對的問法是:“哪一個量表、哪個版本、什麼語言、哪種分數、在哪些樣本與用途下,公開了哪一類證據?”若這些資料未公開,不能把空白補成肯定或否定;最準確的記錄是 Unknown。

為什麼信度不是效度的同義詞

一個測量可以在某種條件下表現出一致性,但這本身不能證明它測到的是頁面聲稱的內容。可以把它想成一把刻度穩定的尺:刻度穩定值得檢查,卻還要知道它量的是什麼、是否校準、讀數應怎樣解釋,以及能否用於目前的對象和用途。這個類比不驗證任何人格工具,只說明“穩定”與“解釋正確”是不同層次的問題。

反過來,即使研究者想解釋一個重要構念,也不能跳過分數品質與誤差等問題。信度與效度因此不是二選一,也不是先有一個就自動擁有另一個。更穩妥的說法是:不同類型的證據會共同限制一項解釋能走多遠,而不是把“已驗證”當成不需要細節的結論。

這也能解釋常見誤區。“某論文報告了很高的一致性,所以我這份線上結果一定準確”是越界;“論文發現與某個相關變數有關聯,所以它可以決定我的職業或關係”也是越界。前一句把指定研究條件搬到了未確認產品,後一句把有限關聯搬成高風險決策規則。(《教育與心理測驗標準》第 1、2 章)

同叫大五,不代表使用同一把量尺

大五人格是描述特質傾向的廣泛框架,不是一份天然統一的試卷。不同工具可以採用不同題目、維度層級、作答說明、語言版本、反向計分和分數呈現方式。Soto 與 John 對 BFI-2 的開發研究,討論的是有明確題目結構與研究設計的指定量表;它說明“命名的工具”需要被具體說明和檢驗,並不把所有大五問卷變成同一把尺。(Soto 與 John(2017)原文)

同樣,Soto 與 John 2009 年關於 BFI 十個面向的論文,報告的可靠性、收斂與區分性證據屬於論文中的 BFI 面向分數、兩個樣本及其分析。論文中的係數、樣本構成和重複作答安排不能被摘下來,貼到另一個題庫、語言、計分規則或產品頁面上。(Soto 與 John(2009)原文)

因此,“我也做的是大五”只能說明可能使用了相近的概念語言,不能說明題目相同、分數可換算、解釋等價,或已獲得相同證據。沒有名稱與版本,就沒有可以認真核對的研究對象。

情境:一篇 BFI 論文能證明我的產品結果嗎

阿然讀到一篇 BFI-2 論文,其中列出研究樣本和多類測量證據。他隨後看著自己使用的另一份人格測評,得出結論:“既然都屬於大五,那篇論文已經證明這份產品很準確。”

他省略了至少六個關鍵環節:當前產品是否使用 BFI-2 或其他明確量表;版本和語言是否相同;題目是否完整且相同;分數如何計算;研究樣本與當前使用者是否相同;以及論文究竟支持哪一種解釋與用途。缺少這些資訊時,正確的結論不是“它肯定無效”,而是“這篇論文不能單獨成為這份產品的驗證”。

阿然可以把問題改寫為:論文研究的準確工具是什麼?它報告的是哪類證據?我現在看到的頁面能否識別出相同的工具、版本、語言和分數?我準備把結果用於什麼?這組問題不會替他認證工具,卻能阻止一個看似專業的術語被誤當作個人判決。

四格證據核對:把“已驗證”拆開看

下面的表格是閱讀公開說明時的核對框架,不是驗證程式、診斷工具或分數計算器。空白可被如實標記為 Unknown,不能由讀者自行補齊。

要核對的部分需要看到什麼缺失時可保留的說法不能據此推出什麼
測量對象工具名稱、版本、題目範圍、語言和分數類型“當前測量對象說明不足”所有大五工具相同,或分數可互換
信度證據證據類型、樣本、條件、時間安排與對應分數“該分數的相關一致性證據為 Unknown”我的這一次分數一定穩定或正確
效度證據解釋目標、證據類型、樣本、比較對象與預期用途“當前用途的支持證據為 Unknown”可診斷、預測或決定重大事項
使用邊界證據適用的群體、語言、情境和不適用範圍“是否適用於當前情況為 Unknown”結果適合招募、錄取、醫療、法律或財務決定

表格的重點不是把每一欄都變成“有”,而是讓問題與證據的粒度相配。若頁面只說“科學”“可靠”而沒有寫出對應工具、樣本和證據類型,讀者能確認的只是它使用了這些詞,不能確認這些詞在測量上成立。

用四個問題讀任何信效度主張

當你看到“信度高”“已驗證”“科學測評”之類的文案,可以停下來依次問:

  1. 它指向哪個對象? 找到量表名稱、版本、語言、題目範圍和正在解釋的分數。
  2. 它說的是哪類證據? 區分一致性、重複作答、結構、收斂、區分或特定外部關聯;不要把一個詞當成全部證據。
  3. 證據來自哪裡? 檢視研究樣本、時間、作答條件、分析方式與發表記錄,並注意它們限定的是誰、什麼版本和什麼分數。
  4. 它允許什麼用途? 判斷證據是否真的覆蓋當前解釋;若用途、對象或邊界未說明,就把該用途記為 Unknown。

這四問並不要求讀者自行重現研究,也不要求每個自我反思入口都做成研究級測驗。它只要求不要把公開資料未支持的結論偽裝成已知事實。把結果視為一個可繼續觀察的問題,通常比把它升級為標籤更有助於後續行動與回顧。

哪些話聽起來專業,卻仍然不完整

“內部一致性很好”並不自動說明量表可以預測工作表現、關係品質或心理健康;“與另一份問卷相關”也不自動說明兩者完全測到同一件事;“研究樣本很大”不能替代對工具、語言、樣本來源和用途的說明。每一句都可能在特定研究中有明確含義,但脫離原研究後,仍需要回到它到底支持哪一個解釋。

另一個誤會是把效度理解成產品永不過期的屬性。工具版本、翻譯方式、題目、計分、目標群體和用途一旦改變,原有證據是否仍適用需要另行說明。本文不據此判斷任何產品“有效”或“無效”,只說明不能用一個籠統術語跨越這些差異。(《教育與心理測驗標準》第 1、3 章)

FermatMind:產品層面的資訊必須保留為 Unknown

費馬測試的大五正式入口已公開 90/120 題版本說明、五維與 30 面向框架,以及正反向計分、均分和 z/T 換算方法。結果採用參照時,應核對該次報告所用的參照群體與匹配說明。基於參照參數和常態分布假設換算的百分位,是對所用參考分布的估計。參照記錄的存在與其樣本能否代表目標群體,需要分別核對。產品特定的研究樣本、信度、效度、測量誤差、跨語言等值性、重測、有意義變化、介入效果、個人預測和職業/關係匹配證據,未公開的仍為 Unknown。

這不是把 Unknown 寫成負面結論,也不是用其他研究替產品補作判斷。BFI、BFI-2 或其他研究工具的證據,只能解釋各自工具、樣本、語言、分數和用途中的發現;它們不能證明 FermatMind 結果準確、穩定、可比較、可預測,或適合任何高風險用途。(費馬測試大五題本與計分說明)

如果你希望把人格語言用於有限的自我反思,可以先了解大五人格,再瀏覽大五專題,或將大五人格測評作為“測量—解釋—行動—回顧”的一個入口。這三處都不是信效度認證、診斷服務、個人預測或決策引擎。

不應讓人格結果承擔高風險決定

本文只用於測量術語教育和有限的自我觀察。人格內容不診斷心理或醫療狀況,也不判定能力、人格好壞、錄用資格、升學資格、職業匹配、關係品質、法律責任、財務選擇或未來結果。若某項決定會實質影響本人或他人的權益,就不能由一份自測結果、一個標籤或本文的術語解釋單獨承擔。

同樣,若你正試圖從人格結果獲取對持續痛苦、健康問題或安全風險的判斷,本文不能替代合適的專業支援或緊急資源。這裡不根據任何分數判斷一個人是否需要何種服務。

常見問題

信度高,是不是就說明人格測試準確?

不是。信度討論的是特定分數在特定條件下的一致性問題;它本身不能完成對構念解釋、適用群體或用途的論證。要了解“準確”具體指什麼,仍需看到對應工具、版本、樣本、證據類型和用途。(《教育與心理測驗標準》第 1、2 章)

效度是不是一個固定分數?

本文不把效度簡化為一個脫離情境的固定分數。效度證據與計畫採用的解釋及使用用途有關;不同證據回答不同問題。若只看到一個詞或一個未說明來源的數字,不能據此確認某個個人結果或產品已經有效。

研究證明 BFI-2 可靠有效,能否證明其他大五測試?

不能。研究結論屬於被研究的 BFI-2、其版本、樣本、語言、計分與研究設計。另一個大五工具即使名稱相近,也需要自身可核對的證據;一般研究不能自動轉移為 FermatMind 或其他產品的證明。(Soto 與 John(2017)原文)

我可以根據“已驗證”把結果用於招募或職業選擇嗎?

不可以把本文或一份自測人格結果當作招募、錄用、升學或職業決定的單一依據。這樣的高影響用途需要與實際決策相匹配、可由合格人員審查的流程;本文不提供篩選、匹配、預測或保證。

沒有公開資料時,是不是就能斷定產品無效?

不能。公開資料不足只意味著本文無法核驗相應主張,因此應保留為 Unknown。它既不替產品補上證據,也不提供對產品的否定性判決。

來源與邊界

本文僅解釋測量術語,不能代替任何具體量表的技術手冊、獨立心理測量審查或專業決策流程。Soto 與 John(2017)報告 BFI-2 開發與驗證研究中的測量屬性和與自評、他評標準的關係;Soto 與 John(2009)報告 BFI 十個面向分數在其研究樣本中的可靠性、收斂與區分性證據。這些資料均只說明指定工具與研究條件,不提供 FermatMind 的產品證據。

對 FermatMind 的特定題本與用途,本文未核實的信度、效度、常模代表性、翻譯等價性、跨文化不變性、重測證據、標準誤與變化門檻,均記為 Unknown。本文不診斷、不預測,也不授權任何高風險用途;不收集、不展示或連結私人報告、作答記錄、訂單或支付資訊。

參考文獻

  • AERA、APA 與 NCME(2014)。《教育與心理測驗標準》。第 1 章討論效度,第 2 章討論信度與測量精度,第 3 章討論公平性及分數解釋的適用條件。
  • Soto, C. J., & John, O. P. (2017). The Next Big Five Inventory (BFI-2): Developing and Assessing a Hierarchical Model With 15 Facets to Enhance Bandwidth, Fidelity, and Predictive Power. Journal of Personality and Social Psychology, 113(1), 117–143. 論文全文,DOI: 10.1037/pspp0000096。
  • Soto, C. J., & John, O. P. (2009). Ten facet scales for the Big Five Inventory: Convergence with NEO PI-R facets, self-peer agreement, and discriminant validity. Journal of Research in Personality, 43, 84–90. 論文全文,DOI: 10.1016/j.jrp.2008.10.002。

當“可靠”“有效”沒有附帶可核對的對象和邊界時,把它暫時放回問題列表,而不是把它變成關於自己的結論。能夠清楚地說“這裡仍是 Unknown”,本身就是一次更審慎的解釋。

關於費馬測試

費馬測試(FermatMind)從華語世界出發,幫助全球青年認識自己、探索職涯方向。用 MBTI 了解性格偏好,用霍蘭德測驗探索職涯興趣,再查閱千餘種職業檔案,比較工作內容、所需技能與入行條件,找到值得親自嘗試的下一步。