本站影響最大的規則,處理的是那些沒有出現的數字。若錯誤處理空缺,每個評分都會變成對我們自身勤奮程度的衡量,而不是對供應商行為的衡量。
缺失由兩條規則管理。第一條:無證據,不評分。 一項事實只有附帶第一手來源引用時才能進入評分規則,因此引用清單為空的事實根本無法建立;沒有辦法把無支持的說法偷偷送進計算。第二條由此推出:完全沒有證據的維度會從加權平均中 排除,而不是記為零。
為何缺失不能等於零
把空缺記為零,意味因為我們 沒有完成的工作而懲罰供應商。更糟的是,它會系統性獎勵我們研究最少的供應商:我們掌握的檔案越薄,僅僅因為沒有查看,它就避過越多零分。整個模型正是為了避免這種失敗。因此完全沒有事實的維度既不是 0,也不是 10,而是沒有數值,並從平均值中退出。
這條規則的代價是分數不會自動可比,而我們公開承擔這個代價。每個維度都有涵蓋率,表示多少規則有證據可用;每個展示分都有 已評分權重。一個在方法論 72% 權重上得到 8.4 的分數,表示其餘 28% 沒有資料,頁面會在數字旁明確說明。區間下限也在結構上作出同樣承認:它把所有未測項目記為零,所以它確實把缺失當作沒有貢獻,但只作為排名所用的下限,絕不作為打印在展示分上的懲罰。
我們留下的空缺,與供應商留下的空缺
兩種缺失外表相似,性質卻不同。notAssessed 是我們的空缺:我們還沒有查看。 notDisclosed 是帶引用的負面事實:我們查看了,而供應商沒有披露該事項;它是可評分發現,並引用那個沒有提及相關事項的頁面。缺失資料不懲罰規則保護前者,卻絕不能悄悄放過後者,因為後者是供應商應承擔的真實負面。
誠實的限制
這裡存在一個漏洞,我們寧願主動說出。在歸一化維度中,第二條原則「缺失資料絕不降低分數」會變成「缺失資料會提高比例」。歸一化得分等於所得分除以可得分,而且只計算有證據的規則。刪除該維度中的單條引用,分母會和分子一起縮小,比例可能反而上升。區間和支配規則關閉了歸一化製造排名的渠道,卻仍留下這條引用渠道。
真正關閉它的是發布門檻,而不是算術屬性:供應商只有在已評分維度不存在未評估空缺時才可發布,所以刪除引用來抬高比例會重新打開空缺並阻止頁面發布。我們稱它為「門檻」,而不是「保證」,因為它確實只是門檻。
貫穿全文的結論只有一句:在本站,「無證據」陳述的是我們工作能力的邊界,絕不是對供應商的指控。因此它可以讓評分無法達到確定狀態,卻永遠不能作為處罰把評分壓低。