排名是一項強結論:它斷言證據能夠區分第一名和第二名。對這裡的大多數供應商而言,大多數時候證據做不到這一點,而誠實的表達方式就是並列。
先看本站的單個評分是甚麼。它不是一個數字,而是三個。下限 是供應商已經明確獲得的分數,把所有尚未測量的維度記為零。潛力上限 是假設每個未測維度都達到自身上限時可能獲得的最高分;這些上限並非一律為十分:未測串流最高計 6.5,未測速度最高計 8.5,因為我們無權把尚未驗證的數字認證為滿分。 展示分是大家熟悉的歸一化平均值,並受約束而不能超過潛力上限。按比例繪製後,從下限到潛力上限的區間,就是我們尚不知道多少的誠實寬度。
證據唯一許可的排序
既然得到的是區間而不是點,就只有一種比較是安全的:當供應商 A 的保證最低分高於供應商 B 在所有未測項目都取最佳值時的最高可能分,A 才能排在 B 前面。
下限(A) > 潛力上限(B),則 A 支配 B。任何更弱的條件都只是我們碰巧研究各家多少所造成的產物,而不是有關供應商的事實。這是嚴格偏序,而它最重要的特性是拒絕做甚麼。它不會因我們研究供應商的先後次序而改變。為某家新增引用,它的下限只能上升;移除引用,下限只能下降。歸一化平均值沒有這種紀律:多研究一點,平均值可能向任一方向漂移,意味基於平均值的榜單會部分按照我們的關注度給供應商排名。支配關係不會,這正是我們採用它的全部原因。
當前語料庫實際說明甚麼
把規則應用到文章發布時的五家供應商,支配關係是空集。最高下限仍遠低於最低潛力上限,所以沒有任何一家供應商的保證最低分超過另一家的上限。沒有任何對象支配任何對象。這不是資料缺陷,而是資料誠實表達仍有多少項目未測。當區間如此寬時,第一名與第五名確實重疊。
「前五名」會恰好掩蓋這種重疊。若要印出 1、2、3、4、5,我們只能依據展示分——三個數字中唯一屬於估計值而非邊界的那個——並把證據無法辯護的差異當作研究發現。因此本站顯示一次五家並列,把每個區間按比例畫在旁邊,並清楚說明尚無供應商脫離同組。
刻意不設決勝規則
早期版本的引擎曾按我們對每家研究了多少來打破平局,把我們了解最多的供應商推到前面。該規則已經刪除,因為它獎勵的是我們的涵蓋率,而不是供應商的優點;其反面更糟,會悄悄懲罰研究最少的供應商。當證據沒有區分任何對象時,不設決勝規則的並列才是正確輸出。隨着自有測量逐步補齊——首先是伺服器真實性——下限會上升,潛力區間會收緊,真正的分離會出現。屆時,那會是物理測量和文件真正支持的分離,而不是為了顯得果斷而強加的順序。