联系我们

方法

评分中的“无证据”是什么意思,以及为什么它不会降低评分

·Openscore VPN 团队

方法论 · 覆盖率 · 证据

本站影响最大的规则,处理的是那些没有出现的数字。若错误处理空缺,每个评分都会变成对我们自身勤奋程度的衡量,而不是对供应商行为的衡量。

缺失由两条规则管理。第一条:无证据,不评分。 一项事实只有附带第一手来源引用时才能进入评分规则,因此引用列表为空的事实根本无法创建;没有办法把无支持的说法偷偷送进计算。第二条由此推出:完全没有证据的维度会从加权平均中 排除,而不是记为零。

为什么缺失不能等于零

把空缺记为零,意味着因为我们 没有完成的工作而惩罚供应商。更糟的是,它会系统性奖励我们研究最少的供应商:我们掌握的档案越薄,仅仅因为没有查看,它就躲过越多零分。整个模型正是为了避免这种失败。因此完全没有事实的维度既不是 0,也不是 10,而是没有数值,并从平均值中退出。

这条规则的代价是分数不会自动可比,而我们公开承担这个代价。每个维度都有覆盖率,表示多少规则有证据可用;每个展示分都有 已评分权重。一个在方法论 72% 权重上得到 8.4 的分数,表示其余 28% 没有数据,页面会在数字旁明确说明。区间下限也在结构上作出同样承认:它把所有未测项目记为零,所以它确实把缺失当作没有贡献,但只作为排名所用的下限,绝不作为打印在展示分上的惩罚。

我们留下的空缺,与供应商留下的空缺

两种缺失外表相似,性质却不同。notAssessed 是我们的空缺:我们还没有查看。 notDisclosed 是带引用的负面事实:我们查看了,而供应商没有披露该事项;它是可评分发现,并引用那个没有提及相关事项的页面。缺失数据不惩罚规则保护前者,却绝不能悄悄放过后者,因为后者是供应商应承担的真实负面。

诚实的限制

这里存在一个漏洞,我们宁愿主动说出。在归一化维度中,第二条原则“缺失数据绝不降低分数”会变成“缺失数据会提高比例”。归一化得分等于所得分除以可得分,而且只计算有证据的规则。删除该维度中的单条引用,分母会和分子一起缩小,比例可能反而上升。区间和支配规则关闭了归一化制造排名的渠道,却仍留下这条引用渠道。

真正关闭它的是发布门槛,而不是算术属性:供应商只有在已评分维度不存在未评估空缺时才可发布,所以删除引用来抬高比例会重新打开空缺并阻止页面发布。我们称它为“门槛”,而不是“保证”,因为它确实只是门槛。

贯穿全文的结论只有一句:在本站,“无证据”陈述的是我们工作能力的边界,绝不是对供应商的指控。因此它可以让评分无法达到确定状态,却永远不能作为处罚把评分压低。

这篇笔记中的每一个声明都立足于本站已公布的方法。请在 方法论页面 上完整阅读它,或返回 笔记本