Как мы превращаем доказательства в число

Факт достигает правила оценки только если несёт хотя бы одну ссылку на первоисточник, политику конфиденциальности, отчёт об аудите, судебный документ, исходный код или измерение, которое мы провели сами. Это не рекомендация, которой мы стараемся следовать; факт с пустым списком доказательств вообще нельзя создать, поэтому он не может достичь правила.

Мы никогда не ссылаемся на сайт-обзорщик конкурента. Список заблокированных доменов проваливает нашу сборку, если кто-то попытается. Ранжирование VPN отчасти по тому, что о них сказали другие рейтинговые сайты, отмывало бы их выводы в наши, а их выводы, это именно то, что мы существуем, чтобы заменить.

Факты, которые мы не подкрепили источником, представляются отсутствием поля, никогда нулём и никогда пустой ссылкой. Эта разница важна для следующего правила.

The versioned kill-switch, DNS, WebRTC, and IPv6 specifications define the test matrix, evidence requirements, pass conditions, limitations, and blank raw-data format. Protocol pages are not results: no provider receives a pass until completed evidence and reviewer records are published.

Если у нас нет доказательств по измерению, это измерение исключается из взвешенного среднего, а не оценивается как ноль. Наказание провайдера за дыру в нашем исследовании втихую вознаграждало бы тех провайдеров, которых мы исследовали меньше всего, а это именно тот сбой, которого вся модель призвана избежать.

Цена этого правила в том, что оценки не сравнимы автоматически, и мы платим её открыто. Каждое измерение несёт долю покрытия, по скольким из его правил были доказательства для оценки, и каждая оценка несёт вес оценённого: 8.4, оценённая по 72% методологии, означает, что по 28% не было данных, и страница сообщает об этом рядом с числом. Измерение вообще без фактов получает не 0 и не 10, а ничего, и выпадает.

Мы не запускаем глобальную матрицу скоростей или набор тестов на разблокировку стриминга. Печатать собственное значение пропускной способности провайдера тем же шрифтом, что и политику конфиденциальности, которую мы прочитали построчно, значило бы стереть именно то различие, которое важно, поэтому каждая оценка помечена тем, как она получена. Есть четыре вида:

Происхождение также задаёт потолок. Поскольку мы ссылаемся на чужие тесты скорости, а не проводим свои, скорость ограничена сверху значением 8.5. Поскольку заявление о стриминге, это маркетинговая страница, а не проведённый нами тест, стриминг ограничен сверху значением 6.5. Число, право сертифицировать которое мы не заслужили, не может достичь верха нашей шкалы, и ограничение показывается, а не скрывается.

Провайдер оценивается по одиннадцати измерениям. Взвешивание по умолчанию отдаёт наибольший вес тому, что мы можем проверить независимо, и наименьший, тому, что мы можем лишь считать со страницы провайдера. Скорость и стриминг, оба здесь территория провайдера, несут примерно половину того веса, который им даёт отраслевой стандарт; этот вес переходит к конфиденциальности, прозрачности и подлинности серверов.

Столбец «Паритет с Top10VPN» воспроизводит опубликованное взвешивание конкурента на наших доказательствах. Он обнуляет прозрачность и подлинность серверов, в той методологии нет эквивалентной категории, и он включён намеренно: он позволяет отделить «данные не согласны» от «методология не согласна». Если вы подозреваете, что мы подстроили веса под нужный вывод, посчитайте по их весам и посмотрите, что изменится.

Те же доказательства также публикуются при трёх взвешиваниях под сценарии использования. Это не дорвеи: те же данные, другой вопрос.

Нельзя проверить число, не зная арифметики за ним, поэтому то, какая из трёх моделей сформировала измерение, публикуется рядом с ним.

Конфиденциальность, единственное составное измерение, разделённое на пять подоценок: какие данные логируются (60%), история инцидентов (20%), юрисдикция (10%), надёжность (5%) и функции повышения конфиденциальности (5%). Ограничение начислений этими небольшими частями сделано намеренно. При плоской модели начисление за приём наличных могло бы отменить вычет за хранение записей о платежах, а зажим на 10 скрыл бы остальное, провайдер, который логирует, и провайдер, который нет, могли бы напечатать одну и ту же идеальную оценку.

Взвешенное среднее всё же компенсаторно, а конфиденциальность, это свойство безопасности, поэтому измерение ограничено своей подоценкой логирования плюс 1.5. Никакое сочетание благоприятной юрисдикции, прозрачного владения и вариантов оплаты не может поднять оценку конфиденциальности более чем на 1.5 балла выше того, что зарабатывает одна лишь политика логирования. Провайдер, бессрочно хранящий историю просмотров, не может откупиться от этого адресом в Panama.

Перенормировка оценки по измерениям, которые нам довелось измерить, это защитимая оценка, но не граница, а обзорные сайты старого образца публиковали эту оценку так, будто это граница. Поэтому каждая оценка несёт три числа, а не одно.

Единственный порядок, который позволяют доказательства, таков: A стоит выше B, когда гарантированный минимум A превышает наилучший возможный максимум B по всему, что мы не измеряли, floor(A) > potential(B). Это строгий частичный порядок, и, что критически важно, его нельзя сдвинуть тем порядком, в котором нам довелось исследовать провайдеров. Перенормированное среднее не могло бы этого утверждать.

На сегодняшнем корпусе из пяти провайдеров отношение доминирования пусто. Наивысшая нижняя граница, Proton VPN на уровне 6.88, находится намного ниже наименьшего потенциала, SingLink VPN на уровне 7.55, поэтому ни один провайдер не превосходит другого. Это одна честная ничья на пятерых, и сайт так и говорит, а не фабрикует «1-2-3». По мере накопления наших собственных измерений появятся реальные разделения.

Нет никакого разрешения ничьих. Более ранняя версия упорядочивала ничьи по тому, насколько мы исследовали каждого провайдера; она удалена, потому что это продвигало провайдеров, о которых мы знали меньше всего.

Доминирование не защищено от утаивания, и мы не будем утверждать, что защищено. Удаление доказательств целого измерения понижает нижнюю границу утаивающего и никогда не может принести ему ранг. Но удаление одной ссылки внутри нормализованного измерения может повысить значение этого измерения, потому что делитель считает только те правила, по которым были доказательства. Это инвариант 2, применённый к отношению: «отсутствующие данные никогда не снижают оценку» становится «отсутствующие данные повышают отношение» в тот момент, когда знаменатель уменьшается вместе с ними.

Это реально в текущем корпусе, а не гипотетика. Один провайдер получает идеальную 10 за дополнительные функции при 33% покрытия: мы нашли три функции, которые у него есть, а его сайт возвращает ошибку нашему загрузчику для страниц, которые показали бы те, которых у него нет. Отсутствующая страница купила идеальную оценку.

Чтобы это закрыть, схема должна отличать «мы посмотрели, и провайдер не раскрывает», оценённый негатив со ссылкой на страницу, которая об этом умалчивает, от «мы не смотрели», что является нашим пробелом. До тех пор интервал и правило доминирования закрывают канал перенормировки; они оставляют открытым канал ссылок. Ворота полноты закрывают его только при публикации: провайдер публикуем только тогда, когда у его оценённых измерений нет неоценённых пробелов, поэтому удаление ссылки ради завышения оценки заново открывает пробел и блокирует страницу. Это ворота на то, что мы публикуем, а не свойство арифметики, и мы предпочтём сказать об этом, чем переоценить гарантию.

Всё вышеизложенное работает на одном артефакте. Тот же корпус, который формирует эти страницы, предлагается для скачивания, поэтому вы можете заново вывести любую итоговую оценку, посчитать её при другом взвешивании или найти точную ссылку за любым вычетом.

Мы не получаем партнёрских комиссий, не продаём рекламу и не имеем коммерческих отношений ни с одним VPN-провайдером.