Steam

Steam

52 ratings
如何避免用平均评价来分类
By SweeTnT[AFK] and 2 collaborators
嗯这篇指南主要是因为之前有人在STCN问:为什么论坛插件的好评率要低于steam商店的呢?

然后depar给了一篇相关文章,我跟橙童鞋就研究了下,稍作翻译/解释以后发到这里来了。
   
Award
Favorite
Favorited
Unfavorite
一些说明
由于原文后半部分主要是介绍计算方法的,我俩也不是相关专业学生,所以就不翻译了,有兴趣的可以自己看看。
Originally posted by Evan Miller ,写于2009/02/06:

原文链接: http://www.evanmiller.org/how-not-to-sort-by-average-rating.html
出现的问题
你是一个编辑网页的程序员,你的网站有一些用户,并且这些用户对你的网站上的一些物品做出了评价。你想将这些物品以评价由高到低的规律进行排列。你需要一些所谓的“评分”标准去整理和排列这些物品。
错误的解决方案①:评分=正面评价总数(好评)-负面评价总数(差评)
为什么这是错的捏?
假设一个物品A有600个好评和400个差评(好评率为60%评分为200);另一个物品B有5500个正面评价和4500个负面评价(好评率为55%,评分为1000)。这个算法导致一个好评率低的物品B的评分反而大于物品A。所以这种算法是错误的。

Urban Dictionary这个网站就犯了这样的错误,见下图:



Originally posted by 从图中可知:

排名第二的物品有209个好评,50个差评(好评率80.69%,评分为159);而排名第三的物品有118个好评,25个差评(好评率为82.52%,评分为93)。显然排名是十分不准确的,评分无法很好地反映出这个物品的受欢迎程度。
错误的解决方案②:评分=好评率=好评/总数
为什么这个方案也是错误的捏?
如果在总评论基数非常大的情况下,那么用好评率作为评分是比较客观的,但是如果假设一个物品A有两个好评和零个差评(好评率100%),物品B有100个好评和一个差评(好评率约为99%)。这个算法导致了一个有大量好评的物品A的评分小于只有几个好评的物品B,所以这个方法也是不对滴。

亚马逊就犯了这样一个错误,见下图:



Originally posted by 从图中可知:

排名13的商品仅有一个人评价为5星,而它的综合评分也是5星;而排名14的商品有580人评价,综合评分是4.5星。

那么就引出了问题,要是排名13的商品同样让580人评价,综合评分还会有5星嘛?所以这个排名也是不准确的。
正确解法:评分=威尔森置信区间的左边界。
其实我们已经很接近了,就是因为所谓的好评率在样本数量很大的情况下具有参考性,但是样本总数过小就不具备参考性了。

我们需要做的就是保证如何在样本总量比较少的情况下能估计出物品的真实水准的评分。

那么我们先不得不提到一个东西叫做置信区间。顾名思义,置信区间是一个区间,而且是可信的。对于物品的评价得分而言,就是估计一个范围,这个物品的评分的走势落在这个范围的概率大于95%。举一个例子,在样本少的情况下,就会有误差

假设现在有两个物品A和B:

物品A现在有1个好评和0个差评(好评率100%),估计再有九个人的评价之后(总评价为10的时候),好评率是多少。我列出了所有的结果(好评率可以从10%-100%不等浮动)可以给出一个准确率为100%的置信区间[10%,100%]。这时候你们会说了,哎呀,你这跟没说一样啊,基本上什么都没告诉我们呐。所以说样本容量小的情况下置信区间的宽度太大了,貌似也解决不通呐,所以只能缩小可信度,取得更精确的范围。

好,那我们再看一下物品B,物品B现在有10个好评和1个差评(好评率约为90.0%)同样推算,再经过9人评价之后(总评价数量达到20个的时候),好评率为多少。我同样是列出了所有的结果,得出一个准确率为100%的置信区间为[50%,95%]。也就是说这个范围告诉你,就算再差,这个物品的好评率在多九个人评价之后也能保持50%。

那么,对比一下物品A和物品B的置信区间的宽度,很容易看出物品A的好评率低的风险是要大于物品B的。那么我们取置信区间的下限值,来比较现在的两个物品,10%<50%,那么就不会出现这种1个评价100%好评率的物品被排在10好评1差评甚至是100好评1差评的物品之前这种事了。

相关计算公式(由于之前说的原因,就不过过多展开啦,有兴趣的童鞋可以自己去研究哈):

结论
根据depar所说,目前(2017.1.21)论坛插件的置信概率是95%。

大概意思就是在论坛插件中,你所看到某个游戏评价是在95%的情况下,这个游戏的评价的保底的值,所以比商店的评价要低一些。
6 Comments
SweeTnT[AFK]  [author] 1 Feb, 2017 @ 8:13pm 
@没人在家请按门铃 其实不看计算的话不是很难,不想深究的话光看结论就可以了:selphinehappy:
没人在家请按门铃 29 Jan, 2017 @ 6:24am 
一脸蒙蔽,但还是觉得好厉害:SoraShock:
↖此 面 向 敌↗ 26 Jan, 2017 @ 10:16pm 
想起了我期末60飘过的概统QAQ
武士樱狼_樱铃落 23 Jan, 2017 @ 12:45am 
神龙之介:cocochan2:
格雷殿下 22 Jan, 2017 @ 4:17am 
老哥稳
Ⓛⓞⓥⓔ GE 21 Jan, 2017 @ 9:42am 
直接看结论,学习了。