初探群体智慧缺陷-“意外流行”（surprisingly popular）新算法

机器学习点燃数学理论基础和编程基础学习的火炬，由于对大部分来说机器学习就是把数学分析代码化到工程实践中带来质的飞越，结果现实很骨感！调参和特征工程已经让无数人循环中数学基础薄弱的缺陷上，我个人理解的人工智能很遥远他需要一个时代的进化就像火车发明。机器学习同样原理及时宇宙外是否含有宇宙，盒子里是否含有盒子！

    最初机器学习的五大学派我是非常认同，这是一个复杂性的超自然科学，需要哲学和社会学，人类学等垫底的自然学科。

    现在从初探意味流行算法来解释“大多数行为”可能存在缺陷的问题！一般而言我们认识群体智慧是公理定理，大多数行为是明智的。从自然科学的角度考虑是存在一定问题的

空间不是空的选自《量子宇宙》一书！存在一种叫场的物质！

     就以上问题相关论文在《自然》杂志A solution to the single -question crowd wisdom problem，就像投票问题一样,[wisdom of crowds]看似公平，其实此处的群体智慧是失效。麻省理工和普林斯顿大学研究者提出这种不公平的算法（surprisingly popular）。这种算法的功能就是更好的从群体数据选择出真确答案类似监督学习。

IT 斯隆管理学院的行为经济学家 Drazen Prelec 说：“但事实证明并非如此。有像医生那样的专家存在。这让我们意识到了少部分人掌握的知识。”

　　实验过程

　　研究分为四部分，针对的问题都是二元的，也即回答只有“是”和“否”。第一个实验包括了 50 道有关美国各州首府的问题。第二个实验使用了 80 道判断真假的问题，其中包括了一般人都会回答正确的和多数人都会回答错误的问题。第三个实验则是让皮肤科医生看 80 张皮肤病变图片，让他们判断是病变良性的还是恶性的，以及其他皮肤科医生会如何判断这些图片。最后的实验则是估计
90 件艺术品的市值：参与调查的人分为两组，一组是艺术专家，一组是 MIT 的学生；此外，参与调查的人还需要预计有多少人给出了超过 3 万美元的估值。

　　在全部四次实验中，新的方法，也即选择“意外流行”的回答，结果是最好的，超过了单独采用多数人意见，也超过了仅凭参与者对答案的自信程度来选择，将错误率分别降低了 21.3% 和 35%。

　　具体看，以“费城是宾夕法尼亚州的首府吗？”这个问题为例。

　　面对这个问题，基于上面解释过的原因，大多数人会回答“是”（当然这是错误的。）同时，回答“是”的这些人，几乎都会以为其他人也会回答“是”。

　　但是，有少部分人知道宾夕法尼亚州的首府是哈里斯堡，因此他们的回答是“否”。而这部分知道正确答案的人，一般也都知道大部分人会答错。所以，他们在估计其他的人的回答时，也是选择“是”。

　　这样，基本上所有人都估计其他人会回答“是”，但实际上回答“是”的人并没有这么多。所以，在这里“意外受欢迎”的回答就是“否”——“否”占的比例超出了大多数人的预计。

　　所以，“否”才是正确的答案：费城不是宾夕法尼亚州的首府。

　　在这个意义上，“意外流行”原则并非简单地从群体智慧中衍生而来。相反，它利用了集体中小部分具有专业知识的人，凭借这部分人的知识作为寻找正确答案的指南。

　　“很多群体智慧［的方法］给予了每个人同等的知识权重，”研究的另一位负责人、MIT 认知科学家 John McCoy 解释说。“但是，有些人拥有更多的专业知识。”如果这些拥有正确的信息的人同时也对公众看法有很好的把握（也即能正确判断大多数人是什么意见），在决策中将带来有很大的不同。

　　实验中，研究人员要求艺术专业人士推测不同当代艺术品的价格范围。单个看，专家一般会将艺术品价值往低了估计，或许因为这是更加保守和安全的做法。但在这种情况下，群体智慧——根据大多数专家的意见，就会导致艺术品价值被低估。

　　“意外流行”方法不依赖绝对多数的专家的意见。少数个别专家认为某件艺术品售价 10 万美元，同时他们预计大多数人会以为价格更低。这就使“意外流行”的观点成了这件艺术品比大多数人想的都要贵。

　　研究评价及意义

　　加州大学尔湾分校的认知科学家 Michael Lee 说，“这里有一个关键的想法，那就是询问人他们认为有多少人会同意自己的观点。”Lee 没有参与这项工作，他指出：“在涉及皮肤科医生的实验中，虽然新的方法表现最好，但差异并不具有统计学意义，很可能是因为所有参与者都是专家，缩小了群体知识的范围。”

　　“这个方法非常聪明，是一种非常简单的投票方式，”加州大学尔湾分校认知科学家 Mark Steyvers 说。Steyvers 也没有参与这项研究，他指出在现实生活中，人们可以依靠互相询问各自的专业背景和技能来确定他们给出的信息的有效性。但是，对于匿名轮询的情况，就可以用 Prelec 的方法来识别专业的观点。

　　研究人员还将该方法扩展到多项选择的情况做了理论分析。但是，“意外流行”方法在更复杂的设置（例如估计或排序问题）中是否有效，仍然是悬而未决的问题。

　　这项工作可能具有直接的现实应用价值。Herzog 去年发表了一项研究，使用“群体智慧”改善乳腺癌和皮肤癌的诊断。这种新的方法“可以应用于新兴的远程皮肤病学领域，结合多个医生的诊断意见。” Herzog 表示，“原则上，意外流行法可以用于任何使用多数投票决策的情况，不仅询问每个人他们自己的决定是什么，还要询问他们认为有多少人会同意自己。”

　　这项工作较长期的目标则是对那些没有已知明确的答案的问题进行良好的预估，比如谁将赢得美国总统选举或体育比赛的结果。Prelec 对他的工作表示乐观：“无论预测的问题是什么，我们做的推理都是非常相似的，都是针对可以验证的问题不断调整策略，然后大胆假设，在无法验证的问题上，相信这是你能做出的最好选择。”

功能就是挑选激进方案或观点。
群体内标志性问题的解决!