2020年11月14日星期六

美国大选对民调统计方法论的影响

文/@子陵在听歌

谈谈民调。之前曾说大选数据全部公布后我会写关于今年polling(民调)的分析(O子陵在听歌)。现在大选结果还没有完全出炉,但是Nate Cohn在纽约时报发表了一篇长文讲今年的polling错误,他同时接受了New Yorker采访,回答了同样的问题,他的回答很有启发性。

Cohn是纽约时报的民调专栏Upshot负责人,他自己既做实时民调,也做民调分析和大选预测。他的NYT/Siena College是一个A+级民调,质量非常高。NYT/Siena College在大选前公布的最后一次全国民调显示Biden在可能投票选民中(LV)领先8%。而在AZ/FL/PA/WI分别领先3%,2%,5%,10%。但这一数字完全偏离了大选结果。不过,在选票统计后,Cohn根据选票计票结果预测的大选结果十分精确。他的“指针”第一个预测了佐治亚(GA)可能归属Biden。

Cohn非常坦诚,我个人也非常喜欢他的分析,跟他在推特上讨论他通常也会回复。他认为2020年的民调完全失败,甚至起到了不良影响,比如Biden看到俄亥俄的民调后将最后2天的时间浪费在了俄亥俄州;而北卡的参议员竞选因为民调的指导被投入了大量的资金和人力,这全部是无用功。

2016年大选时,大量的民调都反映没受过大学教育的白人显著倾向于45,但当时的民调并没有针对这一结果作出调整,这一原因导致了2016年民调出现了重大失误。2018年中期选举时民调机构通过显著增加无大学学历白人在抽样中的比例,使得2018年中期选举的民调和预测非常准确。2020年的大选民调机构基本复制了2018年模型,比如无论电话民调的结果都如何,Cohn都给予宾州T voter 47%权重,但结果依然与预测南辕北辙。

Cohn认为这一现象在宏观上反映了现在的民调不能精确反映选民结构和意向;而在微观上,其实是T voter更不愿意接电话接受民调。民调领域有一个常识是越不愿意投票的选民越不愿意接受民调,但今年45竞选有效地号召了这部分选民出来投票。之前的常识认为投票率越高对民主党越有利,今年的大选也完全打破了这一认知。今年共和党的投票率超高,这也严重影响了民调的准确性。综上,今年的民调错误最大的原因是一个反常识的现象,T voter不愿意接受民调但却大量前来投票。而T voter不愿意接受民调跟他们认同45所说的媒体是“人民的敌人”所以反感媒体、反感民调机构甚至反感任何官方机构密不可分。另外,2016年民调的失误也让大量选民不信任民调从而不愿意接受民调,COVID-19疫情对民调也有一定负面影响。

另外一个问题,就是民调往往高估人口结构,低估经济因素。常识认为由于45对拉丁裔的攻击,自然会使他们反对45。但是今年古巴裔不仅在迈阿密地区反水,甚至在费城和Milwaukee的其他拉丁裔也改弦更张,这里有一部分原因是45团队有了2018年“caravan”教训后在2020年竞选淡化了移民和修墙,而强调个人经济利益和反so-cia-lism。Cohn指出许多人想当然地认为少数族裔会支持民主党,但实际上贫穷的少数族裔跟无大学学历白人有一样的诉求,他们对de-mo-cracy制度和45的人品这些“culture issue(文化问题)”缺少兴趣,他们更重视自己的利益,45正迎合了他们这点。45一直吹嘘自己经济政策的成功(减税和deregulation并不是他独有的政策,美联储减息是让股市再2019年后持续强劲的重要原因);虽然是国会通过了疫情经济刺激计划并给美国人直接寄送支票,但却被45抢功;而45反复强调的不管疫情多严重,要重新开放全社会,这道出了大量在餐厅、超市、旅店等低端服务业工作的拉丁裔的心声。

但是Cohn强调今年的民调不是一无是处。夏末秋初民调反映的大量郊区的中间选民大比例支持Biden,这一民调被大选结果验证。除了Dallas以外,费城、凤凰城和亚特兰大的郊区选民是让Biden获胜的关键原因。这些郊区很多高收入白人选民虽然支持共和党的减税和自由贸易,但是他们无法忍受45的人品和推翻de-mo-cracy制度的种种尝试,所以他们愿意牺牲一些个人利益将45赶出白宫。这点可以反映民主党选择Biden的正确性,因为Sanders的全民健保等政策会让这些人失去更大利益,那种情况则很难让他们平衡利益丧失和道德追求。另外,数据表明,非裔今年并没有反水,在投票中他们依然有九成支持民主党。2016年他们在费城、底特律和Milwaukee的低投票率是45赢得大选的关键原因,而今年如民调所预测,他们在这3个地区的高投票率是今年确保民主党获胜的另一个关键原因。这也可以看出非裔和拉丁裔诉求完全不同,非裔关注种族问题;而来自不同国家的拉丁裔并不是一个整体,他们诉求更多元,很多更关注经济因素。

Cohn认为大选结果完全出炉后,整个业界需要在重新评估后改革该领域。而我认为根据电话民调获得的全国民调数据与美国electoral college的差距越来越大,其关键问题是统计学最忌讳的抽样偏倚,如果能让每个关键州的地方媒体(市区级的报社、广播电台)做当地的上门随访民调,而每个民调机构只分析1-2个关键州的上门民调结果,最后予以加权,再让Nate Silver或Nate Cohn进行综合分析和预测,可能远比现行体系可靠。



没有评论:

发表评论