哥伦比亚大学教授伊曼纽尔·德尔曼：数学建模如何诱骗了华尔街

导读：
“事实就是，我们根本不可能发明出一个能够告诉我们股票价格将会如何变化的模型。但是身处经济领域核心的高人们已经沉迷于科学所表现出来的简洁与优美，而忘记了其中蕴藏着的危险，忘记了市场和价格其归根结底在于人的行为。”

现实世界——从种族隔离制度到金融市场——一直在警示我们：那些试图通过科技来掌握复杂人类行为的做法会使我们误入歧途。

无论是在科学领域，还是在日常生活中，我们都经常会做出一些幼稚的事：我们坚持把未知的事物放进我们构想出来的模型里，坚持事实和我们所给出的模型能很好吻合。

在这里，我想引用著名的生物学家以及无神论者理查德·道金斯[2]在2007年洛杉矶时报上发表的一篇时评[3]。他认为绞死萨达姆·侯赛因可以算作是一种科学层面上的‘蓄意破坏’。他认为：“（萨达姆的）那些思想无论在史学，政治学以及心理学上都是独一无二的资源。……那些拼命想要弄清一个人怎么可能如此邪恶的心理学家肯定会不惜一切代价换取这样的研究对象。而政治学者们，则永远地失去了关键的证据。”

这段评论着实让人难以恭维。如果有人认为，通过对萨达姆、希特勒或是斯大林进行审问或是解剖他们的大脑，就能学会避免创造出像他们那样的恶魔。那他们根本就不理解人性的复杂。

类似的例子在我们的日常生活中也随处可见，只是有些带来的危害没有那么大而已。我曾经在南非长大，那时候南非还在实行种族隔离制度[5]。我想当时的政府一定很想要这么一种设备：它可以检测人的血统，从而将人精确、恰到好处地归为白人，本地黑人，印度人，以及有色人。这样就可以为他们省去不少事。人种分类其实就是利用了一个种族和基因起源的模型，然后把这个有着致命缺陷的模型应用到现实世界的一个公然的尝试。

让我们回到主题。为了恰当地描述我之前提到的那些幼稚行为，我自创了“拟物化（pragmamorphism）”一词。假如“拟人化”指的是把人类的特征赋予没有生命的个体上，让物体具有人的形态的话， 那么相对应地，‘拟物化’就是指把无生命物体的特点赋予人，让人的思想具有物的性质。

我必须承认我一直在使用“拟物”的方法，所写的都是我本人的所思所感，。我通过使用物理和数学中的方法对股票价格进行建模，还用非物理量去代表市场中人与人的相互作用。只要你了解模型的局限所在，建模就并非一定是坏事。在我的新书《Models. Behaving. Badly》里，我解释了为什么无论在华尔街还是在日常生活中，把理论和模型分清楚都是至关重要的。

早年，在刚开始工作时，我是一名物理学家。那时候的我对科学充满热情，心中怀抱着伟大的理想和抱负，渴望成为另一个的阿尔伯特·爱因斯坦[6]或是欧文·薛定谔[7]。这些大物理学家们仅仅依靠直觉就发现了宇宙的定律。而物理学最奇妙的地方就在于：17世纪，牛顿[8]只用了几个简洁的定理和公式去描述自然万物，就达到了令人难以置信的准确度。而在20世纪，爱因斯坦、薛定谔还保罗·狄拉克[9]所做的那些伟大工作也一样不可思议。狄拉克的那个著名方程在描述电子可观测的性质上已经达到了11位有效数字的精度（《科学人》，243期，2号，页）。

图片来源：Science American

在1985年末，我离开粒子物理领域进入高盛集团，投身于金融研究。我在那儿为期权和市场构造物理模型。作为最早在华尔街工作的物理学家之一（或被称为“POW”）[10]，我工作的主要内容就是进行数量分析[11]，现在人们用“quant”[12]这个词来描述做着同样工作的人。

金融学曾经如此令人兴奋：它和我所熟悉的物理学似乎是如此相似。交易员就像是实验者，而我自己是一名与他们共事的理论学家。没过多久，我就开始相信或许可以把物理当中的方法应用到经济学上，甚至能由此建立起一个证券业的大统一理论。顺着这思路，我发表了不少论文，也建了很多模型，这其中就包括德曼-卡尼局部波动模型[12]。其中有几个模型到现在还在被广泛使用。但是这些模型并不是每个人都能用好的——只有那些聪明、审慎的人才可以。幸运的是，与我共事的大部分交易员都知道如何正确使用它们。但不是所有人都能像他们一样。

理论和模型不同。理论所做的是试图去发现那些维系自然世界运作的基本原理。它要的是证明，而不是理由。一个理论之所以成功，是因为它可以真实地描述世界是怎样运行的。只要你想一想那些关于物质的定律、有关光的方程，还有量子力学，你就会发现：它们和其他所有理论一样，只有发现，没有成因，因为它们本身即是事实。简而言之，理论是和别的事物没有关系的。

而模型，却总是和别的事物有所关系。它们是某种形式的隐喻或类比。把人脑比作电子计算机——这是一个模型；把电子计算机比作电子化的人脑——这也是一个模型。模型能做的仅仅是告诉你，某个东西很像什么，而且模型中一定存在简化，而这些简化很可能会省略这个物体的某些性质。

在经济学领域，没有“真正”的理论可言，我们能做的只有建立模型。比如说，有效市场模型就是将股票价格变化类比于房间里的烟雾扩散情况，然后用物理扩散原理来进行计算。但它已经发生了严重偏差。这样的类比是有缺陷的，它既不是理论也不是事实。要知道，物理学和金融学的相似处在于它们所用到的数学语言的语法，而不在于它们二者的内容。

现在让我们回到学术上来。全世界都想要弄清楚经济和市场都是怎么运作的。在过去的二十年间，美国遭受了多次冲击：制造业的衰退；金融业的快速增长；金融业对监管系统的控制；经济震荡时的货币刺激计划；用纳税人的钱救助大公司；滋生腐败的裙带资本主义的普遍化；私人利益与公众利益之间的矛盾；劫贫济富的现象；信用评级机构把给出不实良好评级作为其经营策略的一部分；国家（比如希腊）通过缓解货币流动性短缺来应对债务危机……当然，还有糟糕的经济模型的广泛使用。

从日报的经济版上那些明争暗斗就可以看出，经济学其实是这样一门学问：它的大部分内容是关于什么对社会有益以及怎么去做的。我们曾经把经济学、政治学以及哲学放在一起，称为“PPE（即Politics，philosophy and economics）”——伦理学或道德科学（moral sciences）。如今我们把经济学和数学、心理学以及神经科学这些在传统意义上与道德判断无关的科学放在一起，称为“MPNE（即Mathmatics，psychology，neuroscience and economics）”。这么说或许并没有错，但假如经济学是关于什么是好的并且该怎么做的科学的话，那它就不应当是与价值判断无关的。它的数学模型所采用的类比都极不恰当；它的论文读起来就像是欧几里得的《几何原本》一样充塞着各种公理和定理；它的模型看上去越像那么回事的，实际效果反而越差。

事实就是，我们根本不可能发明出一个能够告诉我们股票价格将会如何变化的模型。但是身处经济领域核心的高人们已经沉迷于科学所表现出来的简洁与优美，而忘记了其中蕴藏着的危险，忘记了市场和价格其归根结底在于人的行为。对人类行为进行建模，最危险的地方就在于这是某种形式的“拟物化”，在于设想有人可以写出一个能囊括人类所有行为的理论，让我们免除了进行复杂思考的麻烦。但是如果我们相信人类行为会完全遵守数学法则，从而把有着诸多限制的模型与理论相混淆的话，其结果肯定会是一场灾难。

经济学家们认为事物是简单的，所以人也能被简单地建模。但是伟大的量子力学波动方程之父薛定谔深知，物质的表面现象会掩盖其下隐藏的奥秘。在《什么是生命》中，他写道：“我的身体就像一个纯粹的机械装置那样依照自然法则运转，但是从无可争议的直接体验中，我知道我能指导它的行为……我能感觉到这些行为，并且也愿意为这些行为负全责。”就像薛定谔一样，我们也应该承认科学之下蕴藏的谜团。一方面，科学家要有能力去发现自然的运行机制，而另一方面，为了去发现这些机制我们又不能不假设科学家拥有独立、自主的人格，他们必须能明辨是非，而不只是一种机械的存在。简而言之，为了发现规律，我们必须假设我们不受规律奴役。

就算你不能以薛定谔的眼光看问题，你也必须明白社会科学——特别是金融领域——的模型和物理学的模型有很大的不同。这一点应该像“健康警告”一样为人牢记。



注释：

[1] 伊曼纽尔·德尔曼：现任美国哥伦比亚大学金融工程学系主任，《风险》杂志专栏作家、投资风险管理顾问，早年毕业于哥伦比亚大学获理论物理学的博士学位，后在AT&T贝尔实验室任职，再后来进入华尔街工作。

[2]林顿·理查德·道金斯（Clinton Richard Dawkins，FRS，FRSL，1941年3月26日－）是英国演化生物学家、动物行为学家和科普作家，他同时也是当代最著名、最直言不讳的无神论者和进化论拥护者之一，有“达尔文的斗犬”（Darwin's Rottweiler）之称。道金斯原为牛津大学科普教授，现任英国人文主义协会副主席，并担任英国皇家学会会士、英国皇家文学会会士同英国世俗公会荣誉会员。

[3]引自http://www.latimes.com/news/printedition/la-oe-dawkins4jan04,0,7159808.story

[4] 萨达姆·侯赛因·阿卜杜勒-迈吉德·提克里提，简称萨达姆·侯赛因或萨达姆，从1979年至2003年任伊拉克总统、伊拉克总理、伊拉克最高军事将领、伊拉克革命指挥委员会主席与伊拉克复兴党总书记等职。2003年伊拉克战争中，其政权被美国推翻，萨达姆逃亡半年后亦被美军掳获。经伊拉克法庭审判，于2006年11月5日被判绞刑（尽管他愿被判处枪决），并于12月30日当地时间清晨6时5分执行，终年69岁。

[5] 为1948年至1994年间南非共和国实行的一种种族隔离制度，这个制度对人种进行分隔（主要分成白人、黑人、印度人和其他有色人种）。然后依照法律上的分类，各族群在地理上强制的被分离，特别是占多数的黑人，依法成为某些“家园”的市民。这些家园在名义上是自主国家但运作比较类似美国印地安保留区和加拿大原住民保留区。事实上，多数的南非黑人从未居住过这些“家园”。该制度实际上保证了白人在南非比其他人得到更好的权益。南非前总统纳尔逊·曼德拉就是因为反对种族隔离政策而于1993年获得诺贝尔和平奖。

[6] 阿尔伯特·爱因斯坦（1879年3月14日－1955年4月18日），犹太裔理论物理学家、哲学家，相对论的创立者。著名的质能方程E = mc² 即出自相对论。1921年因为解释了光电效应而获诺贝尔物理学奖。阿尔伯特·爱因斯坦被誉为是现代物理学之父及二十世纪最伟大的科学家。

[7] 埃尔温·鲁道夫·约瑟夫·亚历山大·薛定谔，1887年8月12日－1961年1月4日，生于维也纳埃德伯格（Wien Erdberg）。奥地利理论物理学家，量子力学的奠基人之一。1933年和英国物理学家狄拉克共同获得了诺贝尔物理学奖，被称为量子物理学之父。

[8] 艾萨克·牛顿爵士， 1643年1月4日－1727年3月31日，英格兰物理学家、数学家、天文学家、自然哲学家和炼金术士。万有引力定律及三大运动定律的发现者，微积分的创建者之一，牛顿在物理及数学领域都作出了卓绝的贡献，被认为是科学史上最有影响力的人，没有之一。

[9] 保罗·埃徳里恩·莫里斯·狄拉克， 1902年8月8日－1984年10月20日，英国理论物理学家，量子力学的奠基者之一，并对量子电动力学早期的发展作出重要贡献。他写下了描述费米子的狄拉克方程（就是文中提到的有11位精度的方程），并且预测了反物质的存在。因为“发现了原子理论的新形式”（即狄拉克方程），与埃尔温·薛定谔共同获得1933年诺贝尔物理奖。

[10]为“在华尔街工作的物理学家（Physicists on Wall Street）”的英文首字母缩写。

[11]为 数量分析工程师（quantitative analyst）的简称：指在在金融领域内研究和使用金融工程计算和管控风险的人。

[12]德曼-卡尼局部波动模型：由伊曼纽尔·德曼、伊拉杰·卡尼发明，这个模型把波动率表示成执行价格以及时间的一个函数以用于预测指数的变化。

原文链接

谷歌背后的数学

文/卢昌海

一. 引言

在如今这个互联网时代， 有一家公司家喻户晓——它自 1998 年问世以来， 在极短的时间内就声誉鹊起， 不仅超越了所有竞争对手， 而且彻底改观了整个互联网的生态。 这家公司就是当今互联网上的第一搜索引擎： 谷歌 (Google)。

在这样一家显赫的公司背后， 自然有许许多多商战故事， 也有许许多多成功因素。 但与普通商战故事不同的是， 在谷歌的成功背后起着最关键作用的却是一个数学因素。

本文要谈的就是这个数学因素。

谷歌作为一个搜索引擎， 它的核心功能顾名思义， 就是网页搜索。 说到搜索， 我们都不陌生， 因为那是凡地球人都会的技能。 我们在字典里查个生字， 在图书馆里找本图书， 甚至在商店里寻一种商品， 等等， 都是搜索。 只要稍稍推究一下， 我们就会发现那些搜索之所以可能， 并且人人都会， 在很大程度上得益于以下三条：

搜索对象的数量较小——比如一本字典收录的字通常只有一两万个， 一家图书馆收录的不重复图书通常不超过几十万种， 一家商店的商品通常不超过几万种， 等等。

搜索对象具有良好的分类或排序——比如字典里的字按拼音排序， 图书馆里的图书按主题分类， 商店里的商品按品种或用途分类， 等等。

搜索结果的重复度较低——比如字典里的同音字通常不超过几十个， 图书馆里的同名图书和商店里的同种商品通常也不超过几十种， 等等。

但互联网的鲜明特点却是以上三条无一满足。 事实上， 即便在谷歌问世之前， 互联网上的网页总数就已超过了诸如图书馆藏书数量之类传统搜索对象的数目。 而且这还只是冰山一角， 因为与搜索图书时单纯的书名搜索不同， 互联网上的搜索往往是对网页内容的直接搜索， 这相当于将图书里的每一个字都变成了搜索对象， 由此导致的数量才是真正惊人的， 它不仅直接破坏了上述第一条， 而且连带破坏了二、 三两条。 在互联网发展的早期， 象雅虎 (Yahoo) 那样的门户网站曾试图为网页建立分类系统， 但随着网页数量的激增， 这种做法很快就 “挂一漏万” 了。 而搜索结果的重复度更是以快得不能再快的速度走向失控。 这其实是可以预料的， 因为几乎所有网页都离不开几千个常用词， 因此除非搜索生僻词， 否则出现几十万、 几百万、 甚至几千万条搜索结果都是不足为奇的。

互联网的这些 “不良特点” 给搜索引擎的设计带来了极大的挑战。 而在这些挑战之中， 相对来说， 对一、 二两条的破坏是比较容易解决的， 因为那主要是对搜索引擎的存储空间和计算能力提出了较高要求， 只要有足够多的钱来买 “装备”， 这些都还能算是容易解决的——套用电视连续剧《蜗居》中某贪官的台词来说， “能用钱解决的问题就不是大问题”。 但对第三条的破坏却要了命了， 因为无论搜索引擎的硬件如何强大， 速度如何快捷， 要是搜索结果有几百万条， 那么任何用户想从其中 “海选” 出自己真正想要的东西都是几乎不可能的。 这一点对早期搜索引擎来说可谓是致命伤， 而且它不是用钱就能解决的问题。

这致命伤该如何治疗呢？ 药方其实很简单， 那就是对搜索结果进行排序， 把用户最有可能需要的网页排在最前面， 以确保用户能很方便地找到它们。 但问题是： 网页的水平千差万别， 用户的喜好更是万别千差， 互联网上有一句流行语叫做： “在互联网上， 没人知道你是一条狗” (On the Internet, nobody knows you're a dog)。 连用户是人是狗都 “没人知道”， 搜索引擎又怎能知道哪些搜索结果是用户最有可能需要的， 并对它们进行排序呢？

在谷歌主导互联网搜索之前， 多数搜索引擎采用的排序方法， 是以被搜索词语在网页中的出现次数来决定排序——出现次数越多的网页排在越前面。 这个判据不能说毫无道理， 因为用户搜索一个词语， 通常表明对该词语感兴趣。 既然如此， 那该词语在网页中的出现次数越多， 就越有可能表示该网页是用户所需要的。 可惜的是， 这个貌似合理的方法实际上却行不大通。 因为按照这种方法， 任何一个象祥林嫂一样翻来复去倒腾某些关键词的网页， 无论水平多烂， 一旦被搜索到， 都立刻会 “金榜题名”， 这简直就是广告及垃圾网页制造者的天堂。 事实上， 当时几乎没有一个搜索引擎不被 “祥林嫂” 们所困扰， 其中最具讽刺意味的是： 在谷歌诞生之前的 1997 年 11 月， 堪称早期互联网巨子的当时四大搜索引擎在搜索自己公司的名字时， 居然只有一个能使之出现在搜索结果的前十名内， 其余全被 “祥林嫂” 们挤跑了。

二. 基本思路

正是在这种情况下， 1996 年初， 谷歌公司的创始人， 当时还是美国斯坦福大学 (Stanford University) 研究生的佩奇 (Larry Page) 和布林 (Sergey Brin) 开始了对网页排序问题的研究。 这两位小伙子之所以研究网页排序问题， 一来是导师的建议 (佩奇后来称该建议为 “我有生以来得到过的最好建议”)， 二来则是因为他们对这一问题背后的数学产生了兴趣。

网页排序问题的背后有什么样的数学呢？ 这得从佩奇和布林看待这一问题的思路说起。

在佩奇和布林看来， 网页的排序是不能靠每个网页自己来标榜的， 无论把关键词重复多少次， 垃圾网页依然是垃圾网页。 那么， 究竟什么才是网页排序的可靠依据呢？ 出生于书香门第的佩奇和布林 (两人的父亲都是大学教授) 想到了学术界评判学术论文重要性的通用方法， 那就是看论文的引用次数。 在互联网上， 与论文的引用相类似的是显然是网页的链接。 因此， 佩奇和布林萌生了一个网页排序的思路， 那就是通过研究网页间的相互链接来确定排序。 具体地说， 一个网页被其它网页链接得越多， 它的排序就应该越靠前。 不仅如此， 佩奇和布林还进一步提出， 一个网页越是被排序靠前的网页所链接， 它的排序就也应该越靠前。 这一条的意义也是不言而喻的， 就好比一篇论文被诺贝尔奖得主所引用， 显然要比被普通研究者所引用更说明其价值。 依照这个思路， 网页排序问题就跟整个互联网的链接结构产生了关系， 正是这一关系使它成为了一个不折不扣的数学问题。

思路虽然有了， 具体计算却并非易事， 因为按照这种思路， 想要知道一个网页 Wi 的排序， 不仅要知道有多少网页链接了它， 而且还得知道那些网页各自的排序——因为来自排序靠前网页的链接更有分量。 但作为互联网大家庭的一员， Wi 本身对其它网页的排序也是有贡献的， 而且基于来自排序靠前网页的链接更有分量的原则， 这种贡献与 Wi 本身的排序也有关。 这样一来， 我们就陷入了一个 “先有鸡还是先有蛋” 的循环： 要想知道 Wi 的排序， 就得知道与它链接的其它网页的排序， 而要想知道那些网页的排序， 却又首先得知道 Wi 的排序。

为了打破这个循环， 佩奇和布林采用了一个很巧妙的思路， 即分析一个虚拟用户在互联网上的漫游过程。 他们假定： 虚拟用户一旦访问了一个网页后， 下一步将有相同的几率访问被该网页所链接的任何一个其它网页。 换句话说， 如果网页 Wi 有 Ni 个对外链接， 则虚拟用户在访问了 Wi 之后， 下一步点击那些链接当中的任何一个的几率均为 1/Ni。 初看起来， 这一假设并不合理， 因为任何用户都有偏好， 怎么可能以相同的几率访问一个网页的所有链接呢？ 但如果我们考虑到佩奇和布林的虚拟用户实际上是对互联网上全体用户的一种平均意义上的代表， 这条假设就不象初看起来那么不合理了。 那么网页的排序由什么来决定呢？ 是由该用户在漫游了很长时间——理论上为无穷长时间——后访问各网页的几率分布来决定， 访问几率越大的网页排序就越靠前。

为了将这一分析数学化， 我们用 pi(n) 表示虚拟用户在进行第 n 次浏览时访问网页 Wi 的几率。 显然， 上述假设可以表述为 (请读者自行证明)：

pi(n+1) = Σj pj(n)pj→i/Nj

这里 pj→i 是一个描述互联网链接结构的指标函数 (indicator function)， 其定义是： 如果网页 Wj 有链接指向网页 Wi， 则 pj→i 取值为 1， 反之则为 0。 显然， 这条假设所体现的正是前面提到的佩奇和布林的排序原则， 因为右端求和式的存在表明与 Wi 有链接的所有网页 Wj 都对 Wi 的排名有贡献， 而求和式中的每一项都正比于 pj， 则表明来自那些网页的贡献与它们的自身排序有关， 自身排序越靠前 (即 pj 越大)， 贡献就越大。

为符号简洁起见， 我们将虚拟用户第 n 次浏览时访问各网页的几率合并为一个列向量 pn， 它的第 i 个分量为 pi(n)， 并引进一个只与互联网结构有关的矩阵 H， 它的第 i 行 j 列的矩阵元为 Hij = pj→i/Nj， 则上述公式可以改写为：

pn+1 = Hpn

这就是计算网页排序的公式。

熟悉随机过程理论的读者想必看出来了， 上述公式描述的是一种马尔可夫过程 (Markov process)， 而且是其中最简单的一类， 即所谓的平稳马尔可夫过程 (stationary Markov process)[注一]， 而 H 则是描述马尔可夫过程中的转移概率分布的所谓转移矩阵 (transition matrix)。 不过普通马尔可夫过程中的转移矩阵通常是随机矩阵 (stochastic matrix)， 即每一列的矩阵元之和都为 1 的矩阵 (请读者想一想， 这一特点的 “物理意义” 是什么？)[注二]。 而我们的矩阵 H 却可能有一些列是零向量， 从而矩阵元之和为 0， 它们对应于那些没有对外链接的网页， 即所谓的 “悬挂网页” (dangling page)[注三]。

上述公式的求解是简单得不能再简单的事情， 即：

pn = Hnp0

其中 p0 为虚拟读者初次浏览时访问各网页的几率分布 (在佩奇和布林的原始论文中， 这一几率分布被假定为是均匀分布)。

三. 问题及解决

如前所述， 佩奇和布林是用虚拟用户在经过很长——理论上为无穷长——时间的漫游后访问各网页的几率分布， 即 limn→∞pn， 来确定网页排序的。 这个定义要想管用， 显然要解决三个问题：

极限 limn→∞pn 是否存在？
如果极限存在， 它是否与 p0 的选取无关？
如果极限存在， 并且与 p0 的选取无关， 它作为网页排序的依据是否真的合理？

如果这三个问题的答案都是肯定的， 那么网页排序问题就算解决了。 反之， 哪怕只有一个问题的答案是否定的， 网页排序问题也就不能算是得到了满意解决。 那么实际答案如何呢？ 很遗憾， 是后一种， 而且是其中最糟糕的情形， 即三个问题的答案全都是否定的。 这可以由一些简单的例子看出。 比方说， 在只包含两个相互链接网页的迷你型互联网上， 如果 p0 = (1, 0)T， 极限就不存在 (因为几率分布将在 (1, 0)T 和 (0, 1)T 之间无穷振荡)。 而存在几个互不连通 (即互不链接) 区域的互联网则会使极限——即便存在——与 p0 的选取有关 (因为把 p0 选在不同区域内显然会导致不同极限)。 至于极限存在， 并且与 p0 的选取无关时它作为网页排序的依据是否真的合理的问题， 虽然不是数学问题， 答案却也是否定的， 因为任何一个 “悬挂网页” 都能象黑洞一样， 把其它网页的几率 “吸收” 到自己身上 (因为虚拟用户一旦进入那样的网页， 就会由于没有对外链接而永远停留在那里)， 这显然是不合理的。 这种不合理效应是如此显著， 以至于在一个连通性良好的互联网上， 哪怕只有一个 “悬挂网页”， 也足以使整个互联网的网页排序失效， 可谓是 “一粒老鼠屎坏了一锅粥”。

为了解决这些问题， 佩奇和布林对虚拟用户的行为进行了修正。 首先， 他们意识到无论真实用户还是虚拟用户， 当他们访问到 “悬挂网页” 时， 都不应该也不会 “在一棵树上吊死”， 而是会自行访问其它网页。 对于真实用户来说， 自行访问的网页显然与各人的兴趣有关， 但对于在平均意义上代表真实用户的虚拟用户来说， 佩奇和布林假定它将会在整个互联网上随机选取一个网页进行访问。 用数学语言来说， 这相当于是把 H 的列向量中所有的零向量都换成 e/N (其中 e 是所有分量都为 1 的列向量， N 为互联网上的网页总数)。 如果我们引进一个描述 “悬挂网页” 的指标向量 (indicator vector) a， 它的第 i 个分量的取值视 Wi 是否为 “悬挂网页” 而定——如果是 “悬挂网页”， 取值为 1， 否则为 0——并用 S 表示修正后的矩阵， 则：

S = H + eaT/N

显然， 这样定义的 S 矩阵的每一列的矩阵元之和都是 1， 从而是一个不折不扣的随机矩阵。 这一修正因此而被称为随机性修正 (stochasticity adjustment)。 这一修正相当于剔除了 “悬挂网页”， 从而可以给上述第三个问题带来肯定回答 (当然， 这一回答没有绝对标准， 可以不断改进)。 不过， 这一修正解决不了前两个问题。 为了解决那两个问题， 佩奇和布林引进了第二个修正。 他们假定， 虚拟用户虽然是虚拟的， 但多少也有一些 “性格”， 不会完全受当前网页所限， 死板地只访问其所提供的链接。 具体地说， 他们假定虚拟用户在每一步都有一个小于 1 的几率 α 访问当前网页所提供的链接， 同时却也有一个几率 1-α 不受那些链接所限， 随机访问互联网上的任何一个网站。 用数学语言来说 (请读者自行证明)， 这相当于是把上述 S 矩阵变成了一个新的矩阵 G：

G = αS + (1-α)eeT/N

这个矩阵不仅是一个随机矩阵， 而且由于第二项的加盟， 它有了一个新的特点， 即所有矩阵元都为正 (请读者想一想， 这一特点的 “物理意义” 是什么？)， 这样的矩阵是所谓的素矩阵 (primitive matrix)[注四]。 这一修正因此而被称为素性修正 (primitivity adjustment)。

经过这两类修正， 网页排序的计算方法就变成了：

pn = Gnp0

这个算法能给上述问题提供肯定答案吗？ 是的， 它能。 因为随机过程理论中有一个所谓的马尔可夫链基本定理 (fundamental theorem of Markov chains)， 它表明在一个马尔可夫过程中， 如果转移矩阵是素矩阵， 那么上述前两个问题的答案就是肯定的。 而随机性修正已经解决了上述第三个问题， 因此所有问题就都解决了。 如果我们用 p 表示 pn 的极限[注五]， 则 p 给出的就是整个互联网的网页排序——它的每一个分量就是相应网页的访问几率， 几率越大， 排序就越靠前。

这样， 佩奇和布林就找到了一个不仅含义合理， 而且数学上严谨的网页排序算法， 他们把这个算法称为 PageRank， 不过要注意的是， 虽然这个名称的直译恰好是 “网页排序”， 但它实际上指的是 “佩奇排序”， 因为其中的 “Page” 不是指网页， 而是佩奇的名字。 这个算法就是谷歌排序的数学基础， 而其中的矩阵 G 则被称为谷歌矩阵 (Google matrix)。

细心的读者可能注意到了， 我们还遗漏了一样东西， 那就是谷歌矩阵中描述虚拟用户 “性格” 的那个 α 参数。 那个参数的数值是多少呢？ 从理论上讲， 它应该来自于对真实用户平均行为的分析， 不过实际上另有一个因素对它的选取产生了很大影响， 那就是 Gnp0 收敛于 p 的快慢程度。 由于 G 是一个 N×N 矩阵， 而 N 为互联网上——确切地说是被谷歌所收录的——网页的总数， 在谷歌成立之初为几千万， 目前为几百亿 (并且还在持续增加)， 是一个极其巨大的数字。 因此 G 是一个超大型矩阵， 甚至很可能是人类有史以来处理过的最庞大的矩阵。 对于这样的矩阵， Gnp0 收敛速度的快慢是关系到算法是否实用的重要因素， 而这个因素恰恰与 α 有关。 可以证明， α 越小， Gnp0 的收敛速度就越快。 但 α 也不能太小， 因为太小的话， “佩奇排序” 中最精华的部分， 即以网页间的彼此链接为基础的排序思路就被弱化了 (因为这部分的贡献正比于 α)， 这显然是得不偿失的。 因此， 在 α 的选取上有很多折衷的考虑要做， 佩奇和布林最终选择的数值是 α = 0.85。

以上就是谷歌背后最重要的数学奥秘。 与以往那种凭借关键词出现次数所作的排序不同， 这种由所有网页的相互链接所确定的排序是不那么容易做假的， 因为做假者再是把自己的网页吹得天花乱坠， 如果没有真正吸引人的内容， 别人不链接它， 一切就还是枉然[注六]。 而且 “佩奇排序” 还有一个重要特点， 那就是它只与互联网的结构有关， 而与用户具体搜索的东西无关。 这意味着排序计算可以单独进行， 而无需在用户键入搜索指令后才临时进行。 谷歌搜索的速度之所以快捷， 在很大程度上得益于此。

四. 结语

谷歌公司创始人佩奇 (左) 和布林 (右)

在本文的最后， 我们顺便介绍一点谷歌公司的历史。 佩奇和布林对谷歌算法的研究由于需要收集和分析大量网页间的相互链接， 从而离不开硬件支持。 为此， 早在研究阶段， 他们就四处奔走， 为自己的研究筹集资金和硬件。 1998 年 9 月， 他们为自己的试验系统注册了公司——即如今大名鼎鼎的谷歌公司。 但这些行为虽然近乎于创业， 他们两人当时却并无长期从商的兴趣。 1999 年， 当他们觉得打理公司干扰了自己的研究时， 甚至萌生了卖掉公司的想法。

他们的开价是 100 万美元。

与谷歌在短短几年之后的惊人身价相比， 那简直就是 “跳楼大甩卖”。 可惜当时却无人识货。 佩奇和布林在硅谷 “叫卖” 了一圈， 连一个买家都没找到。 被他们找过的公司包括了当时搜索业巨头之一的 Excite (该公司后来想必连肠子都悔青了)。 为了不让自己的心血荒废， 佩奇和布林只得将公司继续办了下去， 一直办到今天， 这就是谷歌的 “发家史”。

谷歌成立之初跟其它一些 “发迹于地下室” (one-man-in-basement) 的 IT 公司一样寒酸： 雇员只有一位 (两位老板不算)， 工作场所则是一位朋友的车库。 但它出类拔萃的排序算法很快为它赢得了声誉。 公司成立仅仅 3 个月，《PC Magzine》杂志就把谷歌列为了年度最佳搜索引擎。 2001 年， 佩奇为 “佩奇排序” 申请到了专利， 专利的发明人为佩奇， 拥有者则是他和布林的母校斯坦福大学。 2004 年 8 月， 谷歌成为了一家初始市值约 17 亿美元的上市公司。 不仅公司高管在一夜间成为了亿万富翁， 就连当初给过他们几十美元 “赞助费” 的某些同事和朋友也得到了足够终身养老所用的股票回报。 作为公司摇篮的斯坦福大学则因拥有 “佩奇排序” 的专利而获得了 180 万股谷歌股票。 2005 年 12 月， 斯坦福大学通过卖掉那些股票获得了 3.36 亿美元的巨额收益， 成为美国高校因支持技术研发而获得的有史以来最巨额的收益之一[注七]。

谷歌在短短数年间就横扫整个互联网， 成为搜索引擎业的新一代霸主， 佩奇和布林的那个排序算法无疑居功至伟， 可以说， 是数学成就了谷歌[补注一]。 当然， 这么多年过去了， 谷歌作为 IT 界研发能力最强的公司之一， 它的网页排序方法早已有了巨大的改进， 由当年单纯依靠 “佩奇排序” 演变为了由 200 多种来自不同渠道的信息——其中包括与网页访问量有关的统计数据——综合而成的更加可靠的方法。 而当年曾给佩奇和布林带来过启示的学术界， 则反过来从谷歌的成功中借鉴了经验， 如今一些学术机构对论文影响因子 (impact factor) 的计算已采用了类似 “佩奇排序” 的算法。

在本文的最后， 还有一件事情在这里提一下， 那就是与佩奇和布林研究排序算法几乎同时， 有另外几人也相互独立地沿着类似的思路从事着研究[注八]。 他们中有一位是当时在美国新泽西州工作的中国人， 他的算法后来也成就了一家公司——一家中国公司。 此人的名字叫做李彦宏 (Robin Li)， 他所成就的那家公司就是百度。 这些新公司的发展极好地印证了培根 (Francis Bacon) 的一句名言： 知识就是力量。

注释

马尔可夫过程， 也称为马尔可夫链 (Markov chain)， 是一类离散随机过程， 它的最大特点是每一步的转移概率分布都只与前一步有关。 而平稳马尔可夫过程则是指转移概率分布与步数无关的马尔可夫过程 (体现在我们的例子中， 即 H 与 n 无关)。 另外要说明的是， 本文在表述上不同于佩奇和布林的原始论文， 后者并未使用诸如 “马尔可夫过程” 或 “马尔可夫链” 那样的术语， 也并未直接运用这一领域内的数学定理。

在更细致的分类中， 这种每一列的矩阵元之和都为 1 的随机矩阵称为左随机矩阵 (left stochastic matrix)， 以区别于每一行的矩阵元之和都等于 1 的所谓右随机矩阵 (right stochastic matrix)。 这两者在应用上基本是等价的， 区别往往只在于约定。

这种几乎满足随机矩阵条件， 但有些列 (或行) 的矩阵元之和小于 1 的矩阵也有一个名称， 叫做亚随机矩阵 (substochastic matrix)。

确切地说， 这种所有矩阵元都为正的矩阵不仅是素矩阵， 而且还是所谓的正矩阵 (positive matrix)。 这两者的区别是： 正矩阵要求所有矩阵元都为正， 而素矩阵只要求自己的某个正整数次幂为正矩阵。

读者们想必看出来了， p 其实是矩阵 G 的本征值为 1 的本征向量， 而利用虚拟用户确定网页排序的思路其实是在用迭代法解决上述本征值问题。 在数学上可以证明， 上述本征向量是唯一的， 而且 G 的其它本征值 λ 全都满足 |λ|<1 (更准确地说， 是 |λ|≤α ——这也正是下文即将提到的 Gnp0 的收敛速度与 α 有关的原因)。

当然， 这绝不意味着在网页排序上已不可能再做假。 相反， 这种做假在互联网上依然比比皆是， 比如许多广告或垃圾网页制造者用自动程序到各大论坛发贴， 建立对自己网页的链接， 以提高排序， 就是一种常见的做假手法。 为了遏制做假， 谷歌采取了很多技术手段， 并对有些做假网站采取了严厉的惩罚措施。 这种惩罚 (有时是误罚) 对于某些靠互联网吃饭的公司有毁灭性的打击力。

从投资角度讲， 斯坦福大学显然是过早卖掉了股票， 否则获利将更为丰厚。 不过， 这正是美国名校的一个可贵之处， 它们虽擅长从支持技术研发中获利， 却并不唯利是图。 它们有自己的原则， 那就是不能让商业利益干扰学术研究。 为此， 它们通常不愿长时间持有特定公司的股票， 以免在无形中干扰与该公司存在竞争关系的学术研究的开展。

那些研究与 “佩奇排序” 的类似仅仅在于大方向 (即都利用互联网的链接结构来决定网页排序)， 而非具体算法类似。

补注

有些读者对 “是数学成就了谷歌” 这一说法不以为然， 认为是佩奇和布林的商业才能， 或将数学与商业结合起来的才能成就了谷歌。 这是一个见仁见智的问题， 看法不同不足为奇。 我之所以认为是数学成就了谷歌， 是因为谷歌当年胜过其它搜索引擎的地方只有算法。 除算法外， 佩奇和布林当年并无其它胜过竞争对手的手段， 包括商业手段。 如果让他们去当其它几家搜索引擎公司的老总， 用那几家公司的算法， 他们是不可能脱颖而出的； 而反过来， 如果让其它几家搜索引擎公司的老总来管理谷歌， 用谷歌的算法， 我相信谷歌依然能超越对手。 因此， 虽然谷歌后来确实用过不少出色的商业手段 (任何一家那样巨型的公司都必然有商业手段上的成功之处)， 而当年那个算法在今天的谷歌——如正文所述——则早已被更复杂的算法所取代， 但我认为谷歌制胜的根基和根源在于那个算法， 而非商业手段， 因此我说 “是数学成就了谷歌”。 [2011-01-01]

参考文献
D. Austin, How Google Finds Your Needle in the Web's Haystack.
J. Battelle, The Birth of Google, Wired (August 2005).
S. Brin and L. Page, The Anatomy of a Large-Scale Hypertextual Web Search Engine, Seventh International World-Wide Web Conference, April 14-18, 1998, Brisbane, Australia.
O. Ibe, Markov Processes for Stochastic Modeling, (Elsevier Academic Press, 2009).
A. N. Langville and C. D. Meyer, Google's PageRank and Beyond: The Science of Search Engine Rankings, (Princeton University Press, 2006).
C. Rousseau and Y. Saint-Aubin, Mathematics and Technology, (Springer, 2008).

二零一零年十二月四日写于纽约

原文链接

外遇网站Ashley Madison泄密事件终于演变成一场血雨腥风撕逼大戏

话说。。最近几天黑客接连公布了外遇网站Ashley Madison的各种用户资料，在欧美澳各国掀起了一场腥风血雨...

各大媒体每天各种追踪报道，一场年度狗血大戏就这么唱响了

我们来梳理一下这场风波的来龙去脉

19号公布了第一批用户资料..... .包括了3700万用户的用户名，姓名，电话号码，电子邮箱，家庭住址和银行卡信息

结果公布当天网站CEO还不承认.. 表示不是所有的数据都是从我们这里泄露出去的......

好吧，这惹怒了黑客，

21号他们公布了第二批资料... 包括网站的源代码，手机APP源代码和CEO所有的商业Email.....　在文件里，黑客对CEO说，伙计，这下你该承认了么？？？

好吧，事情还没有完...

22号公布了第三批资料.... 进一步的各种用户信息和用户私信......

黑客表示.... 这些还都只是冰山一角..... 裸照神马的，他们都有

最近他们接受了匿名采访，表示他们在网站的系统里潜伏了很久。。。他们网站根本没有日常的安全监管！

他们一共下载了超过200G的数据... 包括甚至包括各种用户之间互传的裸照和各种露骨的聊天记录......

不过他们表示最近还不会打算把裸照公开... 只是希望CEO早日回头是岸，关闭网站......

【具体影响范围多大？】

一张分布图简单粗暴的告诉你地球上哪片地区是“重灾区”

世界各城市用户数排名，巴西圣保罗遥遥领先，纽约第二悉尼第三，伦敦第九

阿拉巴马被封为美国最不忠诚的州。住在这里的人在网站上花得最多

数据公布没多久，有几个政府就宣布正式介入此事。 防止有人用这些数据敲诈政府官员。。

为什么？

因为，有一大群蠢官，是用自己的工作邮箱来注册

数据库里有超过一万个以.gov （美国政府）和.mil （ 美国军队） 为结尾的邮箱
哈弗，耶鲁，波音公司，摩根大通，美国银行，索尼的员工邮箱也都出现在了数据库里，人数还不少
联合国邮箱也被找到好些个

各种美国银行的，各种大学的。。。

3700万的用户里，有120万被发现是英国人
其中有124政府人员，92个国防部官员，56个NHS工作人员，还有其他各行各业的精英们

一时间，网上还涌出了各种可以查询网站，只要输入手机号 和邮箱地址就能一键查询那种

然而大部分这样的网站都关闭了，因为，需求量太大。来查自己伴侣的人数太多。。。把网站刷崩溃了！！！

【我们看看挖出来的都有谁？】

这个苏格兰女议员是英国第一个被曝光的......

或者说。。她是第一个主动曝光的。
事情一出来之后她马上对媒体表示...
天呐。。这太可怕了。为什么我的名字会出现在上面。
黑客怎么可以公布这么多人的email地址BLABLABLA

一副受害者自居的形象............
先把自己定调成受害者..... 以免被新闻媒体曝光挖出来颜面过不去....
（这公关团队...... ）

美国那边也好不到哪去.....

从前天开始，各大媒体接连曝出一些高官用户，包括白宫官员，国家安全局官员，助理检察官．．　反恐专家．．

不过这些官员目前都予以否认，表示自己是被诬陷的，邮箱是被别人盗用去注册的（那么巧？！）

【最伪君子】

但是风口浪尖的一个....
是一个美国电视明星，一个一直倡导夫妻忠诚的政治活动家Josh Duggar

他在外界打造的完全是一副爱家爱妻爱子的暖男形象....
他说自己没有婚前性行为，还曾经公开反对堕胎和离婚....

呵呵...结果...
他不仅被扒了邮箱，连注册用的银行卡信息和家庭住址都被扒出来，发现和他各种吻合。

这下抵赖不掉了....

技术宅掘坟的功力可不止这些
他们同时还八出Joshua J. Duggar有一个假的脸书账号，虽然只有32个好友，但是绝大部分是女性

其中包括了脱衣舞女

还有性感的酒吧招待

在各方的压力下，Joshua J. Duggar终于承认他的确对妻子有过不忠
“在过去的婚姻生活中，我是一个彻头彻尾的伪君子，我痴迷于在网上看色情表演，我背叛了妻子”
“我一直过的是假面人生，对于妻子造成的所有伤害，我深表歉意”

网友给他两个字：  呵呵....

【同时被玩坏的还有一个前自由党主席Damien Mantach】

这家伙本来就不是什么好人。。最近刚被曝光说他私自挪用150万的公款。。
结果就在同一天，别人发现他的email地址也在那个网站上.....
他的妻子和女儿的反应令人震惊，她们没有表示支持与信任，而是第一时间和这位主席划清界限。。。

呃。。
好吧．．

不仅仅政要们现在要捏一把汗
【网红也躲不掉】

前一段时间，有一对恩爱的夫妻在油管上超火....
有一个男主，觉得自己的老婆怀孕之后，趁一天晚上老婆晚上上厕所没有冲厕所，偷偷用验孕棒验了马桶里的尿.... 结果发现真的怀孕了....在早餐时告诉了妻子这个大好的消息

温馨感人的视频１千万播放．．．．
为这对夫妻带来了36万的粉丝

结果。。。
没过几天他们又发了一个视频。。。
表示孩子意外流产了．．．．．

因为这两人都是youtube上注明的网红视频博主。。
各路网友都在猜测他们这说不定全部都是摆拍演戏博眼球赚播放量的。。

好吧。。
无论如何。。
就在今天。。 男主被网友八出是这个网站资深付费用户

各种证据确凿

所以说
呵呵。
不要zuo。。。
不要轻易秀恩爱。。

【民众．．．．】

除了名人高官，数据库的泄露给普通夫妇的打击也是毁灭性的

之前澳大利亚电台正在做一个这个事件的节目。。。。

一个姑娘在节目直播的时候打电话进去．．．讨论之余顺手让主持人帮忙查询自己的丈夫是不是也在外遇网站上

结果一查。还真有。。

女子当场崩溃。。。

“你们tm在逗我吗！！！”
然后就伤心欲绝的把电话给挂了

心拔凉拔凉的还有更多人

好多被爆出邮箱的知名人士都急着出来澄清，由于注册网站不需要邮箱验证，所以很多人都说是恶搞的粉丝盗用了他们的邮箱
（呵呵 随你说）

也有人说，是为了安抚丧妻之痛，才去另约女人

一个BBC的小哥甚至吓到直接出柜
“我是gay啊！！怎么可能去网站上找女人！！”

好吧。。。

【最欢乐的人： 离婚律师】

虽然大家都在血雨腥风。。。
然而，这场事件中最欢乐的人... 那必须是各大律师行。。
此时此刻的律师界，简直就跟过节一样欢乐

他们已经预测即将会有一场离婚“海啸”席卷而来
对于离婚律师来说，相当于圣诞节提前来到
伦敦一所律师事务所表示，从信息泄露以来，他们的电话要被打爆了
事不关己的律师建议外遇者赶紧坦白，不要等上新闻闹得世人皆知下不来台面

就在昨天，一个英国律师所已经证实。 他们已经提交了第一起离婚案。。。 因为一个英国妻子她发现丈夫的名字出现了被公布的数据库中
这也是第一起被证实是因为这场风波导致的离婚案件

【公司也自身难保】

到这个时刻，事情已经愈演愈烈。。
这家外遇公司被用户联合起诉，将会面临高达6亿美元的赔偿和罚款，因为他们没有保护好用户资料

他们之前让用户每个月交一笔钱，这样他们就会删除用户的个人信息

结果最近被发现，他们根本就没有删除，就是在骗钱啊！！！

有很多用户表示自己是在伴侣过世后才上网站找对象的，但他们的个人资料也被公布了，银行信息和住址泄露会影响他们的财产和人参安全
于是他们提起了诉讼

外遇网站的老板基本已经被整疯了，
除了发了一则怒骂黑客的声明，就再也没出现过。。。

他的网站也被各大网友段子手玩坏了

【我们有超过38,630,00个破产的离婚案子被告人噢】

你们之前口号不是
“Life is short，Have an affair”人生苦短来场外遇吧
现在估计要变成
“Life is short， Hire an attorney”人生苦短，找个律师吧

好吧。。。
所以。。2015会不会成为近年来离婚率最高的一年。。。。

对了。。
最后的最后。。
事儿君搜了一下中国的邮箱地址。。。

下面是结果：

qq.com：  32.8万

163.com     9.5万

126.com   3.6万

@sohu    2.1万....

好吧．．．剩下那些在国内用gmail hotmail啥注册的...


就不知道了.... ..


------

社会主义一片大好：中国能打开这个网站： http://www.ashleyrnadison.com/ 并没有墙。

PIHONGMIN：那网站打开那对胸吓我一跳

Rannnnn_s2：坐标英国，昨天办公室整个疯了啊，我们老板特意跑过来说“谁注册了Ashley Madison的小心一点啊，必要的话今天可以休假回去处理家事” 233333 不过还好今天大家都有来上班.....

ShanTheHippo：这个网站属于多伦多一家叫做Avid Life Media的多媒体公司。而且这次黑客不仅要他们关闭外遇网，也要求他们关闭旗下其它网站。比如专为爱吃小鲜肉的熟女准备的干妈网(CougarLife点com)，还有帮助年轻漂亮女性牵手有钱人的干爹网(EstablishedMen点com)。多红娘的公司 [[doge]]

一个在野设计师的日常：只有我特别好奇中国和朝鲜半岛尤其是北部的亮点吗 [[doge]]

名字太长躲在草丛会被发现：中国为毛还有这么多，俄罗斯基本没有，说好的闭关锁国呢 [[doge]]

月如_千茗一染：BBC那个被吓到直接出柜的小哥，23333

甜瞰：这个网站没有被墙……而且进去就是中文版……

赤焰钢狼：太欢乐了，地图上中国区也挺亮的，坐等各种大咖被扒出来 [[喵喵]]

不懂事儿的这么多何必计较：这个时候是不是该说一句幸好中国要上外网得翻墙 [[思考]]

方奕东：以前有个哥们到美国，说那些老外婚后如何如何忠诚：说他们一般婚前爱玩，婚后就完全不玩了。看到这个，我只有呵呵。

年下美强控_窝要做善酿的人：中国长三角珠三角那里挺多，还有一片内陆地区 [[doge]]

伊舟亢：中國人有微信陌陌，要什麼出軌網站 [[doge]]

Asue丁日的丁日：我是126中的一员 [[doge]] 今天下午注册的

自来水不停安利最爱钱钱买买买：估计网站曝光后，更多人注册了，谁叫这么多好奇狗 [[笑cry]]

by：英国那些事儿

数据里的巴菲特与好莱坞女星安妮·海瑟薇的奇妙绯闻

钛度要点：
美国导演发现，只要女星安妮·海瑟薇出现在头条，巴菲特的伯克希尔·哈撒韦公司的股价就会上涨。这只是偶然的吗？还是有一定的关联？他们的奇妙关系有什么来头吗？

安妮·海瑟薇 在《蝙蝠侠》中饰演猫女角色

钛媒体注：大数据时代，人们越来越依赖计算机算法收集并处理大量的数据信息，节约人力成本，然而，单靠这些机器计算真的靠谱吗？今天，让我们再扒一扒这个数据时代里还有什么逗比的事儿吧：

美国导演丹·马维舒曾发现了一个异乎寻常的现象：只要好莱坞女星安妮·海瑟薇出现在头条，巴菲特的伯克希尔·哈撒韦公司的股价就会上涨。

他以当年海瑟薇在奥斯卡颁奖礼上的主持秀为例。在奥斯卡颁奖前的最后一个交易日以及颁奖礼后第一个交易日，伯克希尔·哈撒韦的股价分别上涨2.02%和2.94%。

再往前追溯，事情变得更有意思：正海瑟薇出演的5部电影首映日，伯克希尔·哈撒韦的股价都会上涨。《蕾切尔的婚礼》《结婚大作战》《情人节》《爱丽丝梦游仙境》《爱情与灵药》首映时，伯克希尔·哈撒韦的股价分别上涨了0.44%、2.61%、1.01%、0.74%、1.62%。

85届奥斯卡最佳女主角 安妮·海瑟薇

海瑟薇和巴菲特究竟是怎么样的关系，莫非是……如果我是娱乐小报的记者，一定会忍不住好好挖一挖。

这个现象分析起来也非常有趣。

往往哪个行业最赚钱，最优秀的人才就会往哪个行业跑。于是，世界上最聪明的物理学家和数学家，都跑到了华尔街，这些人被称为“宽客”。随着这些人才一次次的成功，他们开始改变华尔街的交易策略。

宽客建立的数学模型首先对历史股价数据进行分析：那些历史上价格总是朝同一或相反方向波动的、相关联的两只股票，如果价格趋势突然发生了背离，就说明其中一只股票价格可能被高估或低估，电脑程序随之对海量数据进行分析，帮助交易员找到获利机会。

但交易员毕竟只有十根手指头，于是基金公司抛弃交易员，让电脑自己去操作。这些高性能计算机获取市场数据、处理数据，并下达买进和卖出指令，这一切可能是在几毫秒内完成。这种每笔交易获利很小但交易量巨大的交易方式被称作“高频交易”。

宽客们并不满足只对交易数据进行分析和建模，他们想到，如果发生“9·11”这样的事件呢？于是新的算法开始对事件和新闻进行分析，他们分析历史上一个重大消息的宣布会对股市产生什么样的影响。比如当美联储宣布一个重大消息时，高频交易能够在几毫秒的时间内下达交易指令，捕捉获利机会。

印第安纳大学的研究人员曾发现，通过分析推特信息中人们的情绪，可以准确预测股市的涨跌。而高频计算机通过某种算法，实时分析推特和新闻中的信息，做出交易决策。曾有一则假消息在推特发布：白宫发生了爆炸事件，奥巴马在事件中受伤。这导致美国股市瞬间蒸发约1400亿美元。这次恶作剧，让许多使用推特数据的对冲基金被意外曝光。

还是回到开头的“绯闻”。海瑟薇的名字是Anne Hathaway，巴菲特的公司叫Berkshire Hathaway，两者都包括Hathaway这个词，于是，高频交易软件系统自动地将海瑟薇的新闻与巴菲特的公司联系起来，当它发现Hathaway这个词不寻常的变化时，迅速做出了交易策略。

这样，在大数据时代的算法中，巴菲特和海瑟薇“好上”了。

七种必知回归技术/7 Types of Regression Techniques you should know

什么是回归分析？

回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。

回归分析是建模和分析数据的重要工具。在这里，我们使用曲线/线来拟合这些数据点，在这种方式下，从曲线或线到数据点的距离差异最小。我会在接下来的部分详细解释这一点。

我们为什么使用回归分析？

如上所述，回归分析估计了两个或多个变量之间的关系。下面，让我们举一个简单的例子来理解它：

比如说，在当前的经济条件下，你要估计一家公司的销售额增长情况。现在，你有公司最新的数据，这些数据显示出销售额增长大约是经济增长的2.5倍。那么使用回归分析，我们就可以根据当前和过去的信息来预测未来公司的销售情况。

使用回归分析的好处良多。具体如下：

    它表明自变量和因变量之间的显著关系；

    它表明多个自变量对一个因变量的影响强度。

回归分析也允许我们去比较那些衡量不同尺度的变量之间的相互影响，如价格变动与促销活动数量之间联系。这些有利于帮助市场研究人员，数据分析人员以及数据科学家排除并估计出一组最佳的变量，用来构建预测模型。

我们有多少种回归技术？

有各种各样的回归技术用于预测。这些技术主要有三个度量（自变量的个数，因变量的类型以及回归线的形状）。我们将在下面的部分详细讨论它们。

对于那些有创意的人，如果你觉得有必要使用上面这些参数的一个组合，你甚至可以创造出一个没有被使用过的回归模型。但在你开始之前，先了解如下最常用的回归方法：

1. Linear Regression线性回归

它是最为人熟知的建模技术之一。线性回归通常是人们在学习预测模型时首选的技术之一。在这种技术中，因变量是连续的，自变量可以是连续的也可以是离散的，回归线的性质是线性的。

线性回归使用最佳的拟合直线（也就是回归线）在因变量（Y）和一个或多个自变量（X）之间建立一种关系。

用一个方程式来表示它，即Y=a+b*X + e，其中a表示截距，b表示直线的斜率，e是误差项。这个方程可以根据给定的预测变量（s）来预测目标变量的值。

一元线性回归和多元线性回归的区别在于，多元线性回归有（>1）个自变量，而一元线性回归通常只有1个自变量。现在的问题是“我们如何得到一个最佳的拟合线呢？”。

如何获得最佳拟合线（a和b的值）？

这个问题可以使用最小二乘法轻松地完成。最小二乘法也是用于拟合回归线最常用的方法。对于观测数据，它通过最小化每个数据点到线的垂直偏差平方和来计算最佳拟合线。因为在相加时，偏差先平方，所以正值和负值没有抵消。

我们可以使用R-square指标来评估模型性能。想了解这些指标的详细信息，可以阅读：模型性能指标Part 1,Part 2 .

要点：
    自变量与因变量之间必须有线性关系
    多元回归存在多重共线性，自相关性和异方差性。
    线性回归对异常值非常敏感。它会严重影响回归线，最终影响预测值。
    多重共线性会增加系数估计值的方差，使得在模型轻微变化下，估计非常敏感。结果就是系数估计值不稳定
    在多个自变量的情况下，我们可以使用向前选择法，向后剔除法和逐步筛选法来选择最重要的自变量。

2.Logistic Regression逻辑回归

逻辑回归是用来计算“事件=Success”和“事件=Failure”的概率。当因变量的类型属于二元（1 / 0，真/假，是/否）变量时，我们就应该使用逻辑回归。这里，Y的值从0到1，它可以用下方程表示。

odds= p/ (1-p) = probability of event occurrence / probability of not event occurrence
ln(odds) = ln(p/(1-p))
logit(p) = ln(p/(1-p)) = b0+b1X1+b2X2+b3X3....+bkXk

上述式子中，p表述具有某个特征的概率。你应该会问这样一个问题：“我们为什么要在公式中使用对数log呢？”。

因为在这里我们使用的是的二项分布（因变量），我们需要选择一个对于这个分布最佳的连结函数。它就是Logit函数。在上述方程中，通过观测样本的极大似然估计值来选择参数，而不是最小化平方和误差（如在普通回归使用的）。

要点：

    它广泛的用于分类问题。

    逻辑回归不要求自变量和因变量是线性关系。它可以处理各种类型的关系，因为它对预测的相对风险指数OR使用了一个非线性的log转换。

    为了避免过拟合和欠拟合，我们应该包括所有重要的变量。有一个很好的方法来确保这种情况，就是使用逐步筛选方法来估计逻辑回归。

    它需要大的样本量，因为在样本数量较少的情况下，极大似然估计的效果比普通的最小二乘法差。

    自变量不应该相互关联的，即不具有多重共线性。然而，在分析和建模中，我们可以选择包含分类变量相互作用的影响。

    如果因变量的值是定序变量，则称它为序逻辑回归。

    如果因变量是多类的话，则称它为多元逻辑回归。

3. Polynomial Regression多项式回归

对于一个回归方程，如果自变量的指数大于1，那么它就是多项式回归方程。如下方程所示：

y=a+b*x^2

在这种回归技术中，最佳拟合线不是直线。而是一个用于拟合数据点的曲线。

重点：

    虽然会有一个诱导可以拟合一个高次多项式并得到较低的错误，但这可能会导致过拟合。你需要经常画出关系图来查看拟合情况，并且专注于保证拟合合理，既没有过拟合又没有欠拟合。下面是一个图例，可以帮助理解：

    明显地向两端寻找曲线点，看看这些形状和趋势是否有意义。更高次的多项式最后可能产生怪异的推断结果。

4. Stepwise Regression逐步回归

在处理多个自变量时，我们可以使用这种形式的回归。在这种技术中，自变量的选择是在一个自动的过程中完成的，其中包括非人为操作。

这一壮举是通过观察统计的值，如R-square，t-stats和AIC指标，来识别重要的变量。逐步回归通过同时添加/删除基于指定标准的协变量来拟合模型。下面列出了一些最常用的逐步回归方法：

    标准逐步回归法做两件事情。即增加和删除每个步骤所需的预测。

    向前选择法从模型中最显著的预测开始，然后为每一步添加变量。

    向后剔除法与模型的所有预测同时开始，然后在每一步消除最小显着性的变量。

这种建模技术的目的是使用最少的预测变量数来最大化预测能力。这也是处理高维数据集的方法之一。

5. Ridge Regression岭回归

岭回归分析是一种用于存在多重共线性（自变量高度相关）数据的技术。在多重共线性情况下，尽管最小二乘法（OLS）对每个变量很公平，但它们的差异很大，使得观测值偏移并远离真实值。岭回归通过给回归估计上增加一个偏差度，来降低标准误差。

上面，我们看到了线性回归方程。还记得吗？它可以表示为：

y=a+ b*x

这个方程也有一个误差项。完整的方程是：

y=a+b*x+e (error term),  [error term is the value needed to correct for a prediction error between the observed and predicted value]

=> y=a+y= a+ b1x1+ b2x2+....+e, for multiple independent variables.

在一个线性方程中，预测误差可以分解为2个子分量。一个是偏差，一个是方差。预测错误可能会由这两个分量或者这两个中的任何一个造成。在这里，我们将讨论由方差所造成的有关误差。

岭回归通过收缩参数λ（lambda）解决多重共线性问题。看下面的公式

在这个公式中，有两个组成部分。第一个是最小二乘项，另一个是β2（β-平方）的λ倍，其中β是相关系数。为了收缩参数把它添加到最小二乘项中以得到一个非常低的方差。

要点：

    除常数项以外，这种回归的假设与最小二乘回归类似；

    它收缩了相关系数的值，但没有达到零，这表明它没有特征选择功能

    这是一个正则化方法，并且使用的是L2正则化。

6. Lasso Regression套索回归

它类似于岭回归，Lasso （Least Absolute Shrinkage and Selection Operator）也会惩罚回归系数的绝对值大小。此外，它能够减少变化程度并提高线性回归模型的精度。看看下面的公式：

Lasso 回归与Ridge回归有一点不同，它使用的惩罚函数是绝对值，而不是平方。这导致惩罚（或等于约束估计的绝对值之和）值使一些参数估计结果等于零。使用惩罚值越大，进一步估计会使得缩小值趋近于零。这将导致我们要从给定的n个变量中选择变量。

要点：

    除常数项以外，这种回归的假设与最小二乘回归类似；

    它收缩系数接近零（等于零），这确实有助于特征选择；

    这是一个正则化方法，使用的是L1正则化；

· 如果预测的一组变量是高度相关的，Lasso 会选出其中一个变量并且将其它的收缩为零。

7.ElasticNet回归

ElasticNet是Lasso和Ridge回归技术的混合体。它使用L1来训练并且L2优先作为正则化矩阵。当有多个相关的特征时，ElasticNet是很有用的。Lasso 会随机挑选他们其中的一个，而ElasticNet则会选择两个。

Lasso和Ridge之间的实际的优点是，它允许ElasticNet继承循环状态下Ridge的一些稳定性。

要点：

    在高度相关变量的情况下，它会产生群体效应；

    选择变量的数目没有限制；

    它可以承受双重收缩。

除了这7个最常用的回归技术，你也可以看看其他模型，如Bayesian、Ecological和Robust回归。

如何正确选择回归模型？

当你只知道一个或两个技术时，生活往往很简单。我知道的一个培训机构告诉他们的学生，如果结果是连续的，就使用线性回归。如果是二元的，就使用逻辑回归！然而，在我们的处理中，可选择的越多，选择正确的一个就越难。类似的情况下也发生在回归模型中。

在多类回归模型中，基于自变量和因变量的类型，数据的维数以及数据的其它基本特征的情况下，选择最合适的技术非常重要。以下是你要选择正确的回归模型的关键因素：

    数据探索是构建预测模型的必然组成部分。在选择合适的模型时，比如识别变量的关系和影响时，它应该首选的一步。

    比较适合于不同模型的优点，我们可以分析不同的指标参数，如统计意义的参数，R-square，Adjusted R-square，AIC，BIC以及误差项，另一个是Mallows’ Cp准则。这个主要是通过将模型与所有可能的子模型进行对比（或谨慎选择他们），检查在你的模型中可能出现的偏差。

    交叉验证是评估预测模型最好额方法。在这里，将你的数据集分成两份（一份做训练和一份做验证）。使用观测值和预测值之间的一个简单均方差来衡量你的预测精度。

    如果你的数据集是多个混合变量，那么你就不应该选择自动模型选择方法，因为你应该不想在同一时间把所有变量放在同一个模型中。

    它也将取决于你的目的。可能会出现这样的情况，一个不太强大的模型与具有高度统计学意义的模型相比，更易于实现。

    回归正则化方法（Lasso，Ridge和ElasticNet）在高维和数据集变量之间多重共线性情况下运行良好。

原文链接：7 Types of Regression Techniques you should know!（译者/刘帝伟 审校/刘翔宇、朱正贵 责编/周建丁）

译者简介： 刘帝伟，中南大学软件学院在读研究生，关注机器学习、数据挖掘及生物信息领域。

P Quant 和 Q Quant 到底哪个是未来？

金融专业课堂：在 Quant 江湖里相爱相杀的两个门派

P Quant 和 Q Quant 到底哪个是未来？

by：董可人

武林史上，剑气之争向来难离恩怨情仇。这一次也不例外。

先来介绍一下本篇主角，Q 宗与 P 宗。

Q 是指风险中性测度。风险中性的意思主要是说历史数据不能帮助你预测未来的走势，所以你的决策是没有风险补偿的。这当然是一个非常虚幻的假设，但是由此而得 的模型可以给出漂亮的数学性质，而且可以在缺乏数据的情况下得到一些结论，所以有一定的实际意义。涉及的数学技术主要是随机过程、偏微分方程之类。在数学 派系里，这些显得相对高端，一般人概念里都是那些脑袋不太正常的人类捣鼓的玩意。

P 是指真实概率测度。所谓真实，主要是说模型依赖的概率分布是从历史数据上估算出来的。严格来讲我个人不认为这种东西叫做“真实”，最多只能说是从真实数据 上估算出来的，显然没有什么东西保证历史一定会重演（比如黑天鹅）。但是这个是目前大家公认的说法，所以咱们不较真。从定义可以看出这套方法主要依赖数 据，数据量越大估算的效果越好。涉及的技术主要是时间序列（ARIMA，GARCH 之类）、Bayesian 以及现在流行的机器学习等方法。不难看出，为了倒腾数据，这套方法练到上层就要开始刷装备。在电子化时代这最终演化为拼机房的军备竞赛。

两者对比可以看出，Q 重模型而轻数据，P 则重数据而轻模型。当然两者也都要即有模型也有数据，但从应用上来讲，Q 者是模型固定，用数据来精化模型的参数（calibration）；而 P 者则可以有若干备选模型，由数据的计算结果来选择最佳的模型（estimation）。

这个区别也造成在业界的划 分。Q 可以让你在缺少数据的情况得出一些结论，从而可以凭空制造一些东西出来，所以卖方（投行）用来做衍生品定价，业务模式是开发新的衍生品出来卖出去。P 则喜欢大数据量，这天然就是买方（Hedge Fund 类）所需要的技术，因为他们本来就需要针对大量证券做出筛选和投资决策，业务是数据驱动的。

理 清两者的区别后，就可以看出发展方向上的不同。本质上说，Q 宗是一种制造业，大家比的就是造出更多更好的衍生品来卖，但如果生产出来的东西没人买，显然生意就做不下去。而 P 宗其实属于服务业，那些数据技术不会给你创造出什么新产品，而是通过对本来就存在的业务（比如投资决策）进行精细加工，来达到优化的目的（特别值得强调的 是，量化的核心价值始终在于优化，绝非单纯追求所谓 alpha 者之超额收益。事实上，若你真的领悟此间真谛，牢牢把握住优化求精的思想，即使不关心 alpha 也足以让你在乱世中安身立命）。但如果大家都在既定条件下优化到了极限，显然也就不会再继续投入。

分析到这里可以看出，这两者的思路都有可取之处，从逻辑上讲都有继续发展的空间。以长远的眼光来看，很难分出高下。

但回顾历史，P 宗一度因为走的是统计一派处于数学鄙视链底端的屌丝路线，手里的数据也实在不够看，很长时间里挺不受人待见的。

在那段非主流的日子里，生活挺心酸的。大家经常嘲笑他们搅来搅去就会弄点回归，算个均值，太没出息。手里的数（kou）据（liang）有限，没事只能发呆。

在那个洪荒的时代，也实在没什么好装备，练功只能靠山寨。

同一时段，Q 派则充分发挥人脑优势，逼格逆天。华尔街上，精通此道的数学物理博士们一时风头无两，是各大行纷纷争抢的宠儿。主流金融机构都在热衷于开发各种复杂的衍生 品，发挥到极致后可以把能卖的不能卖的都打包到一块，盘子越做越大，一派不尽长江滚滚来的势头。特别是当年衍生品大行其道的时候，Q 宗的定价能力甚至还可以用来寻找市面产品的错误定价，从而发现能直接盈利的套利机会。这一切给 Q 宗带来爆发式的增长。

但时来运转，进入新世纪，开始出现 Q 弱 P 强的趋势。这里面主要有两点原因。

第一是 08 年金融危机一来，Q 宗搞出来的那些已经无人能看懂的衍生品贱贱地一把烧掉了大家的钱，让人们意识到这条路线的危险性。

08 年在 Q 宗的心底留下一个挥之不去的烙印，华尔街上 Q 宗子弟尸横遍野，自此之后风光不再。更甚者，在当年辉煌的废墟之下，大量遗留下来的已经定型的 Q 类工作不再需要太多的数学分析，反而蜕变成相当机械性的体力活。而伴随着竞争者的涌入，定价错误的机会也一减再减。这一切成为了今日 Q 宗的梦魇。

但若透过现象看本质，你会发现人家的心法根基仍在，说不定哪一天就会上演绝地反攻。永远不要低估一个文艺青年追求理想的决心。

第二点，随着 IT 业接二连三的产业升级，个人电脑，互联网，到现在的智能手机，催生出能极其方便的处理海量数据的计算技术，美其名曰“大数（xing）据（zuo）技（suan）术（ming）”。这直接带来 P 宗迫切需要的装备升级。

同时金融业也开始推行电子化。交易所的电子化，以及自动化交易直至最近的高频交易，带来交易数据的极速增长。技（zhuang）术（bi）和数（mei） 据（zi）二者兼具，P 宗心中梦幻的舞台开始浮现，一举成为时代选择的新星。而在这个拼爹的新世纪，假人力者似乎注定只能在其背后叹息。

但不要忘了，天下武学本是一家。若执着于派系之分，终不免落入下乘。要想达至 Quant 最高境界，就必须要了解宇宙苍生。事实上，Q 宗一派已然深谙此道。君不见各大藤校 Q 宗培训班早已明修暗渡引入 P 宗修习课程，正所谓蓦然回首，那人已在痴痴地等。此道亦应为 P 宗所用。武学正宗是为 Q 中有 P，P 中有 Q，道法自然。

由是者，古老的数学家们用纸与笔推演的疯狂，在数字化时代化身为集成电路中奔驰的 0 与 1。我相信时至今日，人们仍未能完全明了此间图景的全部可能。在新的时代，程序代码已经开始成为继数学之后的新生一代科学普适语言。硅基装备给碳基人类带 来的，绝不仅仅是逼格，更是希望之翼。

随着人们生产，收集，分析数据的能力大规模提升，我们眼前展开的是一个前所未有的数据时代。也许，在浪潮之后我们会发现这场数据盛宴并不一定能带来对世界本源的更深层认识，但是在这时代开端，无人知晓山的另一边是什么风景。好奇心的驱使已经足以使世人疯狂。问谁又能抵挡住名为可能性者的诱惑呢？

混沌已开，英雄将至。世纪新篇的主题词，是为梦想。

And then a hero comes along
With the strength to carry on
And you cast your fears aside
And you know you can survive

（完）