亚马逊为何聘用一名修车工管理云帝国?
北京时间2月21日消息,《连线》杂志网络版近*载文章称,设计日益复杂的数据中心“帝国”是亚马逊网络服务背后的推动力,这项服务不啻于一场革命。但是,伴随这种巨大成功而来的是一整套的计算问题,而身为亚马逊“杰出工程师”的詹姆斯·汉密尔顿正是负责解决这些问题的主要人物之一。
以下是这篇文章的全文:
在2011年8月份某个阴雨连绵的周一,北弗吉尼亚一个1000万瓦特的变压器发生爆炸,在整个电网中带来了庞大的突增瞬间电压,对亚马逊位于弗吉尼亚州阿什伯恩(Ashburn)的一个数据中心造成了重创,导致这个数据中心的主电源关闭。在大约15分钟以后,詹姆斯·汉密尔顿(James Hamilton)恰好驶入了这个数据中心的停车常
对阿什伯恩数据中心来说,汉密尔顿在那个时刻到来只是一个意外的惊喜。汉密尔顿是亚马逊的“杰出工程师”,他管理着该公司设计日益复杂的数据中心“帝国”,这个庞大的帝国是亚马逊网络服务(Amazon Web Services)背后的推动力——这项服务不啻于一场革命,它所聚集的在线服务为全球范围内的诸多公司提供运算能力,包括全球最大的在线视频服务提供商Netflix、图片社交网站Pinterest和云存储服务提供商Dropbox等。
当汉密尔顿和他的团队赶到时,这个数据中心的备用发电机已经启动;但由于某种原因,备用发电机的电力未能传输到数据中心内部的服务器。汉密尔顿到达时,这些服务器已经耗尽了电池系统的大部分电力,这个系统的功能是在断电时暂时维持服务器的运行。“我们抵达时,服务器正开始宕机。”哈密尔顿在最近于拉斯维加斯召开的一次亚马逊会议上发表讲话时回忆道。“那真是太烦人了,太烦人了。”
“太烦人了”这种表述已经是婉转的说法。汉密尔顿的工作是用他冷静的头脑去应对这种情况,以及找出办法避免未来出现类似的问题。他和他的团队最终认识到,对于亚马逊来说,当时向数据中心服务器提供备用电力的发电机是不适用的——在数据中心里,像这样的宕机是永远都不能发生的。今天,这家公司已经设计了自己的电力装置,这种装置使用可编程逻辑控制器(programmable logic controller,PLC)。“我们已经拥有多家开关装置提供商。”汉密尔顿在拉斯维加斯会议上说道。“我们已经对所有这些提供商的PLC程序设计进行了仔细检查,也对我们所有的开关装置进行了编码复核。”
当亚马逊在2006年推出EC2和S3网络服务时,这些服务令运算行业发生了改变。大型服务器厂商——其中最引人注目的是Sun Microsystems——此前一直都在筹划一个想法,那就是以类似于公用事业公司出售水或电力的方式来出售计算能力;但令所有人都感到大吃一惊的是,到最后却是亚马逊这家图书和CD零售商成功开发出了一整套服务,让市场乐意付钱购买。在七年以后的今天,这家公司正在运营一项价值巨亿的云计算业务,从知名云计算公司Rackspace到惠普等许多公司都想要复制亚马逊的成功。
但是,伴随这种巨大成功而来的是一整套的计算问题,而汉密尔顿正是负责解决这些问题的主要人物之一,他正在努力反思,想要建设云计算时代的数据中心。在很大程度上与其他两家云计算巨头——谷歌和微软——相似的是,亚马逊也几乎并未透露这家公司有关数据中心工作的细节,将其视为最重要的商业秘密。但是,鉴于汉密尔顿的崇高地位,他是亚马逊员工中为数不多地获许在博客上发表自己重大想法的人之一。现在,这位拥有一半加拿大血统的亚马逊工程师已经在业界建立起了配电系统专家的名声。
“他真的非常内行。”Netflix的云架构负责人阿德里安·柯克罗夫特(Adrian Cockcroft)说道,这家公司是亚马逊最引人瞩目的客户。“他从事这个领域的工作已经有很长时间,设计了很多有趣的东西。”
对Netflix来说,亚马逊“即付即用”的计算服务是最理想的选择。在每个周日的晚上,到Netflix网站上观看电影的用户人数会大幅增加;然后到下个周一时,这些用户中的大多数都会突然消失。通过与亚马逊之间的合作,这家公司能在需要的时候获得必需的资源,在不需要的时候释放资源。但是,柯克罗夫特和Netflix还必须相信,亚马逊有能力始终维持其庞大的数据中心的正常运作,而且价格也远低于Netflix自己运营数据中心的费用。这就是汉密尔顿负责的领域。
当苹果称其将建设一个占地100英亩(约合0.4平方千米)的太阳能电厂,来为该公司在北卡罗来纳州梅登(Maiden)运营的规模庞大的数据中心提供清洁能源时,大多数人都情不自禁地想要将其视为“上帝的绿色地球”(God’s Green Earth)那种美好未来的重大胜利。但汉密尔顿并不这么想。
“我就是算不过这笔账来。”他在去年写道。“我很想知道,这种庞大的太阳能电厂是否只是糟糕的想法和纯粹的营销。这种项目对环境的影响是肉眼可见的。”
汉密尔顿不是营销人员,而是一名工程师,只会从工程师的角度出发来看待问题。他指出,太阳能电厂必须庞大到令人觉得荒谬可笑的程度,才能大幅降低苹果规模巨大的数据中心将给周边环境所带来的压力。他极力主张,虽然苹果计划建设的这个太阳能电厂占地多达100英亩,但很可能只能提供运营数据中心所需要的4%左右的电力。
根据汉密尔顿的计算,如果想要为占地50万平方英尺(约合4.6万平方米)的数据中心提供全部电力,那么就需要建设一个1.81亿平方英尺(约合16.8平方千米)的太阳能电厂。“有很多方法能从根本上降低数据中心对环境造成的影响,同时又不需要占用如此之多的土地。”汉密尔顿说道。“我会首选降低配电、冷却、存储、网络和服务器的效率和提高整体利用率,来作为降低数据中心行业对环境造成之影响的最好方法。”
从法拉利到数据中心
当去年11月份我们在拉斯维加斯碰到汉密尔顿时,他和妻子珍妮佛·汉密尔顿(Jennifer Hamilton)还有他的猫“喷火”(Spitfire)刚刚在无边的大海上度过了11天,驾驶着他们的游艇“狄罗娜”(Dirona)号从旧金山开到了夏威夷。汉密尔顿并非人们眼中传统意义上的典型工程师,他还是一名“船夫”——他甚至会生活在船上,偶尔才会停泊到亚马逊网络服务西雅图总部附近的贝尔海港码头(Bell Harbor Marina)——而在此以前,他还曾做过汽车修理师,专业修理兰博基尼和法拉利。
在二十世纪八十年代,汉密尔顿从修车转向数据库行业,曾致力于开发IBM的DB2数据库和微软SQL Server。NetFlix的柯克罗夫特几年以前曾在加利福尼亚州阿西洛玛(Asilomar)跟汉密尔顿碰面,这次会议是只有接到邀请函的人士才能出席的,其联合创始人是吉姆·格雷(Jim Gray)。格雷是数据中心领域中传奇性的专家,业界经常会把他与汉密尔顿相提并论。格雷和汉密尔顿一样都很热爱大海——悲哀的是,格雷六年前在加利福尼亚州北部的海面上消失无踪——两人曾在供职于IBM时一同推进了数据库研究的边界,随后汉密尔顿跳槽到了微软。
但在微软供职时,汉密尔顿对数据中心着了迷,在一个名为“数据中心未来”(Data Center Futures)的研究团队中担任建筑工程师。在2009年,他跳槽到亚马逊,负责类似的公司,不过许多细节仍旧都不为人所知,原因是亚马逊和微软都不愿公布有关数据中心的秘密。当我们询问微软数据中心集团主管大卫·高蒂耶(David Gauthier)他是否认识汉密尔顿时,他回答道:“是的,我确实花了很多时间跟汉密尔顿一起合作,随后他离开了微软”,但随后就拒绝透露更多事情。
但我们时不时地会听说汉密尔顿正在如何改变数据中心世界的故事。当汉密尔顿供职于微软时,曾有报道称他是微软发展模块化数据中心计划背后的推动力之一。当我们在拉斯维加斯跟汉密尔顿一起喝啤酒时,他证实亚马逊目前正在设计自己的服务器,目的是在自身庞大的数据中心帝国中削减成本。
在过去几年时间里,汉密尔顿一直都在华盛顿大学发表客座演讲,内容涉及一系列有关数据中心设计和效率的“惊人言论”,华盛顿大学计算机系教授艾德·拉佐斯卡(Ed Lazowska)说道。但拉佐斯卡强调指出,这些言论只能代表汉密尔顿工作内容的“冰山一角”,他的工作非常“宽泛深远”——同样的词他还曾用在失踪的格雷身上。
文艺复兴式的黑客
在大约四年以前,詹姆斯夫妇卖掉了自己的房子、汽车和大多数身外之物,搬到了“狄罗娜”号上。现在,当汉密尔顿停泊在西雅图时,他会骑自行车去亚马逊总部,通过亚马逊Amazon Prime服务购物,在当地的UPS办事处收邮件。但他不会一直都滞留在西雅图,有时他会驾船开往夏威夷,然后在那里工作。
简而言之,汉密尔顿“黑”了自己的生活。他会重新思考自己的生活,然后将其变得焕然一新。汉密尔顿是那种想要“黑”掉一切的人,这就是亚马逊想要他的原因。
亚马逊已经在全球范围内建立了诸多数据中心,从巴西到新加坡到爱尔兰,可以说是无处不在。去年,亚马逊在科技和内容领域中花费了45亿美元资金;虽然亚马逊并未透露该公司在数据中心业务上花了多少钱,但在2012年增加的16亿美元科技和内容支出中,亚马逊网络服务占据了多数比例。由于涉及数十亿美元的庞大资金,因此亚马逊一定需要有人能维持数据中心的运作,而且要维持尽可能有效的运作。
拉佐斯卡说道,这种人才是可遇不可求的。“即使是在微软、亚马逊和谷歌这样的大型公司中,也只有很少人能真正理解你需要把重点放在哪里。如果你的目标是想要尽可能地以成本效益良好的方式来运营数据中心,那么需要朝着什么方向努力呢?”
而詹姆斯·汉密尔顿正是这样的人才之一。