阿里双11狂欢幕后：打造世界级计算引擎
程序员文章站
2022-07-07 10:35:21
2015天猫双11全球狂欢节拉开帷幕，阿里巴巴的工程师们又忙碌了起来。在力保全球“剁手党”顺畅购物的同时，他们还将在双11验证多项开创性技术，对全世界展示阿里巴巴的整体技术实力... 15-11-11...
2015天猫双11全球狂欢节拉开帷幕，阿里巴巴的工程师们又忙碌了起来。在力保全球“剁手党”顺畅购物的同时，他们还将在双11验证多项开创性技术，对全世界展示阿里巴巴的整体技术实力。
阿里巴巴双11技术总指挥刘振飞表示：“双11不仅是一场全球消费者的狂欢，也是对中国互联网技术体系的实力检验。一下子几千万人涌进来买买买， 这种真实的商业场景全世界一年也只有一次。阿里技术人能够用世界级的技术创新，支撑世界级的经济现象，是非常幸运的。
异地多活：给1000公里外的飞机换引擎
去年双11，阿里巴巴在全球首创交易系统“异地双活”，而今年有了更大的突破：在支付宝这样高度复杂与严谨的金融系统中，实现1000公里以上的“异地多活”能力。
“异地多活”已经超越了两地三中心等传统灾备概念，可实现多地数据中心像一个数据中心一样工作，即使某一处数据中心出现故障，双11在线业务仍然能够快速恢复正常运转。
“数据中心的切换，要在用户毫无感知的情况下进行，这就像为正在飞行的波音747飞机更换引擎。不仅不能影响飞行，飞机上的乘客也不能有感觉”。目前，阿里巴巴支撑双11的多地数据中心，最远距离已超过1000公里，这就意味着阿里巴巴具备了在全国任意节点部署系统的能力。
公开资料显示，全球能够做到异地多活技术的只有少数几家互联网巨头，如google、facebook。但二者的搜索、社交场景对数据同步性的要求远不如交易、支付场景苛刻，“如果你账户里的钱无缘无故地多一个0或少一个0，后果都很严重。”
同时，阿里巴巴正在将这一过程中积累的技术逐步开放。比如，可以在较长延时的情况下解决多点数据同步的技术，已经通过阿里云数据传输产品（data transmission）对外开放，能够让云用户轻松实现远距离、毫秒级异步数据传输。
oceanbase: 双11背后的中国自研数据库
今年双11的核心交易流量，将100%由金融级海量数据库oceanbase承载。这一事件将对全球it业的格局产生深远影响。
oceanbase由阿里巴巴自主研发，是中国首个具有自主知识产权的数据库，也是全球首个应用在金融业务的分布式关系数据库。
oceanbase 2010年诞生，2014年支撑了10%的双11交易流量。今年6月，网商银行开业，底层数据库全部采用oceanbase，是第一家完全摆脱商业数据库的金融机构。而paypal等美国金融机构，仍然主要依靠oracle等。
与传统数据库相比，oceanbase的系统维护，不需要昂贵的共享存储设备和高性能服务器，还能节省数据库软件的许可费，和常用的商业数据库相比，成本不到其一半。同时，分布式的系统，可以更好地应对双11这类大流量冲击：弹性能力可保证大促之前完成一键扩容、大促之后实现一键缩容。
同样，oceanbase也计划于明年通过阿里云的公共云计算平台对外界开放。
一键建站：90分钟再造淘宝天猫
每年双11，为了应对巨大的流量冲击，阿里都需要新建淘宝和天猫的交易单元，与原有的系统一起“协同作战”，以便分散流量，减轻系统负担。
以往，重新部署一套交易单元至少需要提前1个月的时间准备。今年双11，由于采用了“一键建站”的技术，使得这项费时费力的巨大工程，得以在90分钟之内自动化完成。
一键建站，是指在基础设施具备的条件下，通过阿里自研的自动化软件，将中间件、数据库、商品交易系统、商品展示系统等上百个电商核心系统，像搭积木一样部署完成。整个过程一键完成，基本无需人工干预，所需时间不到90分钟。
计算能力输出：商家可日处理400万订单
今年，阿里云将继续通过聚石塔向双11商家输送充足的计算能力。搭建在阿里云平台上的聚石塔，今年预计将处理99%以上的双11订单，可支持单个天猫商家日处理订单超过400万单。
2012年开始，聚石塔以阿里云为基础推出一整套的解决方案，为天猫、淘宝平台上的服务商及商家服务。聚石塔部署在阿里云的远程数据中心中，安全条件、稳定性、性能远超过商家的办公环境和传统idc，针对设备故障，断网断电等均有应急预案。
在传统模式下，商家做促销时要进行服务器扩容，小卖家要去电脑城买几台机器扛回家，大卖家则需要临时寻找idc资源，在应对了促销节点之后，业务量回落，服务器又会闲置无用，造成了很大浪费。通过聚石塔，商家可随时线上扩充服务器资源，想用几天就用几天，用后再缩回去，低碳环保又省钱。
2014年，聚石塔处理了96%的双11订单，无一故障、无一漏单。2015年，通过云计算系统的优化，中间件能力的使用，服务商应用系统整体性能比之前提升62%，能支持单个商家每天400万以上的订单处理能力。
金融云架构：日支付处理能力达10亿笔
据介绍，目前支付宝在技术上已全面升级到金融云架构，可以支持每日十亿笔以上的支付处理能力，并且具备了金融级的“异地多活”容灾能力。
跟支付宝有合作的200多家银行，一直是双11支付保障的主力军。今年各家银行的系统容量在去年双11的基础上扩大了一倍。从8月份开始，各家银行就逐步对扩容后的系统进行仿实战的高强度压力测试。压测覆盖了用户从开始购物到创建交易、访问收银台到最终完成支付的整个链路，确保包含基础设施、业务系统和银行渠道在内的整个系统可以稳定支撑双11的惊人支付洪峰。
odps：数据狂欢背后的超强计算引擎
“整个天猫双11，你看到的一切，几乎都是由算法决定的。”在数据科学家们看来，双11是无数个“0和1”、成千上万套算法的叠加。这是一场机器和数学公式主导的全球购物狂欢。
今年双11，无线端的交易将占主导地位。如何利用阿里巴巴存储的数百pb数据，在狭小的手机屏幕为用户创造更智能化的购物体验？这一切都将通过阿里云自主研发的大数据处理平台odps来计算。
今年双11，淘宝、天猫、支付宝、菜鸟等所有大数据处理工作，都将由阿里云odps来完成。在刚刚结束的2015世界sort benchmark排序比赛中，阿里云odps用377秒完成了100tb的数据排序，打破了此前apache spark创造的1406秒纪录，一举创造4项世界纪录。
此外，odps的实时计算系统streamsql，双11当天预计日消息处理量将达上万亿条。而这一能力，正在通过阿里云逐步开放出来。
通过odps的大数据和实时计算能力，淘宝天猫正在进行这样的尝试：让商家可以根据消费者的实时位置推荐商品。比如，当外地游客在逛西湖时，不妨推荐一些杭州特产。
datav：实时触摸数据世界的脉搏
在阿里巴巴每天海量的交易面前，如何精准把握由数据脉搏带来的趋势也成为极大的挑战。对此，阿里巴巴研发了datav数据可视化引擎，该引擎完全基于web 技术 ，可快速、低成本的部署。用于内部的商品、交易、支付、数据中心等的可视化呈现和管理，帮助实现更精准的调控。
自2013年起，双11交易数据大屏成为对外直播狂欢节的重要窗口，而在2015年的全球狂欢节上，这一巨型数据大屏还将移植到水立方，以实时动态可视图的方式向全球用户直播双11的数据魅力。
据悉，水立方数据大屏上，该数据可视化引擎既可以利用3d webgl技术从宏观角度展示双十一平台总体交易订单实时流向的全量展示，也可以通过便捷的交互手段，深入到城市级别进行微观的人群画像分析。
目前，这一技术已计划通过阿里云向外输出，很快将会有标准化产品推出。
全站https加密 保全球用户访问安全
双11已经成为全球的节日，如果非洲的朋友想买个中国产的马桶，他的体验会是如何呢？
为提供更安全快速的访问体验，阿里云今年在全球部署cdn的国家和地区增加到30多个，覆盖除南极洲外的六大洲，可从容应对越来越多的海外用户同时访问。在国内，阿里云拥有近500个cdn节点，带宽服务能力超10tbps，实现毫秒级响应。
不仅要快，还要安全，阿里云cdn为保障此次双11狂欢节，帮助淘宝、天猫、聚划算等阿里电商平台全面实现了https加密访问，能有效防止资源被劫持，使用户端与服务器之间收发的信息传输更加安全。据悉，这也是全球首家大型电商网站实现全站https加密访问。
精准识别流量是用户还是黑客攻击
遇到双十一类似的重大促销节点，不少电商平台流量激增。此时此刻，如何分辨哪些是正常流量，哪些是黑客借机恶意攻击捣乱，过去一直是个老大难。
今年双十一期间，阿里云安全团队通过数据模型实现了ddos的检测。当流量来袭，在进行安全防御之前，系统通过好人行为模型，恶意ip地址比对等技术手段，完成了对流量成分的分析，并最终实现了每次大促不放过一个黑客攻击，更不让一个用户正常访问受阻的愿景。
细心的淘宝用户可能已经发现，今年双十一省略了繁琐的验证码输入，买买买的体验更顺滑了。这背后就是阿里云安全团队反欺诈产品的“功劳”。
过去，设置手动输入验证码主要是为了帮助系统识别正在交易的究竟是用户还是机器。随着反欺诈产品通过数据模型从用户敲击键盘、滑动鼠标、点击浏览页面等行为中计算分析出电脑前的究竟是真实的用户还是一台机器，验证码终将逐渐完成使命，退出风控防御的历史舞台。
目前，阿里云安全团队为双十一护航的各项能力已通过安全品牌云盾对外输出。
手机淘宝1秒打开
为了让今年双11消费者始终能保持飞一般的体验，手机淘宝搭建了一个世界级无线云平台，能够同时服务亿级用户，并实现了一系列技术优化：内存节省50%，滑动提速20%，1秒打开手淘页面。除此之外,双11会场全面个性化，让消费者在手机屏幕上也能轻松到自己喜欢的宝贝。
此外，手淘的攻城狮们还建立了2g网络实验室，通过不断模拟测试，实现2g弱网环境下的手机也能实现1秒建立连接，让没有智能手机和高速网络的消费者，也能拥有更流畅的购物体验。
加入阿里云11.11云端狂欢节：
阿里巴巴双11技术总指挥刘振飞表示：“双11不仅是一场全球消费者的狂欢，也是对中国互联网技术体系的实力检验。一下子几千万人涌进来买买买， 这种真实的商业场景全世界一年也只有一次。阿里技术人能够用世界级的技术创新，支撑世界级的经济现象，是非常幸运的。
异地多活：给1000公里外的飞机换引擎
去年双11，阿里巴巴在全球首创交易系统“异地双活”，而今年有了更大的突破：在支付宝这样高度复杂与严谨的金融系统中，实现1000公里以上的“异地多活”能力。
“异地多活”已经超越了两地三中心等传统灾备概念，可实现多地数据中心像一个数据中心一样工作，即使某一处数据中心出现故障，双11在线业务仍然能够快速恢复正常运转。
“数据中心的切换，要在用户毫无感知的情况下进行，这就像为正在飞行的波音747飞机更换引擎。不仅不能影响飞行，飞机上的乘客也不能有感觉”。目前，阿里巴巴支撑双11的多地数据中心，最远距离已超过1000公里，这就意味着阿里巴巴具备了在全国任意节点部署系统的能力。
公开资料显示，全球能够做到异地多活技术的只有少数几家互联网巨头，如google、facebook。但二者的搜索、社交场景对数据同步性的要求远不如交易、支付场景苛刻，“如果你账户里的钱无缘无故地多一个0或少一个0，后果都很严重。”
同时，阿里巴巴正在将这一过程中积累的技术逐步开放。比如，可以在较长延时的情况下解决多点数据同步的技术，已经通过阿里云数据传输产品（data transmission）对外开放，能够让云用户轻松实现远距离、毫秒级异步数据传输。
oceanbase: 双11背后的中国自研数据库
今年双11的核心交易流量，将100%由金融级海量数据库oceanbase承载。这一事件将对全球it业的格局产生深远影响。
oceanbase由阿里巴巴自主研发，是中国首个具有自主知识产权的数据库，也是全球首个应用在金融业务的分布式关系数据库。
oceanbase 2010年诞生，2014年支撑了10%的双11交易流量。今年6月，网商银行开业，底层数据库全部采用oceanbase，是第一家完全摆脱商业数据库的金融机构。而paypal等美国金融机构，仍然主要依靠oracle等。
与传统数据库相比，oceanbase的系统维护，不需要昂贵的共享存储设备和高性能服务器，还能节省数据库软件的许可费，和常用的商业数据库相比，成本不到其一半。同时，分布式的系统，可以更好地应对双11这类大流量冲击：弹性能力可保证大促之前完成一键扩容、大促之后实现一键缩容。
同样，oceanbase也计划于明年通过阿里云的公共云计算平台对外界开放。
一键建站：90分钟再造淘宝天猫
每年双11，为了应对巨大的流量冲击，阿里都需要新建淘宝和天猫的交易单元，与原有的系统一起“协同作战”，以便分散流量，减轻系统负担。
以往，重新部署一套交易单元至少需要提前1个月的时间准备。今年双11，由于采用了“一键建站”的技术，使得这项费时费力的巨大工程，得以在90分钟之内自动化完成。
一键建站，是指在基础设施具备的条件下，通过阿里自研的自动化软件，将中间件、数据库、商品交易系统、商品展示系统等上百个电商核心系统，像搭积木一样部署完成。整个过程一键完成，基本无需人工干预，所需时间不到90分钟。
计算能力输出：商家可日处理400万订单
今年，阿里云将继续通过聚石塔向双11商家输送充足的计算能力。搭建在阿里云平台上的聚石塔，今年预计将处理99%以上的双11订单，可支持单个天猫商家日处理订单超过400万单。
2012年开始，聚石塔以阿里云为基础推出一整套的解决方案，为天猫、淘宝平台上的服务商及商家服务。聚石塔部署在阿里云的远程数据中心中，安全条件、稳定性、性能远超过商家的办公环境和传统idc，针对设备故障，断网断电等均有应急预案。
在传统模式下，商家做促销时要进行服务器扩容，小卖家要去电脑城买几台机器扛回家，大卖家则需要临时寻找idc资源，在应对了促销节点之后，业务量回落，服务器又会闲置无用，造成了很大浪费。通过聚石塔，商家可随时线上扩充服务器资源，想用几天就用几天，用后再缩回去，低碳环保又省钱。
2014年，聚石塔处理了96%的双11订单，无一故障、无一漏单。2015年，通过云计算系统的优化，中间件能力的使用，服务商应用系统整体性能比之前提升62%，能支持单个商家每天400万以上的订单处理能力。
金融云架构：日支付处理能力达10亿笔
据介绍，目前支付宝在技术上已全面升级到金融云架构，可以支持每日十亿笔以上的支付处理能力，并且具备了金融级的“异地多活”容灾能力。
跟支付宝有合作的200多家银行，一直是双11支付保障的主力军。今年各家银行的系统容量在去年双11的基础上扩大了一倍。从8月份开始，各家银行就逐步对扩容后的系统进行仿实战的高强度压力测试。压测覆盖了用户从开始购物到创建交易、访问收银台到最终完成支付的整个链路，确保包含基础设施、业务系统和银行渠道在内的整个系统可以稳定支撑双11的惊人支付洪峰。
odps：数据狂欢背后的超强计算引擎
“整个天猫双11，你看到的一切，几乎都是由算法决定的。”在数据科学家们看来，双11是无数个“0和1”、成千上万套算法的叠加。这是一场机器和数学公式主导的全球购物狂欢。
今年双11，无线端的交易将占主导地位。如何利用阿里巴巴存储的数百pb数据，在狭小的手机屏幕为用户创造更智能化的购物体验？这一切都将通过阿里云自主研发的大数据处理平台odps来计算。
今年双11，淘宝、天猫、支付宝、菜鸟等所有大数据处理工作，都将由阿里云odps来完成。在刚刚结束的2015世界sort benchmark排序比赛中，阿里云odps用377秒完成了100tb的数据排序，打破了此前apache spark创造的1406秒纪录，一举创造4项世界纪录。
此外，odps的实时计算系统streamsql，双11当天预计日消息处理量将达上万亿条。而这一能力，正在通过阿里云逐步开放出来。
通过odps的大数据和实时计算能力，淘宝天猫正在进行这样的尝试：让商家可以根据消费者的实时位置推荐商品。比如，当外地游客在逛西湖时，不妨推荐一些杭州特产。
datav：实时触摸数据世界的脉搏
在阿里巴巴每天海量的交易面前，如何精准把握由数据脉搏带来的趋势也成为极大的挑战。对此，阿里巴巴研发了datav数据可视化引擎，该引擎完全基于web 技术 ，可快速、低成本的部署。用于内部的商品、交易、支付、数据中心等的可视化呈现和管理，帮助实现更精准的调控。
自2013年起，双11交易数据大屏成为对外直播狂欢节的重要窗口，而在2015年的全球狂欢节上，这一巨型数据大屏还将移植到水立方，以实时动态可视图的方式向全球用户直播双11的数据魅力。
据悉，水立方数据大屏上，该数据可视化引擎既可以利用3d webgl技术从宏观角度展示双十一平台总体交易订单实时流向的全量展示，也可以通过便捷的交互手段，深入到城市级别进行微观的人群画像分析。
目前，这一技术已计划通过阿里云向外输出，很快将会有标准化产品推出。
全站https加密 保全球用户访问安全
双11已经成为全球的节日，如果非洲的朋友想买个中国产的马桶，他的体验会是如何呢？
为提供更安全快速的访问体验，阿里云今年在全球部署cdn的国家和地区增加到30多个，覆盖除南极洲外的六大洲，可从容应对越来越多的海外用户同时访问。在国内，阿里云拥有近500个cdn节点，带宽服务能力超10tbps，实现毫秒级响应。
不仅要快，还要安全，阿里云cdn为保障此次双11狂欢节，帮助淘宝、天猫、聚划算等阿里电商平台全面实现了https加密访问，能有效防止资源被劫持，使用户端与服务器之间收发的信息传输更加安全。据悉，这也是全球首家大型电商网站实现全站https加密访问。
精准识别流量是用户还是黑客攻击
遇到双十一类似的重大促销节点，不少电商平台流量激增。此时此刻，如何分辨哪些是正常流量，哪些是黑客借机恶意攻击捣乱，过去一直是个老大难。
今年双十一期间，阿里云安全团队通过数据模型实现了ddos的检测。当流量来袭，在进行安全防御之前，系统通过好人行为模型，恶意ip地址比对等技术手段，完成了对流量成分的分析，并最终实现了每次大促不放过一个黑客攻击，更不让一个用户正常访问受阻的愿景。
细心的淘宝用户可能已经发现，今年双十一省略了繁琐的验证码输入，买买买的体验更顺滑了。这背后就是阿里云安全团队反欺诈产品的“功劳”。
过去，设置手动输入验证码主要是为了帮助系统识别正在交易的究竟是用户还是机器。随着反欺诈产品通过数据模型从用户敲击键盘、滑动鼠标、点击浏览页面等行为中计算分析出电脑前的究竟是真实的用户还是一台机器，验证码终将逐渐完成使命，退出风控防御的历史舞台。
目前，阿里云安全团队为双十一护航的各项能力已通过安全品牌云盾对外输出。
手机淘宝1秒打开
为了让今年双11消费者始终能保持飞一般的体验，手机淘宝搭建了一个世界级无线云平台，能够同时服务亿级用户，并实现了一系列技术优化：内存节省50%，滑动提速20%，1秒打开手淘页面。除此之外,双11会场全面个性化，让消费者在手机屏幕上也能轻松到自己喜欢的宝贝。
此外，手淘的攻城狮们还建立了2g网络实验室，通过不断模拟测试，实现2g弱网环境下的手机也能实现1秒建立连接，让没有智能手机和高速网络的消费者，也能拥有更流畅的购物体验。
加入阿里云11.11云端狂欢节：