【SDCC讲师专访】饿了么毕洪宇：小析饿了么大数据平台从无到有到优的架构探索三味境...
【编者按】每个人的成长曲线不同，有的人在研究生之时就已有相当知名的产品和框架，从而在接下来的工作中一路顺风顺水，有的人缺需要经历一个又一个的坑才能成长，不管是前者的聪明高效，还是后者的笨鸟先飞，他们都是在迈着脚步不断地向前。不妨停下脚步看下一些同行，以激励自己更好地前行。CSDN与你相约SDCC 2017·深圳站讲师。
2017年6月10-11日，SDCC 2017将在创新之都深圳火热开启。据悉，饿了么大数据平台部总监毕洪宇将在SDCC 2017·深圳站之大数据技术实战峰会带来题为《饿了么大数据平台的工具链、技术选型及架构设计》的分享。更多峰会嘉宾和议题请点击官网。
以下为正文：
【嘉宾】毕洪宇，饿了么大数据平台部总监。曾在eBay，PPTV任职DBA。2012年加入唯品会，依次经历从0到1参与数据库基础建设、大数据基础平台和实时计算平台的工作；2016年加入饿了么负责大数据基础架构，主要负责数据平台工具链及数据仓库。
CSDN：请先介绍下自己和目前工作的重点，以及关注哪些技术领域？
毕洪宇：我是饿了么大数据平台的负责人毕洪宇，目前重点在推动饿了么数据治理，工具链整合及基础设施效率建设。关注的技术领域主要在数据库内核、分布式存储与计算、机器学习。
CSDN：您有丰富的从业经历，更是历经唯品会数据库基础建设、大数据基础平台和实时计算平台从0到1的工作。能否谈谈毕业工作这些年来在工作中的收获和体验？
毕洪宇：四点体验：第一，在工作中不要给自己设限，保持好奇心和足够专注。第二，不要让自己觉得太舒服，不要消耗自己。第三，认真反思，不断对已有的经验和知识进行压缩和抽象。第四，坦诚、包容、同理心。
比较大的收获除了个人成长以外一定是志同道合的好友，基本上我的经历都是从无到有到优的建设过程，而这个奋斗过程是很容易形成“革命友谊”的。
CSDN：作为一个餐饮O2O平台，饿了么的数据流量与电商、搜索、游戏等平台有什么不同？具有怎样的特点？
毕洪宇：订单和运单是饿了么最大的技术挑战。第一，涉及到线上和线下的实时联动；第二，整个下单/备餐/取餐/送餐过程需要在30分钟内完成；第三，每天两个瞬时高峰。
CSDN：饿了么大数据平台在技术选型中需要考量哪些因素？怎样有效协调效率与规范、隔离和共享间的平衡？
毕洪宇：在做选型的时候主要考虑三点：场景、技术和团队。展开来说，首先需要清楚有哪些业务/技术约束，即在确认场景后有哪些备选集可供选择。其次，在备选集圈定后，团队是否对备选中的技术有很好的把控能力。最后，需要考量相关技术的生态、社区、其他公司可以借鉴的经验，以及学习和使用管理成本。
针对效率与规范：自助化、自动化的建设的重要性不言而喻，而工具链正是这两者的支撑。对于隔离与共享来说，在有限资源情况下如何做好隔离和用户体验是个很有挑战的事情，这里我的经验是：
1. 基于负载特征分时调整资源比例；
2. 将每个部门，每个作业的资源分配情况、运行状况和资源消耗做好可视化同步，降低因信息不透明导致的无效沟通和抱怨；
3. 异常作业识别和快速隔离，异常资源使用情况感知和预警。
CSDN：饿了么大数据平台的架构演进是怎样的？经历过哪几个重要的阶段？运用了哪些技术？
毕洪宇：整个平台还是在持续演进过程中，到目前为止我认为主要经历了两个阶段，正在进行第三个阶段。
第一阶段：从0到1。基础设施的搭建，满足业务对于数据的基本需求。持续重复开发相似的需求，交付链路很长，信息流转比较乱。
第二阶段：从1到10。需求随着业务的快速发展而增加，无论基础设施还是资源消耗都发生了10倍的增加，在团队规模基本不扩张的情况下，通过基础设施稳定性/效率建设和工具链建设来提高整个团队的效率以及交付质量，同时保证系统的可扩展性。当前阶段，进行数据治理以及工具链整合，提高数据和系统的内在质量。
CSDN：多样化的需求对饿了么大数据平台的高可用提出了更高的要求，您认为平台还存在哪些亟待解决的问题？未来的研究重点是什么？
毕洪宇：工具链的整合是非常重要的，现在的工具有些分散，对于用户来说存在比较高的上下文切换成本；对于开发人员来说工具间的交互损耗，一致性维护也是非常高的成本，而这些是与我们对于效率追求的初衷相违背的。
至于未来研究的重点我想主要是在于数据应用上，作为平台(包括数据和工具链、基础设施)来讲拥有大量用户/系统/任务等特征数据，如何能够把这些数据应用起来提高平台的使用效率，解锁平台的新姿势，democratize data and empower people with insights.
CSDN：您最期待在SDCC 2017·深圳站大会上看到哪些内容？
毕洪宇：物联网与大数据融合的应用。
SDCC讲师专访系列：
- 【SDCC讲师专访】专访架构师陈波：微博近几年的架构演进之路和架构师的技能素养
- 【SDCC讲师专访】阿里巴巴冯嘉：RocketMQ开源二三事，侦破万亿级数据容量背后的架构实践
- 【SDCC讲师专访】阅文集团帅翔：从0到1落地分布式存储系统架构
- 【SDCC讲师专访】专访架构师薛珂：弹性调度平台Saturn的架构设计
- 【SDCC讲师专访】饿了么毕洪宇：小析饿了么大数据平台从无到有到优的架构探索三味境
SDCC 2017·深圳站之架构&大数据技术实战峰会将于2017年6月10-11日于深圳南山区*滨大酒店举行，集阿里、腾讯、百度、滴滴出行、Intel、微博、唯品会的资深架构师和一线实践者，纳知名研发案例，遇见苏宁云商大数据中心总监陈敏敏、Apache RocketMQ联合创始人冯嘉、饿了么大数据平台部总监毕洪宇等大牛。
票务火热，预购从速，团购立减1000元，更多嘉宾和详细议题敬请关注大会官网和票务点击注册参会。