Apache Kylin&今日头条 Meetup@北京视频回放

时间:04-22 13:00 - 17:30 主办方:
大会议程
嘉宾介绍
资料下载

徐鹏

今日头条基础架构研发工程师

目前就职于今日头条担任基础架构研发工程师, 长期关注大数据处理、分布式系统的研究以及Hadoop相关技术的应用与开发。

《Hadoop 2.X HDFS源码剖析》作者,本书以Hadoop 2.6.0源码为基础,深入剖析了HDFS 2.X中各个模块的实现细节,包括RPC框架实现、Namenode实现、Datanode实现以及HDFS客户端实现等。

 

 

杨朝中

今日头条研发工程师

目前就职于今日头条担任数据平台研发工程师,Scala/Clojure/Java Developer,专注于OLAP相关系统的研发和优化工作。

李扬

Kyligence Inc.联合创始人兼CTO

Kyligence Inc.联合创始人兼CTO,Apache Kylin联合创建者及项目管理委员会成员(PMC),   主创团队架构师和技术负责人,专注于大数据分析、并行计算、数据索引、关系数学、近似算法、压缩算法等前沿技术。曾任eBay全球分析基础架构部大数据资深架构师、IBM InfoSpher BigInsights的技术负责人,负责Hadoop开源产品架构,“杰出技术贡献奖”的获奖者、摩根士丹利副总裁,负责全球监管报表基础架构。

李栋

Kyligence, 技术合伙人兼生态合作技术总监, Apache Kylin PMC Member

毕业于上海交通大学计算机系;曾任eBay全球分析基础架构部高级工程师、微软云计算和企业产品部软件开发工程师;曾是微软商业产品Dynamics亚太团队核心成员,参与开发了新一代基于云端的ERP解决方案。

 

 

 

Apache Kylin是可扩展到PB规模的开源分布式大数据分析引擎,为Apache Hadoop等大型分布式数据平台之上的超大规模数据集提供标准SQL查询及多维分析(OLAP)能力,提供亚秒级的交互式分析能力。

 

2014年11月,Kylin加入Apache孵化器项目,经过不到一年的发展,于2015年11月顺利毕业成为Apache顶级开源项目。Apache Kylin是首个完全由中国团队设计开发,并贡献到Apache软件基金会(ASF)的顶级项目,开源一年左右的时间,已经在国内国际多个公司被采用作为大数据分析平台的关键组成部分,包括eBay、Expedia、Exponential、百度、京东、美团、明略数据、网易、中国移动、唯品会等。

 

“今日头条”是一款基于数据挖掘技术的个性化推荐引擎产品,它为用户推荐有价值的、个性化的信息,提供连接人与信息的新型服务,是国内移动互联网领域成长最快的产品之一。“今日头条”于2012年8月上线,截至2016年12月底,今日头条日活跃用户超过7800万。

 

本次活动,来自今日头条的嘉宾将首次揭秘在超大规模数据场景下其HDFS和OLAP的实践经验;而来自Apache Kylin的技术专家将深解这其中的技术原理,更有最新版本的部分新功能邀您一起来探秘!线上线下交流同时进行!热爱技术的你不可错过!

 

 


主办:

时间:2017年4月22日  13:00至17:30

地点:北京市海淀区北三环西路43号 中航广场1号楼 今日头条

活动咨询:yun.xing@kyligence.io

合作伙伴(排名不分先后)

 

 

线上报名:请先报名网络直播票,截图报名信息后,加工作人员微信:cicixing1206 或者 ZTT_250或者michellezhong007 拉你进入活动直播群。活动开始后,群内发布直播链接。

 

 

活动议程


(具体时间及安排请随时关注最新通知)

 

  • 13:00 - 14:00 签到

  • 14:00 - 14:40 今日头条 HDFS 实践  (徐鹏,今日头条)

  • 14:40 - 15:20 今日头条 OLAP 实践  (杨朝中,今日头条)

  • 15:20 - 15:40茶歇

  • 15:40 - 16:20 Apache Kylin v2.0 最新功能和深度技术解读  (李扬,Kyligence)

  • 16:20 - 17:00 Apache Kylin - 深入Cube和查询调优 (李栋,Kyligence)

  • 17:00 - 17:30 会后交流合影

 

 

演讲内容及嘉宾介绍

 

主题一:今日头条 HDFS 实践

 

 

  徐鹏:目前就职于今日头条担任基础架构研发工程师,长期关注大数据处理、

  分布式系统的研究以及 Hadoop 相关技术的应用于 开发。

  主题摘要:介绍头条在业务超高速发展的背景下,实践 hdfs 过程中遇到的

  问题、挑战以及我们所做的尝试

 

 

 

主题二:今日头条 OLAP 实践

 

  杨朝中:目前就职于今日头条担任数据平台研发工程师,Scala/Clojure/Java 

  Developer,专注于OLAP相关系统的研发和优化工作。

  主题摘要:介绍常见OLAP系统(Hive、Kylin、Presto、Spark SQL 等)在头条

  大规模数据场景下的的应用和实践。我们遇到过不同规模的挑战和问题并尝试

  给出合理的解决方案,希望就一些具体的技术问题做一个分享与探讨。

 

 

主题三:Apache Kylin v2.0 最新功能和深度技术解读

  李扬:Kyligence Inc.联合创始人兼CTO,Apache Kylin联合创建者及项目管理委员会成

  员(PMC),   主创团队架构师和技术负责人,专注于大数据分析、并行计算、数据索引、

  关系数学、近似算法、压缩算法等前沿技术。曾任eBay全球分析基础架构部大数据资深

  架构师、IBM InfoSpher BigInsights的技术负责人,负责Hadoop开源产品架构,“杰出

  技术贡献奖”的获奖者、摩根士丹利副总裁,负责全球监管报表基础架构。

  演讲摘要:Apache Kylin之前仅用于支持星型模型,这在许多真实案例中都有所局限。

  在v2.0中,通过直接支持雪花模型,用户可以将任意的 E-R 模型导入Kylin,支持最全

  面的数据模型开箱即用——这是业务部署的一大进步。基于Spark的新的构建引擎在

  v2.0中的引入是许多人长期以来想要的功能。实验显示,在实现相同分层构建算法前

  提下,Spark引擎比旧的MapReduce引擎快约2倍。自v1.6以来,Apache Kylin已经

  能够支持从Kafka加载微批量数据,并通过近实时分析启用分钟级延迟。此外,

  李扬还将在演讲过程中演示如何实时分析Twitter消息。

 

 

主题四:Apache Kylin - 深入Cube和查询调优

  李栋:Kyligence Inc技术合伙人兼高级软件架构师,Apache Kylin Committer & PMC 

  Member专注于大数据技术研发,KyBot技术负责人。毕业于上海交通大学计算机系;

  曾任eBay全球分析基础架构部高级工程师、微软云计算和企业产品部软件开发工程师;

  曾是微软商业产品Dynamics亚太团队核心成员,参与开发了新一代基于云端的ERP解决方案。

  主题摘要:构建和查询是Apache   Kylin中两项核心功能。构建性能和Cube设计密切相关,

  一个设计得当的Cube可以既满足业务查询的需求,又节省计算和存储资源的代价。根据实际

  环境、数据特性、业务场景对Cube进行优化,可以大幅降低存储、缩短构建时间、提高查询

  效率。此外,如何加速慢查询也是一个重要话题。影响查询性能的因素可能很多,高效地寻

  找查询瓶颈、优化查询过程可以事半功倍地提升服务性能和并发性。本次演讲将结合实际

  案例,对Cube设计和查询优化的基本原理进行详细介绍;并基于诊断、优化平台

  KyBot,通过可视化UI对Cube及查询优化进行深入剖析和论证

 

 

今日头条