开源力量公开课第五十八期 - Hadoop核心系统原理、生态系统介绍和实用场景解视频教程

课程名称：开源力量公开课第五十八期 -Hadoop核心系统原理、生态系统介绍和实用场景解析

课程背景：

随着互联网、移动互联网和物联网的发展，我们已经切实地迎来了一个大数据的时代。大数据处理对于未来的IT开发人员而言，已经成为一项必备的技能，但是要用好大数据，除了工具本身之外，还包括运维、优化、分布式等方面的知识，形成了全新的挑战，其中对大数据的分析已经成为一个非常重要且紧迫的需求。目前对大数据的分析工具，首选的是Hadoop平台。Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势，事实上已成为当前互联网企业主流的大数据分析平台。

课程目标：

了解Hadoop在国内的应用场景及Hadoop的未来。掌握Hdoop的分布式文件系统HDFS的原理、Hadoop的分布式计算MapReduce、Hadoop的Key-Value数据库Hbase、Hadoop的Key-Value数据库Hbase、Hadoop的生态系统介绍。

课程大纲：

大数据的概念
大数据的”4V”特性
传统海量数据的存储和计算解决方案
Hadoop的发展史
Hadoop的生态系统介绍
Hadoop在国内的应用场景
Hadoop的未来

Hdoop的分布式文件系统HDFS的原理
1）HDFS的架构
2）NameNode的功能
3）DataNode的功能
4）SNN的功能
5）HDFS的安全问题

Hadoop的分布式计算MapReduce
1）MapReduce的原理
2）MapReduce的架构
3）MapReduce的Mapper抽象类详解
4）Reducer抽象类详解

Hadoop的Key-Value数据库Hbase
1）Hbase的原理
2）Hbase的架构图
3）Hbase的数据模型
4）Hbase的使用场景介绍

Hadoop的生态系统介绍
1）FlumeNG介绍
2）Sqoop介绍
3）Hive介绍
4）Pig的介绍
5）Oozie介绍

讲师介绍：

刘刚：阿里大数据高级专家，国内资深的Spark、Hadoop技术专家、虚拟化专家，对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究，更主要的是这些技术在大量的实际项目中得到广泛的应用，因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有：某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。
刘刚曾就职于国内最大CDN厂商蓝汛、阿里等知名IT企业，担任Hadoop高级工程师、云计算架构师，目前就职于高德软件的云平台架构中心负责海量数据云平台架构的搭建。同时兼任北京大学软件所负责的“核高基”8-6课题，以及高性能企业级应用服务器的开发(PKUAS2010)，《Hadoop应用开发技术详解》的作者，开源框架EasyHDFSWeb和EasyHDFSControl的作者。在我国Hadoop技术圈内非常活跃，经常在国内外各种大型技术研讨会和技术峰会和沙龙上做技术演讲与经验分享，深受欢迎。