Hadoop大数据解决方案开发技术培训
发布日期:2015-10-14浏览:6005
-
课程时长
30 H课程大纲
第一部分:Hadoop的基本框架
1、大数据时代面临的问题
2、当前解决大数据的技术方案
3、Hadoop和云计算
4、Hadoop和大数据存储
5、Hadoop和商业智能系统
第二部分:Hadoop的基本框架
1、Hadoop的环境准备
2、Hadoop的设计理念
3、Hadoop的架构介绍
4、Hadoop的基石:HDFS介绍
HDSF基本组成
HDFS工作原理
HDFS的容错
HDFS的文件系统操作
HDFS基本编程接口
案例演练:HDFS编程示例
5、分布治之的智慧:MapReduce
MapReduce的并行计算思想
MapReduce的基本成功
MapReduce的工作机制
MapReduce的编程接口
案例演练:MapReduce编程示例
6、分布式数据库:HBase
HBase基本功能特点
HBase的组成结构
HBase数据模型
HBase读写操作特性
案例演练:HBase编程示例
7、分布式数据仓库:Hive
Hive架构
Hive数据类型和存储格式
HQL数据表命令
HQL数据操作
HQL数据查询
案例演练:Hive编程示例
8、数据双向交换:Sqoop
Sqoop功能
Sqoop的使用
第三部分:Hadoop的性能优化
1、性能优化内容
2、硬件优化
3、操作系统优化
4、JVM调优
5、Hadoop参数优化
6、海量数据处理的经验和技巧
第四部分:商业智能系统项目开发实践
1、项目功能需求
2、系统结构设计
数据存储
数据获取
数据服务层
3、数据仓库结构
4、数据导入、导出模型设计
5、数据分析工具模块
6、数据清洗模型
7、购买转化率模型与实现
8、用户聚类模型与实现
结束:课程总结与问题答疑。