杭州Hadoop原理与高级实践

授课方式：培训课程 + 案例讲解 + 小组讨论，60%案例讲解，40%实践演练 课程目标：本次课程以实际的演练（环境部署，程序开发）为主，分享大规模Hadoop应用的一线最有效实用经验，实践与理论相结合，让学员能够对Hadoop生态系统有一个清晰明了的认识，理解Hadoop系统适用的场景，掌握MapReduce与Hive的中高级应用开发技能，快速高效搭建稳定可靠的Hadoop集群，满足生产环境的标准。 课程内容的分为4个部分： • 进入Hadoop的精彩世界，介绍Hadoop生态系统的各个组成模块与适用场景。 • Hadoop部署，编程与管理，讲解演示在生产环境中选用和配置服务器需要注意的事项，介绍HDFS编程的Java API使用。 • MapReduce编程：讲解演示MapReduce的中高级应用开发技能。 • Hive与HBase编程：根据实际例子讲解Hive的使用与UDF的开发，以及如何通过JAVA编写HBase应用。 培训内容： 进入Hadoop的精彩世界 文件存储-HDFS HDFS-工作原理 数据计算MapReduce MapReduce工作原理 SQL分析-Hive 海量实时读写-HBase 工作流调度-0oize 分布式协调系统--Zookeeper Hadoop部署与编程 Hadoop版本介绍与选择 Hadoop部署实践 Hadoop安装文件构成与配置体系 机器硬件建议配置 系统环境配置 基本参数配置与说明 进程分布规划与启动 Hadoop基本使用操作 HDFS 权限 MapReduce HDFS编程 开发环境准备 读文件 写文件 Hadoop系统容灾策略 Hadoop资源调度策略 Hadoop安全 Hadoop系统监控与报警策略 MapReduce编程 MapReduce的定义与工作机制 MapReduce与分布式计算 编程实战 MapReduce程序编写 基于MapReduce的Sort操作 基于MapReduce的Join操作 Hadoop多语言编程框架Streaming 代码调试 运行日志 Hive与HBase编程 Hive环境部署与搭建 Hive工作机制 Hive语法与实践 数据压缩选择 gzip bz2 lzo rcfile HBase编程示例 HBase系统架构 HBase性能测试 Hadoop系统管理 Hadoop系统容灾策略 Hadoop资源调度策略 Hadoop高级配置参数 Hadoop安全 Hadoop系统监控与报警策略