小象学院—hadoop进阶视频教程【价值699元】
课程称号:小象学院—hadoop进阶视频教程【代价699元】
data/attachment/forum/img/145513lz1ur1l444yaz4gq.png
课程简介:
《Hadoop进阶》:本课程面向Hadoop高阶进修者,具有一定Hadoop系统利用经历,连系大范围利用Hadoop的理论经历,领会和把握HDFS构建、Hadoop工具利用、调试优化,题目分析,经过度析示例把握大量现实利用的经历,很多实战内容的示例是很少在收集上找到文档支持。
时候
共六周
培训方式
视频进修 + 在线答疑 + 每周作业 + 结业考试
课程纲领:
授课工具:Hadoop高级、具有一定Hadoop系统利用经历
适用Hadoop版本:兼顾一切Hadoop版本,包括Apache、Hortonworks和CDH刊行版
第一部分. MapReduce
Mapreduce工作流程及根基架构回首
运维相关
参数调优
benchmark
reuse jvm
毛病感知及speculative履行
task日志分析
可容忍毛病百分比设备及跳过坏记录
挑选fairescheduler等其他调剂器优化性能
开辟相关
数据范例挑选
实现自界说writable数据范例、自界说key
一个mapper中输出分歧范例value
InputFormat/OutputFormat,道理及定制
Mapper/Reducer/Combiner,Combiner的利用及其对mapreduce框架优化的感化
Partitioner定制
排序战略GroupingComparator/SortComparator
使命调剂道理及点窜方式(案例,map/reduce同享slot,按标识精准map/reduce调剂)
Streaming
DistributedCache
mapreduce使命间依靠
counter
JobChild参数设备
性能优化
第二部分. hdfs
HDFS API
fuse(C API)
紧缩
HDFS benchmark
Datanode增加及删除
多盘支持,磁盘毛病感知
hdfs raid
HDFS block size设备相关题目
文件备份数设备
HDFS中合并文件
第三部分. Hadoop工具
dfsadmin/mradmin/balancer/distcp/fsck/fs/job
监控及报警
hadoop设置治理
第四部分. Hadoop调试
Log
当地形式调试map/reduce使命
远程调试
第五部分. 题目分析
JAVA GC先容及java进程常用的分析工具jstat、jhat、jmap
top/iostat/netstat/lsof等
Jstack/kill -3
Strace
nload/tcpdump
第六部分.分析示例
MapReduce简单分析
用MapReduce实现Group-by
用MapReduce实现倒排索引
MapReduce实现直方图
MapReduce实现Join
主讲人: 冼茂源
Apache Hama project PMC。
具有在朗讯、Sun Microsystems、搜狗等通讯、传统IT以及互联网企业的工作履历。
针对互联网具体营业的特别需求,对hadoop调剂机制、平安治理、存储优化、监控及治理系统等停止深度点窜。
同时,在将HBase与具体查询营业相连系,在现实项目中停止系统题目排查及调优方面有丰富经历。
下载地址:
**** Hidden Message *****
页:
[1]