2015年大数据hadoop教程8天
课程先容与笔记
1.HDFS shell
1.0检察帮助
hadoop fs -help
1.1上传
hadoop fs -put
1.2检察文件内容
hadoop fs -cat
1.3检察文件列表
hadoop fs -ls /
1.4下载文件
hadoop fs -get
2.利用java接口操纵HDFS
见eclipse工程下的demo
3.hadoop通讯机制
分歧进程之间的方式停止挪用
4.HDFS源码分析
FileSystem.get --> 经过反射实例化了一个DistributedFileSystem --> new DFSCilent()把他作为自己的成员变量
在DFSClient机关方式里面，挪用了createNamenode，利用了RPC机制，获得了一个NameNode的代理工具，便可以和NameNode停止通讯了
FileSystem --> DistributedFileSystem --> DFSClient --> NameNode的代理
1.履行MR的号令：
hadoop jar
例子：
hadoop jar /root/wc1.jar cn.itcast.d3.hadoop.mr.WordCount hdfs://itcast:9000/words /out2
2.MR履行流程
(1).客户端提交一个mr的jar包给JobClient(提交方式：hadoop jar ...)
(2).JobClient经过RPC和JobTracker停止通讯，返回一个寄存jar包的地址(HDFS)和jobId
(3).client将jar包写入到HDFS傍边(path = hdfs上的地址 + jobId)
(4).起头提交使命(使命的描写信息，不是jar, 包括jobid，jar寄存的位置，设置信息等等)
(5).JobTracker停止初始化使命
(6).读取HDFS上的要处置的文件，起头计较输入分片，每一个分片对应一个MapperTask
(7).TaskTracker经过心跳机制支付使命(使命的描写信息)
(8).下载所需的jar，设置文件等
(9).TaskTracker启动一个java child子进程，用来履行具体的使命(MapperTask或ReducerTask)
(10).将成果写入到HDFS傍边
1.实现分区的步调：
1.1先分析一下具体的营业逻辑，肯定大要有几多个分区
1.2首先誊写一个类，它要继续org.apache.hadoop.mapreduce.Partitioner这个类
1.3重写public int getPartition这个方式，按照具体逻辑，读数据库大概设置返回不异的数字
1.4在main方式中设备Partioner的类，job.setPartitionerClass(DataPartitioner.class);
1.5设备Reducer的数目，job.setNumReduceTasks(6);
2.排序MR默许是按key2停止排序的，假如想自界说排序法则，被排序的工具要实现WritableComparable接口，在compareTo方式中实现排序法则，然后将这个工具当做k2，即可完成排序
3.combiner的感化就是在map端对输出先做一次合并，以削减传输到reducer的数据量。
4.MR启动流程
start-mapred.sh --> hadoop-daemon.sh --> hadoop --> org.apache.hadoop.mapred.JobTracker
Jobtracker挪用顺序：main --> startTracker --> new JobTracker 在其机关方式中首先建立一个调剂器，接着建立一个RPC的server(interTrackerServer)tasktracker会经过PRC机制与其通讯
然后挪用offerService方式对外供给办事，在offerService方式中启动RPC server，初始化jobtracker，挪用taskScheduler的start方式 --> eagerTaskInitializationListener挪用start方式，
--> 挪用jobInitManagerThread的start方式，由于其是一个线程，会挪用JobInitManager的run方式 --> jobInitQueue使命行列去取第一个使命，然后把它丢入线程池中，然后挪用-->InitJob的run方式
--> jobTracker的initJob方式 --> JobInProgress的initTasks --> maps = new TaskInProgress和reduces = new TaskInProgress;
TaskTracker挪用顺序：main --> new TaskTracker在其机关方式中挪用了initialize方式，在initialize方式中挪用RPC.waitForProxy获得一个jobtracker的代理工具
接着TaskTracker挪用了自己的run方式，--> offerService方式 --> transmitHeartBeat返回值是(HeartbeatResponse)是jobTracker的指令，在transmitHeartBeat方式中InterTrackerProtocol挪用了heartbeat将tasktracker的状态经过RPC机制发送给jobTracker,返回值就是JobTracker的指令
heartbeatResponse.getActions()获得具体的指令，然后判定指令的具体范例，起头履利用命
addToTaskQueue启动范例的指令加入到行列傍边，TaskLauncher又把使命加入到使命行列傍边，--> TaskLauncher的run方式 --> startNewTask方式 --> localizeJob下载资本 --> launchTaskForJob起头加载使命 --> launchTask --> runner.start()启动线程; --> TaskRunner挪用run方式 --> launchJvmAndWait启动java child进程
1.上传zk安装包
2.解压
3.设置(先在一台节点上设置)
3.1增加一个zoo.cfg设置文件
$ZOOKEEPER/conf
mv zoo_sample.cfg zoo.cfg
3.2点窜设置文件(zoo.cfg)
dataDir=/itcast/zookeeper-3.4.5/data
server.1=itcast05:2888:3888
server.2=itcast06:2888:3888
server.3=itcast07:2888:3888
3.3在(dataDir=/itcast/zookeeper-3.4.5/data)建立一个myid文件，里面内容是server.N中的N(server.2里面内容为2)
echo "1" > myid
3.4将设置好的zk拷贝到其他节点
scp -r /itcast/zookeeper-3.4.5/ itcast06:/itcast/
scp -r /itcast/zookeeper-3.4.5/ itcast07:/itcast/
3.5留意：在其他节点上一定要点窜myid的内容
在itcast06应当讲myid的内容改成2 (echo "6" > myid)
在itcast07应当讲myid的内容改成3 (echo "7" > myid)
4.启动集群
别离启动zk
./zkServer.sh start
2015年传智播客大数据hadoop教程8天**** Hidden Message *****
hadoop与大数据, 大数据 除了hadoop, 大数据hadoop生态圈, hadoop教程, 2015库里数据
页:
[1]