Yarn工作机制和调度
一、Yarn工作机制
基本概念：
1.yarn 并不清楚用户提交的程序的运行机制
2.yarn 只负责运算资源的调度
3.yarn 中的主管角色叫ResourceManager
4.yarn 中具体提供运算资源的角色为NodeManager
yarn 主要组件：ResourceManager、NodeManager。其中NodeManager中包含ApplicationMaster、container
RM主要作用：
1.处理客户端请求
2.启动或者监控AppMaster(告诉AppMaster空闲的NodeManager)
3.监控NodeManager(监控NodeManager 资源)
4.资源的分配及调度
NodeManager主要作用：
1.管理单个节点上的资源
2.处理来自RM的命令
3.处理来自AppMaster的命令
AppMaster 主要作用：
1.负责数据的切分（根据切分结果开启maptask与reduce task）
2.为应用程序申请资源并分配给内部的任务
3.任务的监控与容错
Container：
对任务的运行环境进行抽象，封装cpu、内存等多维度的资源及环境变量、启动命令 等任务相关信息
Yarn 运行机制：
工作流程：
0.mr程序通过job.submit()方法被提交到客户端所在节点
1.yarnrunner 向resourcemanager 申请一个application
2.rm 将该应用程序的资源路径（资源提交路径及application_id）返回给yarnrunner
3.该程序将运行所需资源（jar 包，配置文件，split信息）提交到hdfs上
4.程序资源提交完毕之后，申请运行一个mrappmaster(为AM在MR程序中的具体实现)
5.RM将用户的请求初始化为一个task，该task会被放到任务队列中，等待调度器
6.nodemanager 领取到task任务
7.该nodemanager 创建容器container，并启动mrappmaster
8.container从hdfs上拷贝资源到本地
mrappmaster获得container 后会将其与任务(map or reduce)相关信息(执行命令、执行命令需要的环境变量、jar等)封装为一个containerLounchContext对象。ContainerLounchContext对象与container信息再次封装为startContainerRequest对象
9.mrappmaster向 rm 申请运行 maptask 容器
10.rm 将运行的maptask任务分配给另外的两个nodemanager,另外两个nodemanager 分别领取任务并创建容器
当一个任务由mr的调度器分配给一个container后，mrappmaster会通过联系nodemanager 来启动container
11.mrappmaster 向两个接受到任务的nodemanager发送程序启动脚本(startContainerRequest对象)，这两个nodemanager 启动maptask对数据进行分区排序
任务由一个主类为yarnchild的java应用执行。yarnchild运行在一个专门的jvm中
12.mrappmaster 向rm 申请2个容器，运行reduce task
13.reduce task 向maptask 获取相应分区的数据
14.程序运行完后，mrappmaster会向rm注销自己
二、Yarn调度器
1）Hadoop调度器重要分为三类：
FIFO 、Capacity Scheduler（容量调度器）和Fair Sceduler（公平调度器）。
Apache默认的资源调度器是容量调度器；
CDH默认的资源调度器是公平调度器。
2）区别：
FIFO调度器：支持单队列 、先进先出 生产环境不会用。
容量调度器：支持多队列。队列资源分配，优先选择资源占用率最低的队列分配资源；作业资源分配，按照作业的优先级和提交时间顺序分配资源；容器资源分配，本地原则（同一节点/同一机架/不同节点不同机架）
公平调度器：支持多队列，保证每个任务公平享有队列资源。资源不够时可以按照缺额分配。
具体设置在yarn-default.xml
<property>
<description>The class to use as the resource scheduler.</description>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>