yarn架构中包括哪些（【深入浅出 Yarn 架构与实现】4-4 RM 管理 Application）

在 YARN 中 
  
  
  
  
  
  
  
  ，Application 是指应用程序
  
  
  
  
  
  
  
  
 ，它可能启动多个运行实例
 


 


 


 


 


 


 


 


，每个运行实例由 —个 ApplicationMaster 与一组该 ApplicationMaster 启动的任务组成 
 
 
 
 
 
 
 
 ，它拥有名称 
  
  
  
  
  
  
  
  、队列
  
  
  
  
  
  
  
  
 、优先级等属性
   
   
   
   
   
   
   
   
 ，是一个比较宽泛的概念
 

 

 

 

 

 

 

 

，可以是一个 MepReduce 作业
 


 


 


 


 


 


 


 


、一个 DAG 应用程序等 
  
  
  
  
  
  
  
  。YARN 中 Application 管理涉及应用程序的权限管理 
 
 
 
 
 
 
 
 、启动与关闭
   
   
   
   
   
   
   
   
 、生命周期管理等 

 

 

 

 

 

 

 

 ，本节只介绍最基本的管理内容                 ，比如权限管理
 

 

 

 

 

 

 

 

、启动与关闭等

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

，而生命周期管理则放到下一节中介绍
  
  
  
  
  
  
  
  
 。

一 

 

 

 

 

 

 

 

 、ApplicationACLsManager

ApplicationACLsManager 负责管理应用程序访问权限

查看权限 程序基本信息：运行时间                 、优先级等 修改权限 修改程序优先级

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

、杀死应用程序

二















、RMAppManager

RMAppManager 负责应用程序启动和关闭
 


 


 


 


 


 


 


 


。接下来结合源码主要分析启动和结束两个操作 
 
 
 
 
 
 
 
 。

1                          、启动

在「4-1 ResourceManager 功能概述」中















，提到了 ClientRMService 处理来自客户端各种 RPC 请求                          ，比如提交
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
、终止获取应用运行状态等
   
   
   
   
   
   
   
   
 。

ClientRMService 当收到客户端提交的应用后
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
，将调用函数 RMAppManager#submitApplication 创建一个 RMApp 对象
























，维护应用程序的整个生命周期
 

 

 

 

 

 

 

 

。 protected void submitApplication() { // 创建 app                 ，并添加到 RMActiveServiceContext.applications RMAppImpl application = createAndPopulateNewRMApp(submissionContext, submitTime, user, false); // 发送 app start event
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
 ，继续由其他事件处理器处理 this.rmContext.getDispatcher().getEventHandler() .handle(new RMAppEvent(applicationId, RMAppEventType.START)); } 2
























、结束

当 RMAPP 运行结束后
















，将向 RMAPPManager 发送一个 RMAPPManagerEventType.APP_COMPLETED 事件 

 

 

 

 

 

 

 

 。看源码将执行 3 个操作：

public void handle(RMAppManagerEvent event) { ApplicationId applicationId = event.getApplicationId(); LOG.debug("RMAppManager processing event for " + applicationId + " of type " + event.getType()); switch(event.getType()) { case APP_COMPLETED: { finishApplication(applicationId); logApplicationSummary(applicationId); checkAppNumCompletedLimit(); } finishApplication() 将 Application 放入到内存的已完成列表 completedApps 中 
  
  
  
  
  
  
  
  ，用户可查询历史应用执行信息（如 yarn web）                 。 logApplicationSummary() 打印日志信息

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

。 checkAppNumCompletedLimit() 上面提到的 completedApps 列表容量有限
  
  
  
  
  
  
  
  
 ，默认 10000
 


 


 


 


 


 


 


 


，可修改















。超过该值时 
 
 
 
 
 
 
 
 ，将从在这里被移除
   
   
   
   
   
   
   
   
 ，后续可从 History Server 中进行查看                          。 将应用程序从 RMStateStore 中移除
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
。RMStateStore 记录了运行中的应用程序的运行日志
 

 

 

 

 

 

 

 

，当集群故障重启后 

 

 

 

 

 

 

 

 ，RM 可通过这些日志恢复应用程序运行状态                 ，从而避免全部重新运行

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

，一旦应用程序运行结束后















，这些日志便失去了意义                          ， 故可以对其进行删除
























。

三                 、ContainerAllocationExpirer

当 AM 获得 Container 后
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
，必须在一定时间内（默认为 10min
























，可修改）                 ，在对应的 NM 上启动该 Container
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
 ，否则 RM 将强制回收该 Container                 。因为 YARN 不允许 AM 长时间不对其使用
















，会降低整个集群的利用率
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
 。

protected void expire(AllocationExpirationInfo allocationExpirationInfo) { dispatcher.handle(new ContainerExpiredSchedulerEvent( allocationExpirationInfo.getContainerId(), allocationExpirationInfo.isIncrease())); }

该类也继承自抽象类 AbstractLivelinessMonitor 
  
  
  
  
  
  
  
  ，前面已经讲过
  
  
  
  
  
  
  
  
 ，这里不再赘述
















。