后浪云带你随便聊聊Hadoop里那个ResourceManager到底是干啥的，别太严肃哈

（来源：后浪云技术社区内部讨论记录）

哎，哥们儿姐们儿，今儿咱不聊那些让人头大的代码，就随便唠唠Hadoop里那个听起来贼重要的大家伙——ResourceManager，你完全可以把它想象成一个大公司里那个手握所有资源、运筹帷幄的“超级HR总监”兼“项目总调度”。

想象一下这个场景：你开了一家超级大的公司，手下有成千上万的员工（这些员工就是Hadoop集群里那些廉价的服务器，我们管它们叫“节点”），这些员工呢，各有各的本事，有的CPU厉害像个学霸，有的内存超大像个移动硬盘，有的磁盘空间贼大像个仓库管理员，你有一大堆活儿要干，比如要分析全国14亿人每人昨天点了多少次外卖这种离谱的任务（这就是一个MapReduce作业），你总不能挨个去拍员工肩膀说“嘿，你算一下北京的啊，你算一下上海的”吧？那不得累死你。

这时候，ResourceManager（以下简称RM）这位“超级HR总监”就闪亮登场了，它坐在一间独立的豪华办公室（主节点）里,干着以下几件核心大事：

第一，它是全公司的资源大管家。（来源：对Hadoop基础架构的通俗化理解） 公司里所有员工（节点）上班第一件事就是得向RM报到：“总监您好，我是小张，我这儿有16个CPU核心、64G内存、10T硬盘，今天听候您的差遣！”RM手里有个小本本，实时记录着每个员工的身体状况（健康状态）和能耐（可用资源），这样，它就对整个公司的“家底”了如指掌了，谁要是突然累趴下了（节点宕机），RM立马就能知道，然后叹口气说：“哎，又坏一个，剩下的活儿得重新安排一下了。”

第二，它是所有项目的总包工头。（来源：类比项目管理流程） 当业务部门（比如你，一个用户）提着一个超大的项目需求（提交一个作业）来找RM时，RM不会自己亲自下场去干，它会说：“好的，老板，这个项目我接了！”但它自己不动手，它会找一个项目经理出来，这个项目经理叫ApplicationMaster（AM），RM会先给AM分配一个临时的办公桌和启动资金（容器资源）,让AM去具体负责这个项目。

第三，它负责协调资源，防止大家打架。（来源：解释资源调度器的核心功能） 想象一下，如果好几个业务部门同时来找RM要人干活儿，都嚷嚷着自己的项目最紧急，这时候RM就得发挥它的仲裁能力了，它心里有一套规则（比如FIFO先来后到、Capacity公平分享、Fair公平竞争），来决定先紧着哪个项目来，它会跟各个项目的项目经理（AM）说：“你，现在可以招2个员工干活；你，再等等，现在人手不够。”这样就避免了A项目把所有人的CPU都占满了，导致B项目饿死的情况发生，这就是为啥它叫“Resource Manager”,核心就是管理和调度资源。

那它具体是怎么调度资源的呢？你可以理解为RM是发“工作许可”的，项目经理（AM）会跑来跟RM说：“总监，我项目进行到下一步了，需要3个会算数的员工（需要3个容器来运行Map任务）。”RM看看自己的资源池，如果有空闲的合适员工，就开出3张“工作调令”（资源许可），说：“去吧，找那几台机器上的NodeManager报到。”NodeManager是谁？它就是每个部门（节点）的现场小组长，负责接收RM的指令，在本部门内具体安排任务、监督员工干活。

整个流程就是：你（客户）提需求 -> RM（总监）接单，指派一个AM（项目经理） -> AM（项目经理）不断向RM（总监）申请资源 -> RM（总监）根据全局情况批准资源 -> NodeManager（小组长）在机器上启动具体任务（员工干活）。

这么一说是不是就明白多了？RM自己其实不直接处理你的数据，它就是个高高在上的管理者，掌控全局资源，确保整个集群忙而不乱，大家都有活儿干，有资源用，不会因为争抢资源而打起来，它要是挂了，那可就全乱套了，就像公司HR系统瘫痪，没人知道谁有空、该派谁去干什么活，整个集群就歇菜了，在生产环境里，通常还得给这位“总监”配个副手（Standby RM），搞个高可用,防止它单点罢工。

好啦，关于这位“超级总监”ResourceManager，咱今天就先唠到这，总之记住，它管人管资源，但不下场干活,是Hadoop这个大公司能井然有序运行的绝对核心！