首页
技术小册
AIGC
面试刷题
技术文章
MAGENTO
云计算
视频课程
源码下载
PDF书籍
「涨薪秘籍」
登录
注册
hadoop简介
HDFS-写文件
HDFS-读文件
HDFS-可靠性
ResourceManager
NodeManager
ApplicationMaster
Container
失败处理
读数据
Map
Shuffle
IO
测试
安装
配置
监控
参考教程
当前位置:
首页>>
技术小册>>
Hadoop入门教程
小册名称：Hadoop入门教程
单个作业的资源管理和任务监控 具体功能描述： - 计算应用的资源需求，资源可以是静态或动态计算的，静态的一般是Client申请时就指定了，动态则需要ApplicationMaster根据应用的运行状态来决定 - 根据数据来申请对应位置的资源（Data Locality） - 向ResourceManager申请资源，与NodeManager交互进行程序的运行和监控，监控申请的资源的使用情况，监控作业进度 - 跟踪任务状态和进度，定时向ResourceManager发送心跳消息，报告资源的使用情况和应用的进度信息 - 负责本作业内的任务的容错 ApplicationMaster可以是用任何语言编写的程序，它和ResourceManager和NodeManager之间是通过ProtocolBuf交互，以前是一个全局的JobTracker负责的，现在每个作业都一个，可伸缩性更强，至少不会因为作业太多，造成JobTracker瓶颈。同时将作业的逻辑放到一个独立的ApplicationMaster中，使得灵活性更加高，每个作业都可以有自己的处理方式，不用绑定到MapRedue的处理模式上。 ###如何计算资源需求 一般的MapReduce是根据block数量来定Map和Reduce的计算数量，然后一般的Map或Reduce就占用一个Container ###如何发现数据的本地化 数据本地化是通过HDFS的block分片信息获取的
上一篇：
NodeManager
下一篇：
Container
该分类下的相关小册推荐：
暂无相关推荐.
