JobTracker和TaskTracker

发表于 | 分类于 ， |

前言

(转载)JobTracker和TaskTracker详解
Hadoop MapReduce采用Master/Slave结构。
Master: 整个集群的唯一的全局管理者，功能包括：作业管理、状态监控和任务调度等，即MapReduce中的JobTracker。
Slave: 负责任务的执行和任务状态的回报，即MapReduce中的TaskTracker。

JobTracker

JobTracker是一个后台服务进程，启动之后，会一直监听并接收来自各个TaskTracker发送的心跳信息，包括资源使用情况和任务运行情况等信息。

  • 主要功能
    • 作业控制：在hadoop中每个应用程序被表示成一个作业，每个作业又被分成多个任务，JobTracker的作业控制模块则负责作业的分解和状态监控。最重要的是状态监控：主要包括TaskTracker状态监控、作业状态监控和任务状态监控。主要作用：容错和为任务调度提供决策依据
    • 资源管理

TaskTracker

  • TaskTracker是JobTracker和Task之间的桥梁
    • TaskTracker从JobTracker接收并执行各种命令：运行任务、提交任务、杀死任务等
    • 将本地节点上各个任务的状态通过心跳周期性汇报给JobTracker
    • TaskTracker与JobTracker和Task之间采用了RPC协议进行通信
  • TaskTracker的功能
    • 汇报心跳: Tracker周期性将所有节点上各种信息通过心跳机制汇报给JobTracker
      这些信息包括两部分：
      • 机器级别信息：节点健康情况、资源使用情况等
      • 任务级别信息：任务执行进度、任务运行状态等
    • 执行命令: JobTracker会给TaskTracker下达各种命令
      主要包括:
      • 启动任务(LaunchTaskAction)
      • 提交任务(CommitTaskAction)
      • 杀死任务(KillTaskAction)
      • 杀死作业(KillJobAction)
      • 重新初始化(TaskTrackerReinitAction)

MapReduce流程

  • JobClient会在用户端通过JobClient类将应用已经配置参数打包成jar文件存储到hdfs，并把路径提交到Jobtracker,然后由JobTracker创建每一个Task（即MapTask和ReduceTask），并将它们分发到各个TaskTracker服务中去执行
  • JobTracker是一个master服务，软件启动之后JobTracker接收Job，负责调度Job的每一个子任务task运行于TaskTracker上，并监控它们，如果发现有失败的task就重新运行它。一般情况应该把JobTracker部署在单独的机器上
  • TaskTracker是运行在多个节点上的slaver服务。TaskTracker主动与JobTracker通信，接收作业，并负责直接执行每一个任务。TaskTracker都需要运行在HDFS的DataNode上