当前位置：网站首页>3 MapReduce简单原理

3 MapReduce简单原理

2022-08-08 21:02:00 【牛板筋不筋】

Map 任务 (分割及映射)

Reduce 任务 (重排，还原)

1 作业被分成多个任务，然后运行到集群中的多个数据节点。

2 JobTracker的责任是协调活动调度任务来在不同的数据节点上运行。

3 单个任务的执行，然后由 TaskTracker 处理，它位于执行工作的一部分，在每个数据节点上。

4 TaskTracker 的责任是发送进度报告到JobTracker。

5 此外，TaskTracker 周期性地发送“心跳”信号信息给 JobTracker 以便通知系统它的当前状态。

6 这样 JobTracker 就可以跟踪每项工作的总体进度。在任务失败的情况下，JobTracker 可以在不同的 TaskTracker 重新调度它。

参考链接:

版权声明
本文为[牛板筋不筋]所创，转载请带上原文链接，感谢
https://blog.csdn.net/qq_42198024/article/details/108059318