如何在hadoop流中跳过失败的地图任务?

我正在运行一个hadoop流式mapreduce作业,它总共有26895个map任务。但是,有一个处理某个输入的任务总是失败。所以我设置了 mapreduce.map.failures.maxpercent=1 并想跳过失败的任务,但工作还是没有成功。

Kind % Complete  Num Tasks  Pending Running Complete    Killed  Failed/Killed Task Attempts

map     100.00%   26895     0       0       26894       1       8 / 44

reduce  100.00%       1     0       0       0           1       0 / 1

我怎么做才能跳过这个问题?

解决方案:

有一个同样的配置可以使用.指定了 mapred.max.map.failures.percentes。mapred.max.reduce.failures.percentes. 中的mapred-site.xml来指定失败阈值。这两个属性都被设置为0。

这些属性现在已经过时了,使用以下属性来实现这个目的。

mapreduce.map.failures.maxpercent
mapreduce.reduce.failures.maxpercent

给TA打赏
共{{data.count}}人
人已打赏
未分类

如何在postgresql中用逗号分割数值?

2022-9-8 16:19:41

未分类

Postman无法访问AAD保护的Asp.net core 3.1 restapi。401未授权

2022-9-8 16:19:43

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索