大型MapReduce任务,执行一半发现包含某一特殊参数的子任务在计算中参数传递错误,此时就希望有个功能可以把这类子任务全部停止,其余子任务正常执行。 我设想的方式: 1、在拆分子任务时可以对子任务进行打标签; 2、执行中可以对某一标签的子任务操作,使得具有该标签未执行的子任务不在执行,已经执行的子任务在reduce时忽略,其他标签的子任务正常执行; 3、除了上述2的想法外,还可以对具有某一标签的子任务重新传递参数,已经执行的子任务重新执行,未执行的子任务按新参数执行。 感谢作者!
大型MapReduce任务,执行一半发现包含某一特殊参数的子任务在计算中参数传递错误,此时就希望有个功能可以把这类子任务全部停止,其余子任务正常执行。
我设想的方式:
1、在拆分子任务时可以对子任务进行打标签;
2、执行中可以对某一标签的子任务操作,使得具有该标签未执行的子任务不在执行,已经执行的子任务在reduce时忽略,其他标签的子任务正常执行;
3、除了上述2的想法外,还可以对具有某一标签的子任务重新传递参数,已经执行的子任务重新执行,未执行的子任务按新参数执行。
感谢作者!