Skip to content

MapReduce给子任务增加标签 #1142

@HeZhanfeng

Description

@HeZhanfeng

大型MapReduce任务,执行一半发现包含某一特殊参数的子任务在计算中参数传递错误,此时就希望有个功能可以把这类子任务全部停止,其余子任务正常执行。

我设想的方式:
1、在拆分子任务时可以对子任务进行打标签;
2、执行中可以对某一标签的子任务操作,使得具有该标签未执行的子任务不在执行,已经执行的子任务在reduce时忽略,其他标签的子任务正常执行;
3、除了上述2的想法外,还可以对具有某一标签的子任务重新传递参数,已经执行的子任务重新执行,未执行的子任务按新参数执行。

感谢作者!

Metadata

Metadata

Assignees

No one assigned

    Labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions