Apache Crunch管道如何生成 map 减少工作?

2020年11月15日 49点热度 0条评论

我是像Crunch / Cascading这样的hadoop管道框架的新手。我想知道在这些框架的底部,它们是否像原始MapReduce程序那样生成原始的mapper和reducer类?在Crunch源代码中,我没有找到将管道转换为原始MapReduce类的代码。

解决方案如下:

您可以使用代码中的以下几行来可视化已创建的MapReduce计划紧缩。将在pipeline.dot中创建的DOT代码复制到graphviz中以查看计划。

String dot = pipeline.getConfiguration().get("crunch.planner.dotfile");
Files.write(dot, new File("pipeline.dot"), Charsets.UTF_8);