遇到下面这种Executor报错的情况,多半是sparkRDD或者DataFrame定义的时候出了问题,因为sparkSql程序执行的机制是:transformation端不是真正的执行,只有action端才是执行的开始,所以会在action函数调用的时候,才会把之前transform端或者定义类方法的时候存在的错误显式的抛出来。 可以根据exception具体信息以及之前的代码确定哪儿出来问题。 18/02/14 11:11:40 ERROR Executor: Exception in task 0.0 in …

2018年2月14日 0条评论 32点热度 阅读全文