我创建了一个Scala类,如下所示: case class MyObjectWithEventTime(value: MyObject, eventTime: Timestamp) MyObject是一个Java对象。 我正在Spark结构化流作业中尝试按以下方式使用它: implicit val myObjectEncoder: Encoder[MyObject] = Encoders.bean(classOf[MyObject]) val withEventTime = mystream .select(fro…

2020年7月8日 0条评论 15点热度 阅读全文

我已经写了一个数据集spark job(Batch)代码来整理数据,这很好,但是当我尝试在spark streaming作业中使用相同的代码片段时,它抛出了以下错误具有流源的查询必须使用writeStream.start()执行。 那么,有什么方法可以在Streaming作业中展平嵌套JSON?样本输入嵌套JSON-{“ name”:“ Akash”,“ age”:26,“ watches”:{“ name”:“ Apple”,“ models”:[“ Apple Watch Series 5”,“ Apple W…

2019年6月28日 0条评论 17点热度 阅读全文