我正在尝试使用Spark v2.0.0读取Json文件。在简单数据的情况下,代码工作得很好。在有点复杂的数据的情况下,当我打印df.show()时,数据没有以正确的方式显示。 这是我的代码: SparkSession session = SparkSession.builder().master("local").appName("jsonreader").getOrCreate(); Dataset<Row> list = session.read().json("/Users/hadoop/Desk…

2020年5月14日 0条评论 12点热度 阅读全文

您能否帮我弄清楚初始化Spark RDD会发生什么? 有一个官方示例here: val capitals = spark.read.parquet("capitals.parquet").select("name", "country") val luceneRDD = LuceneRDD(capitals) val result = luceneRDD.termQuery("name", "ottawa", 10) 但是我对Scala并不熟悉,并且在阅读源代码时遇到了麻烦。您能否回答下一个问题: spark-lu…

2020年3月30日 0条评论 17点热度 阅读全文