U kunt df.map(row => ...) gebruiken om het dataframe naar een RDD te converteren als u een rij wilt toewijzen aan een ander RDD-element.
Bijvoorbeeld:
val df = Seq(("table1",432),
("table2",567),
("table3",987),
("table1",789)).
toDF("tablename", "Code").toDF()
df.show()
+---------+----+
|tablename|Code|
+---------+----+
| table1| 432|
| table2| 567|
| table3| 987|
| table1| 789|
+---------+----+
val rddDf = df.map(r => (r(0), r(1))).rdd // Type:RDD[(Any,Any)]
OR
val rdd = df.map(r => (r(0).toString, r(1).toString)).rdd //Type: RDD[(String,String)]
Raadpleeg https://community.hortonworks.com/questions/106500/error-in-spark-streaming-kafka-integration-structu.html met betrekking tot AnalysisException:Query's met streamingbronnen moeten worden uitgevoerd met writeStream.start()
U moet wachten op de beëindiging van de zoekopdracht met behulp van query.awaitTermination() Om te voorkomen dat het proces wordt afgesloten terwijl de query actief is.