Spark Streaming: объединение пакетов Dstream в единую выходную папку

Мы можем сделать это, используя новый API сохранения DataFrame Spark SQL, который позволяет добавлять к существующему выводу. По умолчанию saveAsTextFile не сможет сохранить в каталог с существующими данными (см. https://spark.apache.org/docs/latest/sql-programming-guide.html#save-modes). https://spark.apache.org/docs/latest/streaming-programming-guide.html#dataframe-and-sql-operations рассказывается, как настроить контекст Spark SQL для использования с Spark Streaming.

Если вы скопируете часть руководства с помощью SQLContextSingleton, результирующий код будет выглядеть примерно так:

data.foreachRDD{rdd =>
  val sqlContext = SQLContextSingleton.getInstance(rdd.sparkContext)
  // Convert your data to a DataFrame, depends on the structure of your data
  val df = ....
  df.save("org.apache.spark.sql.json", SaveMode.Append, Map("path" -> path.toString))
}

(Обратите внимание, что в приведенном выше примере для сохранения результата использовался JSON, но вы также можете использовать другие форматы вывода).