Я пытаюсь получить библиотеку databricks для чтения CSV для работы. Я пытаюсь прочитать TSV, созданный улей, в искровой кадр данных, используя scala api.
Вот пример, который вы можете запустить в искровой оболочке (я сделал публичные данные образца, чтобы он мог работать для вас)
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType};
val sqlContext = new SQLContext(sc)
val segments = sqlContext.read.format("com.databricks.spark.csv").load("s3n://michaeldiscenza/data/test_segments")
В документации указано, что вы можете указать разделитель, но я не знаю, как указать эту опцию.