Объект PipelinedRDD не имеет атрибута 'toDF' в PySpark

Я пытаюсь загрузить SVM файл и преобразовать его в DataFrame, чтобы я мог использовать модуль ML (Pipeline ML) от Spark. Я только что установил свежий Spark 1.5.0 на Ubuntu 14.04 (без spark-env.sh).

Мой my_script.py:

from pyspark.mllib.util import MLUtils
from pyspark import SparkContext

sc = SparkContext("local", "Teste Original")
data = MLUtils.loadLibSVMFile(sc, "/home/svm_capture").toDF()

и я использую: ./spark-submit my_script.py

И я получаю сообщение об ошибке:

Traceback (most recent call last):
File "/home/fred-spark/spark-1.5.0-bin-hadoop2.6/pipeline_teste_original.py", line 34, in <module>
data = MLUtils.loadLibSVMFile(sc, "/home/fred-spark/svm_capture").toDF()
AttributeError: 'PipelinedRDD' object has no attribute 'toDF'

Я не могу понять, что если я запустил:

data = MLUtils.loadLibSVMFile(sc, "/home/svm_capture").toDF()

непосредственно внутри оболочки PySpark, она работает.

Ответ 1