У меня есть простая программа в Spark:
/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object SimpleApp {
def main(args: Array[String]) {
val conf = new SparkConf().setMaster("spark://10.250.7.117:7077").setAppName("Simple Application").set("spark.cores.max","2")
val sc = new SparkContext(conf)
val ratingsFile = sc.textFile("hdfs://hostname:8020/user/hdfs/mydata/movieLens/ds_small/ratings.csv")
//first get the first 10 records
println("Getting the first 10 records: ")
ratingsFile.take(10)
//get the number of records in the movie ratings file
println("The number of records in the movie list are : ")
ratingsFile.count()
}
}
Когда я пытаюсь запустить эту программу из spark-shell, т.е. я вхожу в узел имени (установка Cloudera) и последовательно запускаю команды на spark-shell:
val ratingsFile = sc.textFile("hdfs://hostname:8020/user/hdfs/mydata/movieLens/ds_small/ratings.csv")
println("Getting the first 10 records: ")
ratingsFile.take(10)
println("The number of records in the movie list are : ")
ratingsFile.count()
Я получаю правильные результаты, но если я пытаюсь запустить программу из затмения, никакие ресурсы не назначаются программе, и в журнале консоли все, что я вижу, это:
WARN TaskSchedulerImpl: начальное задание не приняло никаких ресурсов; проверьте свой кластерный интерфейс, чтобы убедиться, что работники зарегистрированы и имеют достаточные ресурсы
Кроме того, в интерфейсе Spark я вижу это:
Работа продолжает работать - искра
Кроме того, следует отметить, что эта версия spark была установлена с Cloudera (следовательно, рабочие узлы не отображаются).
Что я должен сделать, чтобы сделать эту работу?
РЕДАКТИРОВАТЬ:
Я проверил HistoryServer, и эти задания там не отображаются (даже в неполных приложениях)
