Как найти каталог установки Spark?

Я хочу изменить spark-env.sh. Как найти каталог установки в ubuntu??

Я смотрел в пользовательском интерфейсе, но ничего не нашел.

whereis spark

результат: spark:

Здесь команда log для команды locate найти искру

/home/sys6002/.netbeans/8.0.2/apache-tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/blockmgr-db3a931b-7f1a-423e-b5da-b75a958a1909/11
/home/sys6002/.netbeans/8.0.2/apache-tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/blockmgr-db3a931b-7f1a-423e-b5da-b75a958a1909/13
/home/sys6002/.netbeans/8.0.2/apache-tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/httpd-16b4313e-72dc-4665-b4ac-df491869386d/files
/home/sys6002/.netbeans/8.0.2/apache-tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/httpd-16b4313e-72dc-4665-b4ac-df491869386d/jars
/home/sys6002/Desktop/diff spark hadoop.png
/home/sys6002/Desktop/sparkmain
/home/sys6002/Downloads/learning-spark-master.zip
/home/sys6002/Downloads/mongo-spark-master
/home/sys6002/Downloads/spark-1.5.1
/home/sys6002/Downloads/spark-1.5.1-bin-hadoop2.6
/home/sys6002/Downloads/spark-1.5.1-bin-hadoop2.6 (2)
/home/sys6002/Downloads/spark-1.5.1-bin-hadoop2.6.tgz
/home/sys6002/Downloads/spark-1.5.1-bin-without-hadoop
/home/sys6002/Downloads/spark-cassandra-connector-master
/home/sys6002/Downloads/spark-core_2.9.3-0.8.0-incubati
home/sys6002/anaconda3/pkgs/odo-0.3.2-np19py34_0/lib/python3.4/site-packages/odo/backends/tests/__pycache__/test_sparksql.cpython-34.pyc
/home/sys6002/spark-example/a.txt
/home/sys6002/spark-example/a.txt~
/home/sys6002/spark-example/pom.xml
/home/sys6002/spark-example/pom.xml~
/home/sys6002/spark-example/src
/home/sys6002/spark-example/src/main
/home/sys6002/spark-example/src/test
/home/sys6002/spark-example/src/main/java
/home/sys6002/spark-example/src/main/java/com
/home/sys6002/spark-example/src/main/java/com/geekcap
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/App.java
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/WordCount.java~
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/sparkexample
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/sparkexample/WordCount.java
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/sparkexample/WordCount.java~

/home/sys6002/spark-example/src/test/java/com/geekcap/javaworld/AppTest.java
/usr/share/app-install/desktop/lightspark:lightspark.desktop
/usr/share/app-install/desktop/sparkleshare:sparkleshare-invite-opener.desktop
/usr/share/app-install/desktop/sparkleshare:sparkleshare.desktop

Ответ 1

Вы можете попробовать эти две команды:

locate spark
whereis spark

найти - для каждого заданного шаблон, поиск поисков одной или нескольких баз данных имен файлов и отображает имена файлов, которые содержат шаблон. Шаблоны могут содержат метасимволы в стиле оболочки: '', '?' и '[]'. метасимволы не обрабатывают '/' или '.' специально. Следовательно, pattern 'foobar' может соответствовать имени файла, содержащему 'foo3/bar', и шаблон "утка" может соответствовать имени файла, содержащему "озеро/.ducky". Шаблоны, содержащие метасимволы, должны быть указаны для их защиты от расширения оболочкой.

whereis находит исходные/двоичные и учебные разделы для указанных файлы. Введенные имена сначала лишены ведущего имени пути компоненты и любое (однократное) растягивающее расширение формы .ext, для пример,.c. Префиксы s. в результате использования управления исходным кодом также рассматриваются. whereis затем пытается найти желаемый программы в списке стандартных мест Linux.

Ответ 2

Это также помогло мне:

cd $SPARK_HOME

Он перенесет вас в каталог, где была установлена Spark, если установлена эта переменная среды.

Ответ 3

Зачем вам нужен домашний каталог Spark? Вам не обязательно иметь локальную установку Spark для запуска приложений Spark. Вам нужно иметь локальную установку пакета Spark, чтобы иметь Spark Standalone или распространять его поверх кластеров YARN или Mesos, но это не похоже на ваш случай.

Вам нужны банки, а по умолчанию все исправления Spark сделают все остальное.

Вы можете увидеть веб-интерфейс с момента его создания по умолчанию при создании экземпляра SparkContext.

В целом, Spark находится в проекте, который вы разрабатываете как кучу банок, и когда ваше приложение Spark запускается, оно создает SparkContext, который в зависимости от вашего основного URL будет подключаться к среде выполнения.

Переменные окружения в spark-env.sh можно легко установить с помощью SparkContext.

Ответ 4

Вместо этого вы должны искать spark-shell

whereis spark-shell

Как правило, это приведет к такому пути /opt/spark-2.3.1-bin-hadoop2.7

Ответ 5

Благодаря Jacek, я обнаружил, что Spark не установлен на моей машине, и я просто использовал искровные библиотеки в своем проекте.

Чтобы добавить больше, чтобы запустить искровое приложение в проекте java, вам не обязательно нужны apache spark, scala и pyspark.

Включение банок сделает вашу работу