Использование S3 (Франкфурт) с Spark

Ответ 1

Попробуйте установить следующие значения:

System.setProperty("com.amazonaws.services.s3.enableV4", "true")
hadoopConf.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
hadoopConf.set("com.amazonaws.services.s3.enableV4", "true")
hadoopConf.set("fs.s3a.endpoint", "s3." + region + ".amazonaws.com")

укажите регион, в котором находится это ведро, в моем случае это было: eu-central-1

и добавьте зависимость в gradle или каким-либо другим способом:

dependencies {
    compile 'org.apache.hadoop:hadoop-aws:2.7.2'
}

надеюсь, что это поможет.

Ответ 2

Если вы используете pyspark, для меня работало следующее

aws_profile = "your_profile"
aws_region = "eu-central-1"
s3_bucket = "your_bucket"

# see https://github.com/jupyter/docker-stacks/issues/127#issuecomment-214594895
os.environ['PYSPARK_SUBMIT_ARGS'] = "--packages=org.apache.hadoop:hadoop-aws:2.7.3 pyspark-shell"

# If this doesn't work you might have to delete your ~/.ivy2 directory to reset your package cache.
# (see https://github.com/databricks/spark-redshift/issues/244#issuecomment-239950148)
import pyspark
sc=pyspark.SparkContext()
# see https://github.com/databricks/spark-redshift/issues/298#issuecomment-271834485
sc.setSystemProperty("com.amazonaws.services.s3.enableV4", "true")

# see https://stackoverflow.com/questions/28844631/how-to-set-hadoop-configuration-values-from-pyspark
hadoop_conf=sc._jsc.hadoopConfiguration()
# see https://stackoverflow.com/questions/43454117/how-do-you-use-s3a-with-spark-2-1-0-on-aws-us-east-2
hadoop_conf.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
hadoop_conf.set("com.amazonaws.services.s3.enableV4", "true")
hadoop_conf.set("fs.s3a.access.key", access_id)
hadoop_conf.set("fs.s3a.secret.key", access_key)

# see https://docs.aws.amazon.com/general/latest/gr/rande.html#s3_region
hadoop_conf.set("fs.s3a.endpoint", "s3." + aws_region + ".amazonaws.com")

sql=pyspark.sql.SparkSession(sc)
path = s3_bucket + "your_file_on_s3"
dataS3=sql.read.parquet("s3a://" + path)

Ответ 3

Вдохновленный ответами других, запуск следующего непосредственно в оболочке pyspark дал желаемый результат для меня:

sc.setSystemProperty("com.amazonaws.services.s3.enableV4", "true") # fails without this
hc=sc._jsc.hadoopConfiguration()
hc.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
hc.set("com.amazonaws.services.s3.enableV4", "true")
hc.set("fs.s3a.endpoint", end_point)
hc.set("fs.s3a.access.key",access_key)
hc.set("fs.s3a.secret.key",secret_key)
data = sc.textFile("s3a://bucket/file")
data.take(3)

Выберите свою конечную точку по адресу: список конечных точек Мне удалось получить данные из Азиатско-Тихоокеанского региона (Мумбаи) (ap-south-1), который является регионом только для Версии 4.

Ответ 4

вышеуказанные решения не работают для меня.

Мой контекст: EMR находится в регионе US-EAST-1 и получает доступ к сегменту, который находится в регионе US-WEST-2.

через Java SDK я могу получить к нему доступ, указав регион и прокси.

Я добавил свойство ниже к sparkcontext.

sparkContext.hadoopConfiguration(). set ("fs.s3a.endpoint", "s3.us-west-2.amazonaws.com");

spark.read.testFile( "s3://bucket-west3/file.txt");

Я получаю время соединения,

вызвано: com.amazon.ws.emr.hadoop.fs.shaded.org.apache.http.conn.ConnectTimeoutException: подключение к cof-qa-fscdbx-untrst-west2.s3.amazonaws.com:443 [xxxxxxxxx-west2.s3.amazonaws.com/52.218.xx] не удалось: истекло время соединения на com.amazon.ws.emr.hadoop.fs.shaded.org.apache.http.impl.conn.DefaultHttpClientConnectionOperator.connect(DefaultHttpClientConnectionOperator.java:150 ) на com.amazon.ws.emr.hadoop.fs.shaded.org.apache.http.impl.conn.PoolingHttpClientConnectionManager.connect(PoolingHttpClientConnectionManager.java:353)