Я пытаюсь воспроизвести кластер EMR Amazon на моей локальной машине. С этой целью я установил последнюю стабильную версию Hadoop на данный момент - 2.6.0. Теперь я хотел бы получить доступ к ведро S3, как и в кластере EMR.
Я добавил учетные данные aws в файле core-site.xml:
<property>
<name>fs.s3.awsAccessKeyId</name>
<value>some id</value>
</property>
<property>
<name>fs.s3n.awsAccessKeyId</name>
<value>some id</value>
</property>
<property>
<name>fs.s3.awsSecretAccessKey</name>
<value>some key</value>
</property>
<property>
<name>fs.s3n.awsSecretAccessKey</name>
<value>some key</value>
</property>
Примечание. Поскольку на клавише есть некоторые косые черты, я избежал их с помощью% 2F
Если я попытаюсь перечислить содержимое ведра:
hadoop fs -ls s3://some-url/bucket/
Я получаю эту ошибку:
ls: Нет Файловая система для схемы: s3
Я снова редактировал файл core-site.xml и добавил информацию, связанную с fs:
<property>
<name>fs.s3.impl</name>
<value>org.apache.hadoop.fs.s3.S3FileSystem</value>
</property>
<property>
<name>fs.s3n.impl</name>
<value>org.apache.hadoop.fs.s3native.NativeS3FileSystem</value>
</property>
На этот раз я получаю другую ошибку:
-ls: Fatal internal error
java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.s3.S3FileSystem not found
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2074)
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2578)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2591)
Как-то я подозреваю, что в распределении пряжи нет необходимых фляг, чтобы читать S3, но я понятия не имею, где их получить. Любые указатели в этом направлении были бы весьма полезны.