Как читать список паркетных файлов из S3 в виде pandas данных с использованием пиарроу?

У меня есть хакерский способ достижения этого, используя boto3 (1.4.4), pyarrow (0.4.1) и pandas (0.20.3).

Во-первых, я могу прочитать один файл паркета локально следующим образом:

import pyarrow.parquet as pq

path = 'parquet/part-r-00000-1e638be4-e31f-498a-a359-47d017a0059c.gz.parquet'
table = pq.read_table(path)
df = table.to_pandas()

Я также могу локально локализовать каталог паркетных файлов следующим образом:

import pyarrow.parquet as pq

dataset = pq.ParquetDataset('parquet/')
table = dataset.read()
df = table.to_pandas()

Оба работают как обаяние. Теперь я хочу получить то же самое с файлами, хранящимися в ведре S3. Я надеялся, что что-то вроде этого будет работать:

dataset = pq.ParquetDataset('s3n://dsn/to/my/bucket')

Но это не так:

OSError: Passed non-file path: s3n://dsn/to/my/bucket

Прочитав документацию по pyarrow, это не представляется возможным на момент. Поэтому я вышел со следующим решением:

Чтение одного файла из S3 и получение фрейма pandas:

import io
import boto3
import pyarrow.parquet as pq

buffer = io.BytesIO()
s3 = boto3.resource('s3')
s3_object = s3.Object('bucket-name', 'key/to/parquet/file.gz.parquet')
s3_object.download_fileobj(buffer)
table = pq.read_table(buffer)
df = table.to_pandas()

И вот мое хакерское, не очень оптимизированное решение для создания pandas фрейма данных из пути папки S3:

import io
import boto3
import pandas as pd
import pyarrow.parquet as pq

bucket_name = 'bucket-name'
def download_s3_parquet_file(s3, bucket, key):
    buffer = io.BytesIO()
    s3.Object(bucket, key).download_fileobj(buffer)
    return buffer

client = boto3.client('s3')
s3 = boto3.resource('s3')
objects_dict = client.list_objects_v2(Bucket=bucket_name, Prefix='my/folder/prefix')
s3_keys = [item['Key'] for item in objects_dict['Contents'] if item['Key'].endswith('.parquet')]
buffers = [download_s3_parquet_file(s3, bucket_name, key) for key in s3_keys]
dfs = [pq.read_table(buffer).to_pandas() for buffer in buffers]
df = pd.concat(dfs, ignore_index=True)

Есть ли лучший способ достичь этого? Может быть, какой-то разъем для pandas с использованием пиарроу? Я бы хотел избежать использования pyspark, но если другого решения нет, тогда я бы взял его.

Ответ 1

Вы должны использовать модуль s3fs, предложенный yjk21. Однако в результате вызова ParquetDataset вы получите объект pyarrow.parquet.ParquetDataset. Чтобы получить Pandas DataFrame, вы скорее захотите применить к нему .read_pandas().to_pandas():

import pyarrow.parquet as pq
import s3fs
s3 = s3fs.S3FileSystem()

pandas_dataframe = pq.ParquetDataset('s3://your-bucket/', filesystem=s3).read_pandas().to_pandas()

Ответ 2

Вы можете использовать s3fs из dask, который реализует интерфейс файловой системы для s3. Затем вы можете использовать аргумент файловой системы ParquetDataset следующим образом:

import s3fs
s3 = s3fs.S3FileSystem()
dataset = pq.ParquetDataset('s3n://dsn/to/my/bucket', filesystem=s3)

Ответ 3

Это может быть сделано с помощью boto3, а также без использования Pyarrow

import boto3
import io
import pandas as pd

# Read the parquet file
buffer = io.BytesIO()
s3 = boto3.resource('s3')
object = s3.Object('bucket_name','key')
object.download_fileobj(buffer)
df = pd.read_parquet(buffer)

print(df.head())

Ответ 4

Спасибо! Ваш вопрос на самом деле сказать мне много. Вот как я это делаю сейчас с pandas (0.21.1), которые будут называться pyarrow, и boto3 (1.3.1).

import boto3
import io
import pandas as pd

# Read single parquet file from S3
def pd_read_s3_parquet(key, bucket, s3_client=None, **args):
    if s3_client is None:
        s3_client = boto3.client('s3')
    obj = s3_client.get_object(Bucket=bucket, Key=key)
    return pd.read_parquet(io.BytesIO(obj['Body'].read()), **args)

# Read multiple parquets from a folder on S3 generated by spark
def pd_read_s3_multiple_parquets(filepath, bucket, s3=None, 
                                 s3_client=None, verbose=False, **args):
    if not filepath.endswith('/'):
        filepath = filepath + '/'  # Add '/' to the end
    if s3_client is None:
        s3_client = boto3.client('s3')
    if s3 is None:
        s3 = boto3.resource('s3')
    s3_keys = [item.key for item in s3.Bucket(bucket).objects.filter(Prefix=filepath)
               if item.key.endswith('.parquet')]
    if not s3_keys:
        print('No parquet found in', bucket, filepath)
    elif verbose:
        print('Load parquets:')
        for p in s3_keys: 
            print(p)
    dfs = [pd_read_s3_parquet(key, bucket=bucket, s3_client=s3_client, **args) 
           for key in s3_keys]
    return pd.concat(dfs, ignore_index=True)

Затем вы можете прочитать несколько паркетов в папке из S3 по

df = pd_read_s3_multiple_parquets('path/to/folder', 'my_bucket')

(Думаю, можно много упростить этот код.)

Ответ 5

Вероятно, самый простой способ считывания данных паркета из облака в кадры данных - это использовать dask.dataframe следующим образом:

import dask.dataframe as dd
df = dd.read_parquet('s3://bucket/path/to/data-*.parq')

dask.dataframe может считывать данные из облачного хранилища Google, Amazon S3, файловой системы Hadoop и dask.dataframe другого !