Как импортировать данные из mongodb в pandas?

Ответ 1

pymongo может дать вам руку, следующие коды, которые я использую:

import pandas as pd
from pymongo import MongoClient


def _connect_mongo(host, port, username, password, db):
    """ A util for making a connection to mongo """

    if username and password:
        mongo_uri = 'mongodb://%s:%[email protected]%s:%s/%s' % (username, password, host, port, db)
        conn = MongoClient(mongo_uri)
    else:
        conn = MongoClient(host, port)


    return conn[db]


def read_mongo(db, collection, query={}, host='localhost', port=27017, username=None, password=None, no_id=True):
    """ Read from Mongo and Store into DataFrame """

    # Connect to MongoDB
    db = _connect_mongo(host=host, port=port, username=username, password=password, db=db)

    # Make a query to the specific DB and Collection
    cursor = db[collection].find(query)

    # Expand the cursor and construct the DataFrame
    df =  pd.DataFrame(list(cursor))

    # Delete the _id
    if no_id:
        del df['_id']

    return df

Ответ 2

Monary делает именно это, и это очень быстро. (еще одна ссылка)

Смотрите этот классный пост, который включает в себя быстрый учебник и некоторые тайминги.

Ответ 3

Вы можете загрузить данные вашего mongodb в pandas DataFrame с помощью этого кода. Меня устраивает. Надеюсь, вы тоже.

import pymongo
import pandas as pd
from pymongo import MongoClient
client = MongoClient()
db = client.database_name
collection = db.collection_name
data = pd.DataFrame(list(collection.find()))

Ответ 4

import pandas as pd
from odo import odo

data = odo('mongodb://localhost/db::collection', pd.DataFrame)

Ответ 5

В соответствии с PEP простой лучше, чем сложный:

import pandas as pd
df = pd.DataFrame.from_records(db.<database_name>.<collection_name>.find())

Вы можете включить условия, которые будут работать с обычной базой данных mongoDB или даже использовать find_one(), чтобы получить только один элемент из базы данных и т.д.

и вуаля!

Ответ 6

Для эффективного использования данных (не связанных с ОЗУ) (например, при параллельном выполнении) вы можете попробовать экосистему Python Blaze: Blaze/Dask/Odo.

Blaze (и Odo) имеет готовые функции для работы с MongoDB.

Несколько полезных статей для начала:

• Представление Blaze Expessions (с примером запроса MongoDB)
• ReproduceIt: количество слов Reddit
• Разница между массивами Dask и Blaze

И статья, которая показывает, какие удивительные вещи возможны в стеке Blaze: Анализ 1,7 миллиарда Reddit комментариев с Blaze и Impala (по сути, запрос 975 Gb Reddit за секунды).

P.S. Я не связан ни с одной из этих технологий.

Ответ 7

http://docs.mongodb.org/manual/reference/mongoexport

экспортировать в csv и использовать read_csv или JSON и используйте DataFrame.from_records

Ответ 8

Используя

pandas.DataFrame(list(...))

будет потреблять много памяти, если результат итератора/генератора большой

лучше генерировать небольшие куски и concat в конце

def iterator2dataframes(iterator, chunk_size: int):
  """Turn an iterator into multiple small pandas.DataFrame

  This is a balance between memory and efficiency
  """
  records = []
  frames = []
  for i, record in enumerate(iterator):
    records.append(record)
    if i % chunk_size == chunk_size - 1:
      frames.append(pd.DataFrame(records))
      records = []
  if records:
    frames.append(pd.DataFrame(records))
  return pd.concat(frames)

Ответ 9

Следуя этому замечательному ответу waitingkuo, я хотел бы добавить возможность сделать это, используя chunksize в соответствии с . read_sql() и . read_csv(). Я увеличиваю ответ от Deu Leung, избегая идти один за другим каждую "запись" "итератора" / "курсора". Я возьму предыдущую функцию read_mongo.

def read_mongo(db, 
           collection, query={}, 
           host='localhost', port=27017, 
           username=None, password=None,
           chunksize = 100, no_id=True):
""" Read from Mongo and Store into DataFrame """


# Connect to MongoDB
#db = _connect_mongo(host=host, port=port, username=username, password=password, db=db)
client = MongoClient(host=host, port=port)
# Make a query to the specific DB and Collection
db_aux = client[db]


# Some variables to create the chunks
skips_variable = range(0, db_aux[collection].find(query).count(), int(chunksize))
if len(skips_variable)<=1:
    skips_variable = [0,len(skips_variable)]

# Iteration to create the dataframe in chunks.
for i in range(1,len(skips_variable)):

    # Expand the cursor and construct the DataFrame
    #df_aux =pd.DataFrame(list(cursor_aux[skips_variable[i-1]:skips_variable[i]]))
    df_aux =pd.DataFrame(list(db_aux[collection].find(query)[skips_variable[i-1]:skips_variable[i]]))

    if no_id:
        del df_aux['_id']

    # Concatenate the chunks into a unique df
    if 'df' not in locals():
        df =  df_aux
    else:
        df = pd.concat([df, df_aux], ignore_index=True)

return df

Ответ 10

Аналогичный подход, такой как Рафаэль Валеро, ожидающий и Deu Leung с использованием разбивки на страницы:

def read_mongo(
       # db, 
       collection, query=None, 
       # host='localhost', port=27017, username=None, password=None,
       chunksize = 100, page_num=1, no_id=True):

    # Connect to MongoDB
    db = _connect_mongo(host=host, port=port, username=username, password=password, db=db)

    # Calculate number of documents to skip
    skips = chunksize * (page_num - 1)

    # Sorry, this is in spanish
    # https://www.toptal.com/python/c%C3%B3digo-buggy-python-los-10-errores-m%C3%A1s-comunes-que-cometen-los-desarrolladores-python/es
    if not query:
        query = {}

    # Make a query to the specific DB and Collection
    cursor = db[collection].find(query).skip(skips).limit(chunksize)

    # Expand the cursor and construct the DataFrame
    df =  pd.DataFrame(list(cursor))

    # Delete the _id
    if no_id:
        del df['_id']

    return df