Вставьте Pandas Dataframe в mongodb, используя PyMongo

Ответ 1

Я сомневаюсь, что есть и самый быстрый и простой метод. Если вы не беспокоитесь о преобразовании данных, вы можете сделать

>>> import json
>>> df = pd.DataFrame.from_dict({'A': {1: datetime.datetime.now()}})
>>> df
                           A
1 2013-11-23 21:14:34.118531

>>> records = json.loads(df.T.to_json()).values()
>>> db.myCollection.insert(records)

Но если вы попытаетесь загрузить данные обратно, вы получите:

>>> df = read_mongo(db, 'myCollection')
>>> df
                     A
0  1385241274118531000
>>> df.dtypes
A    int64
dtype: object

поэтому вам нужно будет преобразовать столбец "A" обратно в datetime s, а также все поля не int, float или str в вашем DataFrame. В этом примере:

>>> df['A'] = pd.to_datetime(df['A'])
>>> df
                           A
0 2013-11-23 21:14:34.118531

Ответ 2

Здесь у вас есть очень быстрый способ. Использование метода insert_many из pymongo 3 и параметра " to_dict метода to_dict.

db.insert_many(df.to_dict('records'))

Ответ 3

odo может сделать это, используя

odo(df, db.myCollection)

Ответ 4

Если в вашем фреймворке отсутствуют данные (т.е. нет, нан), и вам не нужны значения нулевого ключа в ваших документах:

db.insert_many(df.to_dict("records")) будет вставлять ключи с нулевыми значениями. Если вам не нужны пустые значения ключей в ваших документах, вы можете использовать измененную версию pandas .to_dict("records") ниже:

from pandas.core.common import _maybe_box_datetimelike
my_list = [dict((k, _maybe_box_datetimelike(v)) for k, v in zip(df.columns, row) if v != None and v == v) for row in df.values]
db.insert_many(my_list)

где if v != None and v == v я добавил проверки, чтобы убедиться, что значение не None или nan, прежде чем поместить его в словарь строк. Теперь ваш .insert_many будет содержать только ключи со значениями в документах (и не типа null).

Ответ 5

Я думаю, что в этом вопросе есть крутые идеи. В моем случае я тратил больше времени на заботу о движении больших кадров данных. В этом случае pandas имеет тенденцию разрешать вам выбор chunksize (например, в pandas.DataFrame.to_sql). Поэтому я думаю, что могу внести свой вклад, добавив функцию, которую я использую в этом направлении.

def write_df_to_mongoDB(  my_df,\
                          database_name = 'mydatabasename' ,\
                          collection_name = 'mycollectionname',
                          server = 'localhost',\
                          mongodb_port = 27017,\
                          chunk_size = 100):
    #"""
    #This function take a list and create a collection in MongoDB (you should
    #provide the database name, collection, port to connect to the remoete database,
    #server of the remote database, local port to tunnel to the other machine)
    #
    #---------------------------------------------------------------------------
    #Parameters / Input
    #    my_list: the list to send to MongoDB
    #    database_name:  database name
    #
    #    collection_name: collection name (to create)
    #    server: the server of where the MongoDB database is hosted
    #        Example: server = '132.434.63.86'
    #    this_machine_port: local machine port.
    #        For example: this_machine_port = '27017'
    #    remote_port: the port where the database is operating
    #        For example: remote_port = '27017'
    #    chunk_size: The number of items of the list that will be send at the
    #        some time to the database. Default is 100.
    #
    #Output
    #    When finished will print "Done"
    #----------------------------------------------------------------------------
    #FUTURE modifications.
    #1. Write to SQL
    #2. Write to csv
    #----------------------------------------------------------------------------
    #30/11/2017: Rafael Valero-Fernandez. Documentation
    #"""



    #To connect
    # import os
    # import pandas as pd
    # import pymongo
    # from pymongo import MongoClient

    client = MongoClient('localhost',int(mongodb_port))
    db = client[database_name]
    collection = db[collection_name]
    # To write
    collection.delete_many({})  # Destroy the collection
    #aux_df=aux_df.drop_duplicates(subset=None, keep='last') # To avoid repetitions
    my_list = my_df.to_dict('records')
    l =  len(my_list)
    ran = range(l)
    steps=ran[chunk_size::chunk_size]
    steps.extend([l])

    # Inser chunks of the dataframe
    i = 0
    for j in steps:
        print j
        collection.insert_many(my_list[i:j]) # fill de collection
        i = j

    print('Done')
    return

Ответ 6

как насчет этого:

db.myCollection.insert({id: df.to_json()})

id будет уникальной строкой для этого df

Ответ 7

Просто сделайте струнные ключи!

import json
dfData = json.dumps(df.to_dict('records'))
savaData = {'_id': 'a8e42ed79f9dae1cefe8781760231ec0', 'df': dfData}
res = client.insert_one(savaData)

##### load dfData
data = client.find_one({'_id': 'a8e42ed79f9dae1cefe8781760231ec0'}).get('df')
dfData = json.loads(data)
df = pd.DataFrame.from_dict(dfData)