Я хотел бы знать, есть ли эффективный способ чтения памяти многозадачного файла JSON (каждая строка - JSON dict) в фреймворк pandas. Ниже приведен пример с двумя строками с рабочим решением, мне это нужно для потенциально очень большого количества записей. Примером использования будет обработка вывода из функции Hadoop Pig JSonStorage.
import json
import pandas as pd
test='''{"a":1,"b":2}
{"a":3,"b":4}'''
#df=pd.read_json(test,orient='records') doesn't work, expects []
l=[ json.loads(l) for l in test.splitlines()]
df=pd.DataFrame(l)