Загрузка и разбор файла JSON с несколькими объектами JSON в Python

Я пытаюсь загрузить и проанализировать файл JSON в Python. Но я застрял, пытаясь загрузить файл:

import json
json_data = open('file')
data = json.load(json_data)

Урожайность:

ValueError: Extra data: line 2 column 1 - line 225116 column 1 (char 232 - 160128774)

Я посмотрел на 18,2. json - кодер и декодер JSON в документации по Python, но читать эту ужасно выглядящую документацию довольно обескураживающе.

Первые несколько строк (анонимные с рандомизированными записями):

{"votes": {"funny": 2, "useful": 5, "cool": 1}, "user_id": "harveydennis", "name": "Jasmine Graham", "url": "http://example.org/user_details?userid=harveydennis", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 2, "cool": 4}, "user_id": "njohnson", "name": "Zachary Ballard", "url": "https://www.example.com/user_details?userid=njohnson", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 0, "cool": 4}, "user_id": "david06", "name": "Jonathan George", "url": "https://example.com/user_details?userid=david06", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 6, "useful": 5, "cool": 0}, "user_id": "santiagoerika", "name": "Amanda Taylor", "url": "https://www.example.com/user_details?userid=santiagoerika", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 8, "cool": 2}, "user_id": "rodriguezdennis", "name": "Jennifer Roach", "url": "http://www.example.com/user_details?userid=rodriguezdennis", "average_stars": 3.5, "review_count": 12, "type": "user"}

Ответ 1

У вас есть текстовый файл формата JSON Lines. Вам нужно проанализировать файл по строкам:

import json

data = []
with open('file') as f:
    for line in f:
        data.append(json.loads(line))

Каждая строка содержит действительный JSON, но в целом это не является допустимым значением JSON, поскольку нет списка верхнего уровня или определения объекта.

Обратите внимание, что поскольку файл содержит JSON в строке, вы сохраняете головную боль, пытаясь разобрать все за один раз или выяснить потоковый JSON-парсер. Теперь вы можете самостоятельно обрабатывать каждую строку, прежде чем переходить к следующему, сохраняя память в процессе. Вероятно, вы не хотите добавлять каждый результат в один список, а затем обрабатывать все, если ваш файл действительно большой.

Если у вас есть файл, содержащий отдельные объекты JSON с разделителями между ними, используйте Как использовать модуль 'json' для чтения в одном объекте JSON за раз? для анализа отдельных объектов с использованием буферизованного метода.

Ответ 2

Это плохо отформатировано. У вас есть один объект JSON на строку, но они не содержатся в большей структуре данных (т.е. В массиве). Вам нужно будет переформатировать его так, чтобы он начинался с [ и заканчивался символом ] с запятой в конце каждой строки или разбор строки по строке в виде отдельных словарей.

Ответ 3

для тех, кто наткнулся на этот вопрос: библиотека python jsonlines (намного моложе этого вопроса) элегантно. обрабатывает файлы с одним json-документом в строке. см. https://jsonlines.readthedocs.io/