Эффективная (постоянная) и оптимизированная по скорости оптимизация итерации по большой таблице в Django

Ответ 1

Существенный ответ: использовать исходный SQL-код с серверными курсорами.

К сожалению, до Django 1.5.2 не существует формального способа создания курсора MySQL на стороне сервера (не уверен в других механизмах базы данных). Поэтому я написал несколько магических кодов для решения этой проблемы.

Для Django 1.5.2 и MySQLdb 1.2.4 будет работать следующий код. Кроме того, он хорошо прокомментировал.

Предостережение:. Это не основано на общедоступных API-интерфейсах, поэтому в будущих версиях Django он может быть поврежден.

# This script should be tested under a Django shell, e.g., ./manage.py shell

from types import MethodType

import MySQLdb.cursors
import MySQLdb.connections
from django.db import connection
from django.db.backends.util import CursorDebugWrapper


def close_sscursor(self):
    """An instance method which replace close() method of the old cursor.

    Closing the server-side cursor with the original close() method will be
    quite slow and memory-intensive if the large result set was not exhausted,
    because fetchall() will be called internally to get the remaining records.
    Notice that the close() method is also called when the cursor is garbage 
    collected.

    This method is more efficient on closing the cursor, but if the result set
    is not fully iterated, the next cursor created from the same connection
    won't work properly. You can avoid this by either (1) close the connection 
    before creating a new cursor, (2) iterate the result set before closing 
    the server-side cursor.
    """
    if isinstance(self, CursorDebugWrapper):
        self.cursor.cursor.connection = None
    else:
        # This is for CursorWrapper object
        self.cursor.connection = None


def get_sscursor(connection, cursorclass=MySQLdb.cursors.SSCursor):
    """Get a server-side MySQL cursor."""
    if connection.settings_dict['ENGINE'] != 'django.db.backends.mysql':
        raise NotImplementedError('Only MySQL engine is supported')
    cursor = connection.cursor()
    if isinstance(cursor, CursorDebugWrapper):
        # Get the real MySQLdb.connections.Connection object
        conn = cursor.cursor.cursor.connection
        # Replace the internal client-side cursor with a sever-side cursor
        cursor.cursor.cursor = conn.cursor(cursorclass=cursorclass)
    else:
        # This is for CursorWrapper object
        conn = cursor.cursor.connection
        cursor.cursor = conn.cursor(cursorclass=cursorclass)
    # Replace the old close() method
    cursor.close = MethodType(close_sscursor, cursor)
    return cursor


# Get the server-side cursor
cursor = get_sscursor(connection)

# Run a query with a large result set. Notice that the memory consumption is low.
cursor.execute('SELECT * FROM million_record_table')

# Fetch a single row, fetchmany() rows or iterate it via "for row in cursor:"
cursor.fetchone()

# You can interrupt the iteration at any time. This calls the new close() method,
# so no warning is shown.
cursor.close()

# Connection must be close to let new cursors work properly. see comments of
# close_sscursor().
connection.close()

Ответ 2

Если все, что вы хотите сделать, это перебрать все в таблице один раз, следующее очень эффективно в ресурсах и намного быстрее, чем основной итератор. Обратите внимание, что пейджинг по первичному ключу необходим для эффективной реализации из-за линейного времени операции смещения.

def table_iterator(model, page_size=10000):
    try: max = model.objects.all().order_by("-pk")[0].pk
    except IndexError: return 
    pages = int(max / page_size) + 1
    for page_num in range(pages):
        lower = page_num * page_size
        page = model.objects.filter(pk__gte=lower, pk__lt=lower+page_size)
        for obj in page:
            yield obj

Использование выглядит так:

for obj in table_iterator(Model):
    # do stuff

Ответ 3

Имеется еще один вариант. Это не ускорит итерацию (на самом деле это, вероятно, замедлило бы ее), но это заставит ее использовать гораздо меньше памяти. В зависимости от ваших потребностей это может быть уместно.

large_qs = MyModel.objects.all().values_list("id", flat=True)
for model_id in large_qs:
    model_object = MyModel.objects.get(id=model_id)
    # do whatever you need to do with the model here

В память загружаются только идентификаторы, а объекты извлекаются и отбрасываются по мере необходимости. Обратите внимание на увеличенную загрузку базы данных и более медленное время выполнения, как компромиссы для сокращения использования памяти.

Я использовал это при запуске асинхронных запланированных задач на экземплярах рабочих, для которых это не имеет большого значения, если они медленные, но если они пытаются использовать слишком много памяти, они могут свернуть экземпляр и, следовательно, прервать процесс.