Django haystack whoosh супер медленный

У меня простая настройка с django-haystack и движком whoosh. Поиск с 19 объектами занял у меня 8 секунд. Я использовал панель инструментов django-debug, чтобы определить, что у меня была куча повторяющихся запросов.

Затем я обновил свое поисковое представление для отношений предварительной выборки, чтобы дублировать запросы не удавалось:

class MySearchView(SearchView):
    template_name = 'search_results.html'
    form_class = SearchForm
    queryset = RelatedSearchQuerySet().load_all().load_all_queryset(
        models.Customer, models.Customer.objects.all().select_related('customer_number').prefetch_related(
            'keywords'
        )
    ).load_all_queryset(
        models.Contact, models.Contact.objects.all().select_related('customer')
    ).load_all_queryset(
        models.Account, models.Account.objects.all().select_related(
            'customer', 'account_number', 'main_contact', 'main_contact__customer'
        )
    ).load_all_queryset(
        models.Invoice, models.Invoice.objects.all().select_related(
            'customer', 'end_customer', 'customer__original', 'end_customer__original', 'quote_number', 'invoice_number'
        )
    ).load_all_queryset(
        models.File, models.File.objects.all().select_related('file_number', 'customer').prefetch_related(
            'keywords'
        )
    ).load_all_queryset(
        models.Import, models.Import.objects.all().select_related('import_number', 'customer').prefetch_related(
            'keywords'
        )
    ).load_all_queryset(
        models.Event, models.Event.objects.all().prefetch_related('customers', 'contracts', 'accounts', 'keywords')
    )

Но даже тогда поиск по-прежнему занимает 5 секунд. Затем я использовал профайлер из django-debug-toolbar, который дал мне эту информацию:

Из того, что я могу сказать, проблема заключается в haystack/query:779::__getitem__, который дважды попадает, каждый стоит 1,5 секунды. Я просмотрел этот код, но не могу понять. Итак, куда мне идти?