Как обслуживать пользователей динамически созданный ZIP-архив в Django?
Я создаю сайт, на котором пользователи могут выбирать любую комбинацию доступных книг и загружать их в виде ZIP-архива. Я волнуюсь, что создание таких архивов для каждого запроса замедлит мой сервер до обхода. Я также слышал, что Django в настоящее время не имеет хорошего решения для работы с динамически генерируемыми файлами.
Решение состоит в следующем.
Используйте Python module zipfile для создания zip-архива, но в качестве файла укажите StringIO (для конструктора ZipFile требуется файл-подобный объект). Добавьте файлы, которые вы хотите сжать. Затем в приложении Django верните содержимое объекта StringIO в HttpResponse с типом mimetype, установленным в application/x-zip-compressed (или, по крайней мере, application/octet-stream). Если вы хотите, вы можете установить заголовок content-disposition, но это не должно быть действительно необходимо.
Но будьте осторожны, создание zip-архивов по каждому запросу - плохая идея, и это может убить ваш сервер (не считая таймаутов, если архивы большие). Эффективный подход состоит в том, чтобы кэшировать сгенерированную выходную информацию где-то в файловой системе и восстанавливать ее только в том случае, если исходные файлы были изменены. Еще лучшая идея - заранее подготовить архивы (например, задание cron), и ваш веб-сервер будет обслуживать их как обычную статику.
Здесь вид Django для этого:
import os
import zipfile
import StringIO
from django.http import HttpResponse
def getfiles(request):
# Files (local path) to put in the .zip
# FIXME: Change this (get paths from DB etc)
filenames = ["/tmp/file1.txt", "/tmp/file2.txt"]
# Folder name in ZIP archive which contains the above files
# E.g [thearchive.zip]/somefiles/file2.txt
# FIXME: Set this to something better
zip_subdir = "somefiles"
zip_filename = "%s.zip" % zip_subdir
# Open StringIO to grab in-memory ZIP contents
s = StringIO.StringIO()
# The zip compressor
zf = zipfile.ZipFile(s, "w")
for fpath in filenames:
# Calculate path for file in zip
fdir, fname = os.path.split(fpath)
zip_path = os.path.join(zip_subdir, fname)
# Add file, at correct path
zf.write(fpath, zip_path)
# Must close zip for all contents to be written
zf.close()
# Grab ZIP file from in-memory, make response with correct MIME-type
resp = HttpResponse(s.getvalue(), mimetype = "application/x-zip-compressed")
# ..and correct content-disposition
resp['Content-Disposition'] = 'attachment; filename=%s' % zip_filename
return resp
Django напрямую не обрабатывает создание динамического содержимого (в частности, файлы Zip). Эта работа будет выполняться стандартной библиотекой Python. Вы можете посмотреть, как динамически создавать Zip файл в Python здесь.
Если вы беспокоитесь о том, что это замедляет работу вашего сервера, вы можете кэшировать запросы, если вы ожидаете иметь много одинаковых запросов. Вы можете использовать Django кэш-инфраструктуру, чтобы помочь вам в этом.
В целом, файлы zipping могут быть интенсивными, но Django не должен быть медленнее, чем другая веб-инфраструктура Python.
Бесстыдный плагин: вы можете использовать django-zipview для этой же цели.
После pip install django-zipview:
from zipview.views import BaseZipView
from reviews import Review
class CommentsArchiveView(BaseZipView):
"""Download at once all comments for a review."""
def get_files(self):
document_key = self.kwargs.get('document_key')
reviews = Review.objects \
.filter(document__document_key=document_key) \
.exclude(comments__isnull=True)
return [review.comments.file for review in reviews if review.comments.name]
Этот модуль создает и передает архив: https://github.com/allanlei/python-zipstream
(Я не связан с развитием, просто думаю об использовании его.)
Для python3 я использую io.ByteIO, поскольку StringIO не рекомендуется для этого. Надеюсь, что это поможет.
import io
def my_downloadable_zip(request):
zip_io = io.BytesIO()
with zipfile.ZipFile(zip_io, mode='w', compression=zipfile.ZIP_DEFLATED) as backup_zip:
backup_zip.write('file_name_loc_to_zip') # u can also make use of list of filename location
# and do some iteration over it
response = HttpResponse(zip_io.getvalue(), content_type='application/x-zip-compressed')
response['Content-Disposition'] = 'attachment; filename=%s' % 'your_zipfilename' + ".zip"
response['Content-Length'] = zip_io.tell()
return response
Я предлагаю использовать отдельную модель для хранения этих zip файлов temp. Вы можете создать zip на лету, сохранить модель с файловым полем и, наконец, отправить URL-адрес пользователю.
Преимущества:
Не можете ли вы просто написать ссылку на "zip-сервер" или еще что-то? Почему сам zip-архив должен обслуживаться из Django? 90-й CGI script, чтобы генерировать zip и наплевать его на stdout, действительно все, что требуется здесь, по крайней мере, насколько я могу видеть.