Я создаю инструмент для загрузки с помощью node.js и socket.io, потому что они обычно загружают невероятно большие файлы и нормальные формы загрузки не работают. Проблема в том, что они хотели сжать файлы в zip перед их отправкой, чтобы повысить эффективность передачи.
Я изучал методы сжатия, такие как JSZip или zip.js, но ни один из них из них хорошо работают с чрезвычайно большими файлами. Что я могу сделать?
Вы можете сжимать до 4 ГБ данных с помощью zip.js, но:
Вы можете попробовать его в Интернете с помощью этой демонстрации. Вы должны выбрать опцию "HDD" в входе "выбрать временное хранилище". Затем вы можете импортировать большие файлы из своей файловой системы и контролировать потребление памяти: она должна быть стабильной (около 300 МБ на моем ноутбуке).
Выбор "HDD" означает, что zip.js будет использовать File API: Каталоги и Система для хранения сжатых данных. Этот API в настоящее время доступен только в Chrome и позволяет записывать данные в изолированную виртуальную файловую систему. Демонстрация использует временное хранилище, которое не требует разрешения пользователя.
Изменить: вы также можете реализовать свой собственный конструктор Writer для потоковой передачи данных на ваш сервер, в то время как zip.js сжимает его: t полагаться на API файловой системы и работать с каждым поддерживаемым вами браузером. Писатель должен просто реализовать эти 2 метода:
init(callback[, onerror])
// initializes the stream where to write the zipped data
writeUint8Array(array, callback[, onerror])
// writes asynchronously a Uint8Array into the stream.
// getData method is optional
Вот пример пользовательских конструкторов Writer и Reader. Вы также можете посмотреть zip.js Реализации Writers для получения дополнительных примеров.
Если вы ищете компрессор на стороне клиента, мне жаль говорить вам, что JS - это не путь.
В стороне от этого, лучше всего сказать своим пользователям просто сжать файлы перед их загрузкой. Или даже использовать какой-то другой инструмент (FTP может быть?).
EDIT:
О, кстати, ZIP действительно неэффективен со случайными данными, поэтому вы будете тратить процессорное время на сжатие/декомпрессию, и вы не уменьшаете почти ничего по размеру.