Извлечь zip в узел папки через экспресс

Я пытаюсь найти пример, где я могу отправить zip (например, через почтальон) и получить этот почтовый индекс в моем обработчике и разархивировать его так, чтобы указанная папка я не нашел много примеров для zipping с помощью express Я хочу разархивировать его в пути web/app

Я пытаюсь сделать что-то вроде следующего, что не работает для меня, zip файл не распаковывается в указанной папке, любая идея, что я делаю неправильно?

https://nodejs.org/api/zlib.html#zlib_zlib

var zlib = require('zlib');
var fs = require('fs');
const dir = path.join(__dirname, 'web/app/');

if (req.file.mimetype === 'application/zip') {

    var unzip = zlib.createUnzip();

    var read = fs.createReadStream(req.file);
    var write = fs.createWriteStream(dir);
    //Transform stream which is unzipping the zipped file
    read.pipe(unzip).pipe(write);   
    console.log("unZipped Successfully");

}

Любой рабочий пример будет очень полезен, или ссылку, где у меня проблемы...

в то время как отладка я вижу, что это когда код не прошел

var read = fs.createReadStream(req.file);

любая идея почему?

Я также пробовал

var read = fs.createReadStream(req.file.body);

проблема, что я не вижу ошибки, причины и т.д.

когда я меняю его на

var read = fs.createReadStream(req.file.buffer);

программа не выходит, и я смог запустить ее до регистратора console.log("unZipped Successfully"); но ничего не происходит...

если есть какой-нибудь пример с https://www.npmjs.com/package/yauzl yauzl и multer в моем контексте, это будет здорово

update- это запрос почтальона

Ответ 1

Прежде всего, zlib не поддерживает извлечение zip файлов.

Я рекомендую formidable обработку файлов, потому что

его битва проверена
наиболее широко используется
избегает писать код плиты плиты, например, считывать поток от запроса, сохранять и обрабатывать ошибки
легко настраиваемый

Предпосылки
Установка зависимостей с использованием npm я -S extract-zip formidable express или yarn add extract-zip formidable express

Небольшое минимальное решение для вашей проблемы с formidable и extract-zip

const express = require('express');
const fs = require('fs');
const extract = require('extract-zip')
const formidable = require('formidable');
const path = require('path');
const uploadDir = path.join(__dirname, '/uploads/');
const extractDir = path.join(__dirname, '/app/');
if (!fs.existsSync(uploadDir)) {
  fs.mkdirSync(uploadDir);
}
if (!fs.existsSync(extractDir)) {
  fs.mkdirSync(extractDir);
}

const server = express();

const uploadMedia = (req, res, next) => {
  const form = new formidable.IncomingForm();
  // file size limit 100MB. change according to your needs
  form.maxFileSize = 100 * 1024 * 1024;
  form.keepExtensions = true;
  form.multiples = true;
  form.uploadDir = uploadDir;

  // collect all form files and fileds and pass to its callback
  form.parse(req, (err, fields, files) => {
    // when form parsing fails throw error
    if (err) return res.status(500).json({ error: err });

    if (Object.keys(files).length === 0) return res.status(400).json({ message: "no files uploaded" });

    // Iterate all uploaded files and get their path, extension, final extraction path
    const filesInfo = Object.keys(files).map((key) => {
      const file = files[key];
      const filePath = file.path;
      const fileExt = path.extname(file.name);
      const fileName = path.basename(file.name, fileExt);
      const destDir = path.join(extractDir, fileName);

      return { filePath, fileExt, destDir };
    });

    // Check whether uploaded files are zip files
    const validFiles = filesInfo.every(({ fileExt }) => fileExt === '.zip');

    // if uploaded files are not zip files, return error
    if (!validFiles) return res.status(400).json({ message: "unsupported file type" });

    res.status(200).json({ uploaded: true });

    // iterate through each file path and extract them
    filesInfo.forEach(({filePath, destDir}) => {
      // create directory with timestamp to prevent overwrite same directory names
      extract(filePath, { dir: '${destDir}_${new Date().getTime()}' }, (err) => {
        if (err) console.error('extraction failed.');
      });
    });
  });

  // runs when new file detected in upload stream
  form.on('fileBegin', function (name, file) {
    // get the file base name 'index.css.zip' => 'index.html'
    const fileName = path.basename(file.name, path.extname(file.name));
    const fileExt = path.extname(file.name);
    // create files with timestamp to prevent overwrite same file names
    file.path = path.join(uploadDir, '${fileName}_${new Date().getTime()}${fileExt}');
  });
}

server.post('/upload', uploadMedia);

server.listen(3000, (err) => {
  if (err) throw err;
});

Это решение работает для однократной загрузки файлов. Одна проблема с этим решением заключается в том, что неправильные типы файлов будут загружены в uploaded директорию, хотя ошибка выброса сервера.

Для тестирования с почтальоном:

Ответ 2

Предпосылки:

npm я express unzipper multiparty bluebird
Создайте app/web каталог в своем корневом каталоге проекта (или вы можете автоматизировать создание, если хотите).
Поместите все эти файлы в один каталог.
Версия узла, поддерживающая async/await wait (7. 6+, насколько я знаю)

server.js:

const express = require('express');
const Promise = require('bluebird');
const fs = require('fs');
const writeFile = Promise.promisify(fs.writeFile);

const { parseRequest, getFile } = require('./multipart');
const { extractFiles } = require('./zip')

const EXTRACT_DIR = 'web/app';

const app = express();

const uploadFile = async (req, res, next) => {
  try {
    const body = await parseRequest(req);
    const bodyFile = getFile(body, 'file');
    if (!/\.zip$/.test(bodyFile.originalFilename)) {
      res.status(200).json({ notice: 'not a zip archive, skipping' })
      return;
    }
    const archiveFiles = await extractFiles(bodyFile);

    await Promise.each(archiveFiles, async (file) => {
      await writeFile(EXTRACT_DIR + '/' + file.path, file.buffer);
    })
    res.status(200).end();
  } catch (e) {
    res.status(500).end();
  }
};

app.post('/files', uploadFile);

app.listen(3000, () => {
  console.log('App is listening on port 3000');
});

multipart.js

const Promise = require('bluebird');
const { Form } = require('multiparty');

function parseRequest (req, options) {
    return new Promise((resolve, reject) => {
        const form = new Form(options)
        form.parse(req, (err, fields, files) => {
            if (err) {
                return reject(err);
            }
            return resolve({ fields, files });
        });
    });
}

function getFile (body, field) {
    const bodyFile = body.files[field];
    const value = bodyFile ? bodyFile[0] : null;
    return value || null;
}

module.exports = {
    parseRequest,
    getFile,
};

zip.js

const unzip = require('unzipper');
const fs = require('fs');

async function extractFiles (file) {
    const files = [];
    await fs.createReadStream(file.path).pipe(unzip.Parse()).on('entry', async entry => {
    // Cleanup system hidden files (or drop this code if not needed)
        if (
            entry.type !== 'File'
            || /^__MACOSX/.test(entry.path)
            || /.DS_Store/.test(entry.path)
        ) {
            entry.autodrain()
            return
        }
        const pathArr = entry.path.split('/');
        const path = entry.path;
        const buffer = await entry.buffer();
        files.push({ buffer, path, originalFilename: pathArr[pathArr.length - 1] });
    }).promise();
    return files;
}

module.exports = {
    extractFiles,
};

Использование:

Запустить сервер с node server
Отправьте файл в поле file в запросе (ключевой file в почтальоне). Пример в curl curl -XPOST -F '[email protected]/ttrra-dsp-agency-api/banner.zip' 'localhost:3000/files')

Недостатки:

Распакованные файлы хранятся в буфере, поэтому этот метод не работает отлично и не рекомендуется для больших архивов.

Ответ 3

Без полного примера трудно сказать, какова настоящая проблема. Но согласно Экспресс-документам он гласит:

В Express 4 по умолчанию req.files больше недоступны для объекта req. Чтобы получить доступ к загруженным файлам на объекте req.files, используйте промежуточное программное обеспечение multipart, например, busboy, multer, formableable, multiparty, connect-multiparty или pez.

Поэтому, если вы не используете библиотеку промежуточного программного обеспечения для обработки загружаемых файлов, трудно сказать, что такое значение req.file.

Я также немного обеспокоен тем, что вы пытаетесь использовать zlib для распаковки zip файла, поскольку библиотека поддерживает только gzip.

Модуль zlib обеспечивает функции сжатия, реализованные с использованием Gzip и Deflate/Inflate

Вы хотите проверить req.file.mimetype === 'application/gzip'

Вот несколько сообщений, связанных с распаковками ZIP файлов:

Ответ 4

Это мой код для загрузки файла, чтобы выразить сервер.

//require express library
var express = require('express');
//require the express router
var router = express.Router();
//require multer for the file uploads
var multer = require('multer');

//File Upload

var storage = multer.diskStorage({
  // destino del fichero
  destination: function (req, file, cb) {
    cb(null, './uploads/logo')
  },
  // renombrar fichero
  filename: function (req, file, cb) {
    cb(null, file.originalname);
  }
});

var upload = multer({ storage: storage });

router.post("/", upload.array("uploads[]", 1), function (req, res) {
  res.json('Uploaded logo successfully');
});


module.exports = router;