Как загрузить файл с помощью Node.js(без использования сторонних библиотек)?

Как загрузить файл с Node.js без использования сторонних библиотек?

Мне ничего не нужно. Я хочу только загрузить файл из заданного URL-адреса, а затем сохранить его в заданный каталог.

Ответ 1

Вы можете создать HTTP- GET и направить его response в поток файлов для записи:

const http = require('http');
const fs = require('fs');

const file = fs.createWriteStream("file.jpg");
const request = http.get("http://i3.ytimg.com/vi/J---aiyznGQ/mqdefault.jpg", function(response) {
  response.pipe(file);
});

Если вы хотите поддерживать сбор информации в командной строке - например, указание целевого файла или каталога или URL - проверьте что-то вроде Commander.

Ответ 2

Не забывайте обрабатывать ошибки! Следующий код основан на ответе Аугусто Романа.

var http = require('http');
var fs = require('fs');

var download = function(url, dest, cb) {
  var file = fs.createWriteStream(dest);
  var request = http.get(url, function(response) {
    response.pipe(file);
    file.on('finish', function() {
      file.close(cb);  // close() is async, call cb after close completes.
    });
  }).on('error', function(err) { // Handle errors
    fs.unlink(dest); // Delete the file async. (But we don't check the result)
    if (cb) cb(err.message);
  });
};

Ответ 3

Как сказала Мишель Тилли, но с соответствующим потоком управления:

var http = require('http');
var fs = require('fs');

var download = function(url, dest, cb) {
  var file = fs.createWriteStream(dest);
  var request = http.get(url, function(response) {
    response.pipe(file);
    file.on('finish', function() {
      file.close(cb);
    });
  });
}

Не дожидаясь события finish, наивные сценарии могут закончиться неполным файлом.

Редактировать: Спасибо @Augusto Roman за указание, что cb должен быть передан file.close, а не вызываться явно.

Ответ 4

Говоря об обработке ошибок, еще лучше слушать ошибки запросов. Я бы даже подтвердил, проверив код ответа. Здесь он считается успешным только для кода ответа 200, но другие коды могут быть хорошими.

const fs = require('fs');
const http = require('http');

const download = (url, dest, cb) => {
    const file = fs.createWriteStream(dest);

    const request = http.get(url, (response) => {
        // check if response is success
        if (response.statusCode !== 200) {
            return cb('Response status was ' + response.statusCode);
        }

        response.pipe(file);
    });

    // close() is async, call cb after close completes
    file.on('finish', () => file.close(cb));

    // check for request error too
    request.on('error', (err) => {
        fs.unlink(dest);
        return cb(err.message);
    });

    file.on('error', (err) => { // Handle errors
        fs.unlink(dest); // Delete the file async. (But we don't check the result) 
        return cb(err.message);
    });
};

Несмотря на относительную простоту этого кода, я бы посоветовал использовать модуль запроса, поскольку он обрабатывает гораздо больше протоколов (привет HTTPS!), Которые изначально не поддерживаются http.

Это будет сделано так:

const fs = require('fs');
const request = require('request');

const download = (url, dest, cb) => {
    const file = fs.createWriteStream(dest);
    const sendReq = request.get(url);

    // verify response code
    sendReq.on('response', (response) => {
        if (response.statusCode !== 200) {
            return cb('Response status was ' + response.statusCode);
        }

        sendReq.pipe(file);
    });

    // close() is async, call cb after close completes
    file.on('finish', () => file.close(cb));

    // check for request errors
    sendReq.on('error', (err) => {
        fs.unlink(dest);
        return cb(err.message);
    });

    file.on('error', (err) => { // Handle errors
        fs.unlink(dest); // Delete the file async. (But we don't check the result)
        return cb(err.message);
    });
};

Ответ 5

Ответ gfxmonk имеет очень жесткую гонку данных между обратным вызовом и завершением file.close(). file.close() фактически принимает обратный вызов, который вызывается после завершения закрытия. В противном случае немедленное использование файла может завершиться неудачей (очень редко!).

Полное решение:

var http = require('http');
var fs = require('fs');

var download = function(url, dest, cb) {
  var file = fs.createWriteStream(dest);
  var request = http.get(url, function(response) {
    response.pipe(file);
    file.on('finish', function() {
      file.close(cb);  // close() is async, call cb after close completes.
    });
  });
}

Не дожидаясь окончания события, наивные сценарии могут получить неполный файл. Не планируя обратный вызов cb помощью close, вы можете получить гонку между доступом к файлу и фактически готовым файлом.

Ответ 6

Возможно, файл node.js изменился, но, похоже, есть некоторые проблемы с другими решениями (с использованием узла v8.1.2):

Вам не нужно вызывать file.close() в событии finish. По умолчанию для fs.createWriteStream установлено значение autoClose: https://nodejs.org/api/fs.html#fs_fs_createwritestream_path_options
file.close() должен вызываться при ошибке. Может быть, это не нужно, когда файл удален (unlink()), но обычно это так: https://nodejs.org/api/stream.html#stream_readable_pipe_destination_options
statusCode !== 200 файл не удаляется в statusCode !== 200
fs.unlink() без обратного вызова устарела (выводит предупреждение)
Если файл dest существует; это отменено

Ниже приведено модифицированное решение (с использованием ES6 и обещаний), которое решает эти проблемы.

const http = require("http");
const fs = require("fs");

function download(url, dest) {
    return new Promise((resolve, reject) => {
        const file = fs.createWriteStream(dest, { flags: "wx" });

        const request = http.get(url, response => {
            if (response.statusCode === 200) {
                response.pipe(file);
            } else {
                file.close();
                fs.unlink(dest, () => {}); // Delete temp file
                reject('Server responded with ${response.statusCode}: ${response.statusMessage}');
            }
        });

        request.on("error", err => {
            file.close();
            fs.unlink(dest, () => {}); // Delete temp file
            reject(err.message);
        });

        file.on("finish", () => {
            resolve();
        });

        file.on("error", err => {
            file.close();

            if (err.code === "EEXIST") {
                reject("File already exists");
            } else {
                fs.unlink(dest, () => {}); // Delete temp file
                reject(err.message);
            }
        });
    });
}

Ответ 7

Решение с таймаутом, предотвращение утечки памяти:

Следующий код основан на ответе Брэндона Тилли:

var http = require('http'),
    fs = require('fs');

var request = http.get("http://example12345.com/yourfile.html", function(response) {
    if (response.statusCode === 200) {
        var file = fs.createWriteStream("copy.html");
        response.pipe(file);
    }
    // Add timeout.
    request.setTimeout(12000, function () {
        request.abort();
    });
});

Не создавайте файл, когда вы получаете ошибку, и предпочитайте использовать тайм-аут, чтобы закрыть ваш запрос после X секунд.

Ответ 8

для тех, кто пришел в поисках обетованного метода es6, я думаю, что это будет что-то вроде:

var http = require('http');
var fs = require('fs');

function pDownload(url, dest){
  var file = fs.createWriteStream(dest);
  return new Promise((resolve, reject) => {
    var responseSent = false; // flag to make sure that response is sent only once.
    http.get(url, response => {
      response.pipe(file);
      file.on('finish', () =>{
        file.close(() => {
          if(responseSent)  return;
          responseSent = true;
          resolve();
        });
      });
    }).on('error', err => {
        if(responseSent)  return;
        responseSent = true;
        reject(err);
    });
  });
}

//example
pDownload(url, fileLocation)
  .then( ()=> console.log('downloaded file no issues...'))
  .catch( e => console.error('error while downloading', e));

Ответ 9

Код Винса Юана велик, но, похоже, что-то не так.

function download(url, dest, callback) {
    var file = fs.createWriteStream(dest);
    var request = http.get(url, function (response) {
        response.pipe(file);
        file.on('finish', function () {
            file.close(callback); // close() is async, call callback after close completes.
        });
        file.on('error', function (err) {
            fs.unlink(dest); // Delete the file async. (But we don't check the result)
            if (callback)
                callback(err.message);
        });
    });
}

Ответ 10

Вы можете использовать https://github.com/douzi8/ajax-request#download

request.download('http://res.m.ctrip.com/html5/Content/images/57.png', 
  function(err, res, body) {}
);

Ответ 11

const download = (url, path) => new Promise((resolve, reject) => {
http.get(url, response => {
    const statusCode = response.statusCode;

    if (statusCode !== 200) {
        return reject('Download error!');
    }

    const writeStream = fs.createWriteStream(path);
    response.pipe(writeStream);

    writeStream.on('error', () => reject('Error writing to file!'));
    writeStream.on('finish', () => writeStream.close(resolve));
});}).catch(err => console.error(err));

Ответ 12

Привет, я думаю, что вы можете использовать модуль child_process и команду curl.

const cp = require('child_process');

let download = async function(uri, filename){
    let command = 'curl -o ${filename}  '${uri}'';
    let result = cp.execSync(command);
};


async function test() {
    await download('http://zhangwenning.top/20181221001417.png', './20181221001417.png')
}

test()

Кроме того, если вы хотите загрузить большой файл с несколькими файлами, вы можете использовать кластерный модуль, чтобы использовать больше ядер процессора.

Ответ 13

Загрузите с помощью обещания, которые разрешают чтение. добавьте дополнительную логику для обработки перенаправления.

var http = require('http');
var promise = require('bluebird');
var url = require('url');
var fs = require('fs');
var assert = require('assert');

function download(option) {
    assert(option);
    if (typeof option == 'string') {
        option = url.parse(option);
    }

    return new promise(function(resolve, reject) {
        var req = http.request(option, function(res) {
            if (res.statusCode == 200) {
                resolve(res);
            } else {
                if (res.statusCode === 301 && res.headers.location) {
                    resolve(download(res.headers.location));
                } else {
                    reject(res.statusCode);
                }
            }
        })
        .on('error', function(e) {
            reject(e);
        })
        .end();
    });
}

download('http://localhost:8080/redirect')
.then(function(stream) {
    try {

        var writeStream = fs.createWriteStream('holyhigh.jpg');
        stream.pipe(writeStream);

    } catch(e) {
        console.error(e);
    }
});

Ответ 14

Если вы используете экспресс, используйте метод res.download(). в противном случае используйте модуль fs.

app.get('/read-android', function(req, res) {
   var file = "/home/sony/Documents/docs/Android.apk";
    res.download(file) 
});

(или же)

   function readApp(req,res) {
      var file = req.fileName,
          filePath = "/home/sony/Documents/docs/";
      fs.exists(filePath, function(exists){
          if (exists) {     
            res.writeHead(200, {
              "Content-Type": "application/octet-stream",
              "Content-Disposition" : "attachment; filename=" + file});
            fs.createReadStream(filePath + file).pipe(res);
          } else {
            res.writeHead(400, {"Content-Type": "text/plain"});
            res.end("ERROR File does NOT Exists.ipa");
          }
        });  
    }

Ответ 15

Я предпочитаю request(), потому что вы можете использовать как http, так и https.

request('http://i3.ytimg.com/vi/J---aiyznGQ/mqdefault.jpg')
  .pipe(fs.createWriteStream('cat.jpg'))

Ответ 16

Путь: img Тип: jpg случайный uniqid

    function resim(url) {

    var http = require("http");
    var fs = require("fs");
    var sayi = Math.floor(Math.random()*10000000000);
    var uzanti = ".jpg";
    var file = fs.createWriteStream("img/"+sayi+uzanti);
    var request = http.get(url, function(response) {
  response.pipe(file);
});

        return sayi+uzanti;
}

Ответ 17

Без библиотеки это могло бы глючить просто, чтобы указать. Вот несколько из них:

Не может обработать перенаправление http, как этот URL https://calibre-ebook.com/dist/portable, который является двоичным.
Модуль http не может https URL, вы получите Protocol "https:" not supported.

Вот мое предложение:

Вызовите системный инструмент, такой как wget или curl
используйте некоторый инструмент, такой как node-wget-обещание, который также очень прост в использовании. var wget = require('node-wget-promise'); wget('http://nodejs.org/images/logo.svg');

Ответ 18

function download(url, dest, cb) {

  var request = http.get(url, function (response) {

    const settings = {
      flags: 'w',
      encoding: 'utf8',
      fd: null,
      mode: 0o666,
      autoClose: true
    };

    // response.pipe(fs.createWriteStream(dest, settings));
    var file = fs.createWriteStream(dest, settings);
    response.pipe(file);

    file.on('finish', function () {
      let okMsg = {
        text: 'File downloaded successfully'
      }
      cb(okMsg);
      file.end(); 
    });
  }).on('error', function (err) { // Handle errors
    fs.unlink(dest); // Delete the file async. (But we don't check the result)
    let errorMsg = {
      text: 'Error in file downloadin: ${err.message}'
    }
    if (cb) cb(errorMsg);
  });
};

Ответ 19

Вы можете попробовать использовать res.redirect для URL- res.redirect загрузки файла https, и тогда он будет загружать файл.

Например: res.redirect('https//static.file.com/file.txt');

Ответ 20

var fs = require('fs'),
    request = require('request');

var download = function(uri, filename, callback){
    request.head(uri, function(err, res, body){
    console.log('content-type:', res.headers['content-type']);
    console.log('content-length:', res.headers['content-length']);
    request(uri).pipe(fs.createWriteStream(filename)).on('close', callback);

    }); 
};   

download('https://www.cryptocompare.com/media/19684/doge.png', 'icons/taskks12.png', function(){
    console.log('done');
});

Ответ 21

Вот одна рабочая версия, которая использует машинопись и обещания:

const download = (url: string, dest: string) => {
    const file = fs.createWriteStream(dest)
    const sendReq = request.get(url)

    return new Promise((resolve, reject) => {
        // verify response code
        sendReq.on('response', (response:RequestResponse) => {
            if (response.statusCode !== 200) {
                return reject('Response status was ' + response.statusCode)
            }

            sendReq.pipe(file)
        })

        // close() is async, call cb after close completes
        file.on('finish', () => file.close(resolve))

        // check for request errors
        sendReq.on('error', (err:Error) => {
            fs.unlink(dest)
            return reject(err.message)
        })

        file.on('error', (err:Error) => { // Handle errors
            fs.unlink(dest) // Delete the file async. (But we don't check the result)
            return reject(err.message)
        })
    })
}

Ответ 22

Мы можем использовать модуль загрузки node и его очень простой, см. ниже https://www.npmjs.com/package/download

Ответ 23

var requestModule=require("request");

requestModule(filePath).pipe(fs.createWriteStream('abc.zip'));