Как использовать ES8 async/wait с потоками?

В qaru.site/info/181768/... приведен пример вычисления md5 файла с использованием встроенной криптографической библиотеки и потоков.

var fs = require('fs');
var crypto = require('crypto');

// the file you want to get the hash    
var fd = fs.createReadStream('/some/file/name.txt');
var hash = crypto.createHash('sha1');
hash.setEncoding('hex');

fd.on('end', function() {
    hash.end();
    console.log(hash.read()); // the desired sha1sum
});

// read all file and pipe it (write it) to the hash object
fd.pipe(hash);

Но можно ли это преобразовать с использованием ES8 async/await вместо использования обратного вызова, как показано выше, но при сохранении эффективности использования потоков?

Ответ 1

async/await работает только с обещаниями, а не с потоками. Есть идеи сделать дополнительный тип данных, похожий на поток, который бы имел собственный синтаксис, но они очень экспериментальны, если вообще, и я не буду вдаваться в подробности.

В любом случае, ваш обратный вызов ожидает только окончания потока, что идеально подходит для обещания. Вам просто нужно обернуть поток:

var fd = fs.createReadStream('/some/file/name.txt');
var hash = crypto.createHash('sha1');
hash.setEncoding('hex');
// read all file and pipe it (write it) to the hash object
fd.pipe(hash);

var end = new Promise(function(resolve, reject) {
    hash.on('end', () => resolve(hash.read()));
    fd.on('error', reject); // or something like that. might need to close 'hash'
});

Теперь вы можете ждать этого обещания:

(async function() {
    let sha1sum = await end;
    console.log(sha1sum);
}());

Ответ 2

Если вы используете версию узла> = v10.0.0, вы можете использовать stream.pipeline и util.promisify.

const fs = require('fs');
const crypto = require('crypto');
const util = require('util');
const stream = require('stream');

const pipeline = util.promisify(stream.pipeline);

const hash = crypto.createHash('sha1');
hash.setEncoding('hex');

async function run() {
  await pipeline(
    fs.createReadStream('/some/file/name.txt'),
    hash
  );
  console.log('Pipeline succeeded');
}

run().catch(console.error);

Ответ 3

Что-то вроде этого работает:

for (var res of fetchResponses){ //node-fetch package responses
    const dest = fs.createWriteStream(filePath,{flags:'a'});
    totalBytes += Number(res.headers.get('content-length'));
    await new Promise((resolve, reject) => {
        res.body.pipe(dest);
        res.body.on("error", (err) => {
            reject(err);
        });
        dest.on("finish", function() {
            resolve();
        });
    });         
}