Я хочу сделать исходящий HTTP-вызов из node.js, используя стандартный http.Client. Но я не могу связаться с удаленным сервером напрямую из своей сети и должен пройти через прокси.
Как сообщить node.js использовать прокси?
Как использовать http-прокси с node.js http.Client?
Ответ 1
Tim Macfarlane ответ был близок к использованию прокси-сервера HTTP.
Использование прокси-сервера HTTP (для небезопасных запросов) очень просто. Вы подключаетесь к прокси-серверу и обычно делаете запрос, за исключением того, что часть пути включает полный URL-адрес, а заголовок узла - на хост, к которому вы хотите подключиться.
Тим был очень близок с его ответом, но он пропустил правильную настройку заголовка хоста.
var http = require("http");
var options = {
host: "proxy",
port: 8080,
path: "http://www.google.com",
headers: {
Host: "www.google.com"
}
};
http.get(options, function(res) {
console.log(res);
res.pipe(process.stdout);
});
Для записи его ответ работает с http://nodejs.org/, но это потому, что их сервер не заботится о том, что заголовок узла неверен.
Ответ 2
Вы можете использовать запрос, я просто нашел невероятно простым использование прокси на node.js, просто с одним внешним параметром "прокси", тем более что он поддерживает HTTPS через прокси http.
var request = require('request');
request({
'url':'https://anysite.you.want/sub/sub',
'method': "GET",
'proxy':'http://yourproxy:8087'
},function (error, response, body) {
if (!error && response.statusCode == 200) {
console.log(body);
}
})
Ответ 3
Одна вещь, которая потребовала времени, чтобы понять, использовать "http" для доступа к прокси, даже если вы пытаетесь прокси-сервер через https-сервер. Это работает для меня с использованием Charles (анализатор протоколов osx):
var http = require('http');
http.get ({
host: '127.0.0.1',
port: 8888,
path: 'https://www.google.com/accounts/OAuthGetRequestToken'
}, function (response) {
console.log (response);
});
Ответ 4
Как уже упоминалось в @Renat, проксированный HTTP-трафик поступает в довольно обычные HTTP-запросы. Сделайте запрос против прокси, передав полный URL адресата в качестве пути.
var http = require ('http');
http.get ({
host: 'my.proxy.com',
port: 8080,
path: 'http://nodejs.org/'
}, function (response) {
console.log (response);
});
Ответ 5
Думаю, я бы добавил этот модуль, который я нашел: https://www.npmjs.org/package/global-tunnel, который отлично подойдет для меня (Работала сразу со всем моим кодом и третьей стороной модули с только кодом ниже).
require('global-tunnel').initialize({
host: '10.0.0.10',
port: 8080
});
Сделайте это один раз, и все http (и https) в вашем приложении проходят через прокси.
В качестве альтернативы вызов
require('global-tunnel').initialize();
Будет использовать переменную среды http_proxy
Ответ 6
Пакет http-запроса "запрос", похоже, имеет эту функцию:
https://github.com/mikeal/request
Например, объект запроса "r" ниже использует localproxy для доступа к его запросам:
var r = request.defaults({'proxy':'http://localproxy.com'})
http.createServer(function (req, resp) {
if (req.url === '/doodle.png') {
r.get('http://google.com/doodle.png').pipe(resp)
}
})
К сожалению, нет "глобальных" значений по умолчанию, так что пользователи libs, которые используют это, не могут изменить прокси-сервер, если lib не проходит через параметры http...
HTH, Chris
Ответ 7
В принципе вам не нужна явная поддержка прокси. Протокол прокси довольно прост и основан на обычном протоколе HTTP. Вам просто нужно использовать свой прокси-хост и порт при подключении к HTTPClient. Пример (из node.js docs):
var http = require('http');
var google = http.createClient(3128, 'your.proxy.host');
var request = google.request('GET', '/',
{'host': 'www.google.com'});
request.end();
...
Итак, в основном вы подключаетесь к своему прокси, но делаете запрос на "http://www.google.com".
Ответ 8
Если вам понадобится базовая авторизация для вашего прокси-провайдера, просто используйте следующее:
var http = require("http");
var options = {
host: FarmerAdapter.PROXY_HOST,
port: FarmerAdapter.PROXY_PORT,
path: requestedUrl,
headers: {
'Proxy-Authorization': 'Basic ' + new Buffer(FarmerAdapter.PROXY_USER + ':' + FarmerAdapter.PROXY_PASS).toString('base64')
}
};
var request = http.request(options, function(response) {
var chunks = [];
response.on('data', function(chunk) {
chunks.push(chunk);
});
response.on('end', function() {
console.log('Response', Buffer.concat(chunks).toString());
});
});
request.on('error', function(error) {
console.log(error.message);
});
request.end();
Ответ 9
Node должен поддерживать использование переменной окружения http_proxy - поэтому она является кросс-платформой и работает с системными настройками, а не требует конфигурации для каждого приложения.
Используя предоставленные решения, я бы рекомендовал следующее:
CoffeeScript
get_url = (url, response) ->
if process.env.http_proxy?
match = process.env.http_proxy.match /^(http:\/\/)?([^:\/]+)(:([0-9]+))?/i
if match
http.get { host: match[2], port: (if match[4]? then match[4] else 80), path: url }, response
return
http.get url, response
Javascript
get_url = function(url, response) {
var match;
if (process.env.http_proxy != null) {
match = process.env.http_proxy.match(/^(http:\/\/)?([^:\/]+)(:([0-9]+))?/i);
if (match) {
http.get({
host: match[2],
port: (match[4] != null ? match[4] : 80),
path: url
}, response);
return;
}
}
return http.get(url, response);
};
Использование Чтобы использовать этот метод, просто замените http.get, например, следующее записывает индексную страницу google в файл с именем test.htm:
file = fs.createWriteStream path.resolve(__dirname, "test.htm")
get_url "http://www.google.com.au/", (response) ->
response.pipe file
response.on "end", ->
console.log "complete"
Ответ 10
Ответ Imskull почти сработал у меня, но мне пришлось внести некоторые изменения. Единственное реальное изменение - это добавление имени пользователя, пароля и установка rejectUnauthorized на false. Я не мог комментировать, поэтому я поставил это в ответ.
Если вы запустите код, он получит заголовки текущих историй в Hacker News за этот учебник: http://smalljs.org/package-managers/npm/
var cheerio = require('cheerio');
var request = require('request');
request({
'url': 'https://news.ycombinator.com/',
'proxy': 'http://Username:[email protected]:Port/',
'rejectUnauthorized': false
}, function(error, response, body) {
if (!error && response.statusCode == 200) {
if (response.body) {
var $ = cheerio.load(response.body);
$('td.title a').each(function() {
console.log($(this).text());
});
}
} else {
console.log('Error or status not equal 200.');
}
});
Ответ 11
Я купил частный прокси-сервер, после покупки я получил:
255.255.255.255 // IP address of proxy server
99999 // port of proxy server
username // authentication username of proxy server
password // authentication password of proxy server
И я хотел использовать это. Первый ответ и второй ответ работали только для http (прокси) → http (назначение), однако я хотел http (proxy) → https (назначение).
А для назначения https лучше использовать HTTP-туннель напрямую. Я нашел решение здесь. Финальный код:
const http = require('http')
const https = require('https')
const username = 'username'
const password = 'password'
const auth = 'Basic ' + Buffer.from(username + ':' + password).toString('base64')
http.request({
host: '255.255.255.255', // IP address of proxy server
port: 99999, // port of proxy server
method: 'CONNECT',
path: 'kinopoisk.ru:443', // some destination, add 443 port for https!
headers: {
'Proxy-Authorization': auth
},
}).on('connect', (res, socket) => {
if (res.statusCode === 200) { // connected to proxy server
https.get({
host: 'www.kinopoisk.ru',
socket: socket, // using a tunnel
agent: false // cannot use a default agent
}, (res) => {
let chunks = []
res.on('data', chunk => chunks.push(chunk))
res.on('end', () => {
console.log('DONE', Buffer.concat(chunks).toString('utf8'))
})
})
}
}).on('error', (err) => {
console.error('error', err)
}).end()
Ответ 12
Не может быть точным одним лайнером, на который вы надеялись, но вы могли бы взглянуть на http://github.com/nodejitsu/node-http-proxy, поскольку это может пролить некоторый свет о том, как вы можете использовать свое приложение с http.Client.
Ответ 13
В соответствии с ответами из этой темы, похоже, вы могли бы использовать proxychains
для запуска node.js через прокси-сервер: $ proxychains /path/to/node application.js
Лично я не смог установить ни одну из версий proxychains в среде Cygwin/Windows, поэтому не смог ее протестировать.
Кроме того, они также говорили об использовании connect-proxy, но я не смог найти документацию о том, как это сделать.
Короче говоря, я все еще застрял, но, возможно, кто-то может использовать эту информацию, чтобы найти подходящую рабочую среду.
Ответ 14
Для использования прокси с https я попробовал совет на этом сайте (используя зависимость https-proxy-agent), и это сработало для меня:
http://codingmiles.com/node-js-making-https-request-via-proxy/
Ответ 15
используйте 'https-proxy-agent', как этот
var HttpsProxyAgent = require('https-proxy-agent');
var proxy = process.env.https_proxy || 'other proxy address';
var agent = new HttpsProxyAgent(proxy);
options = {
//...
agent : agent
}
https.get(options, (res)=>{...});
Ответ 16
Если у вас есть базовая http-схема аутентификации, вы должны сделать строку base64 myuser:mypassword, а затем добавить "Basic" в начале. Вот значение заголовка Proxy-Authorization, вот пример:
var Http = require('http');
var req = Http.request({
host: 'myproxy.com.zx',
port: 8080,
headers:{"Proxy-Authorization": "Basic bXl1c2VyOm15cGFzc3dvcmQ="},
method: 'GET',
path: 'http://www.google.com/'
}, function (res) {
res.on('data', function (data) {
console.log(data.toString());
});
});
req.end();
В nodejs вы можете использовать Buffer для кодирования
var encodedData = Buffer.from('myuser:mypassword').toString('base64');
console.log(encodedData);
Например, в браузерах вы можете кодировать в base64 с помощью btoa(), что полезно при запросах ajax в браузере без настроек прокси, выполняющих запрос с использованием прокси.
var encodedData = btoa('myuser:mypassword')
console.log(encodedData);