Я заметил, что Google удалил API финансов для Google App Engine. Все, что я хочу, это список биржевых котировок, которые они имеют в своем портфеле Google Finance. Есть ли способ потянуть эти данные из портфолио конечных пользователей, учитывая, что API был удален? Я пытаюсь вручную получить его, учитывая, что я знаю логин и пароль (например, это мой собственный).
Есть ли способ получить его вручную через завиток, войдя в службы Google? Похоже, что нужно войти в систему и перейти на мою страницу портфолио, извлекая исходный код.
Я пробовал следующий код:
#!/bin/bash
function ClientLogin() {
read -p 'Email> ' email
read -p 'Password> ' -s password
local service=$1
curl -s -d Email=$email -d Passwd=$password -d service=$service https://www.google.com/accounts/ClientLogin | tr ' ' \n | grep Auth= | sed -e 's/Auth=//'
}
function GetFinance() {
curl -L -s -H "Authorization: GoogleLogin auth=$(ClientLogin finance)" "http://www.google.com/finance/portfolio?action=view&pid=1" &> output.html
}
GetFinance
Однако этот код извлекает только страницу, которая сообщает мне войти. Решение не нужно использовать завиток, но это должно быть автоматическое извлечение с использованием некоторого языка сценариев.
Благодаря x4avier я узнал о casperjs и смог быстро написать script, чтобы загрузить страницу входа в службы Google, ввести имя пользователя и пароль, а затем получить портфолио Google Finance. Я уверен, что это будет работать с любыми другими службами и страницами google. Я сохраняю html портфолио в портфолио. Html. Надеюсь, это поможет и другому.
var fs = require('fs');
var failed = [];
var links = [
"https://www.google.com/finance/portfolio?action=view&pid=13"
];
var casper = require('casper').create({
verbose: true,
logLevel: 'debug',
pageSettings: {
loadImages: false, // The WebPage instance used by Casper will
loadPlugins: false, // use these settings
userAgent: 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537
}
});
// print out all the messages in the headless browser context
casper.on('remote.message', function(msg) {
this.echo('remote message caught: ' + msg);
});
// print out all the messages in the headless browser context
casper.on("page.error", function(msg, trace) {
this.echo("Page Error: " + msg, "ERROR");
});
var url = 'https://accounts.google.com/ServiceLogin?service=finance';
casper.start(url, function() {
// search for 'casperjs' from google form
console.log("page loaded");
this.test.assertExists('form#gaia_loginform', 'form is found');
this.fill('form#gaia_loginform', {
Email: '[email protected]',
Passwd: 'yourpass'
}, true);
});
casper.each(links, function(casper, link) {
this.then(function() {
this.test.comment("Loading " + link);
start = new Date();
this.open(link);
});
this.then(function() {
var message = this.requestUrl + " loaded";
if (failed.indexOf(this.requestUrl) === -1) {
this.test.pass(message);
fs.write('portfolio.html',this.getPageContent(),'w');
}
});
});
casper.run();