У меня есть эта веб-страница, которая использует клиентский JavaScript для форматирования данных на странице перед ее отображением пользователю.
Можно ли как-то использовать wget для загрузки страницы и использовать какой-то клиентский механизм JavaScript для форматирования данных, как это было бы показано в браузере?
Возможно, вы могли бы сделать это с чем-то вроде PhantomJS
Вы можете написать phantomjs script, который будет загружать страницу, как браузер, а затем либо сделать скриншоты, либо использовать JS для проверки страницы и вывода данных.
Вот простой маленький phantomjs script, который запускает javascript на веб-странице и позволяет локально вывести его:
file: get.js
var page = require('webpage').create(),
system = require('system'), address;
address = system.args[1];
page.scrollPosition= { top: 4000, left: 0}
page.open(address, function(status) {
if (status !== 'success') {
console.log('** Error loading url.');
} else {
console.log(page.content);
}
phantom.exit();
});
Используйте его следующим образом: $> phantomjs /path/to/get.js "http://www.google.com" > "google.html"
Изменение /path/to, url и filename на то, что вы хотите.
Не с wget, поскольку я сомневаюсь, что он включает любую форму движка JavaScript. Однако вы можете использовать WebKit для обработки страницы и, следовательно, вывода.
Используя такие вещи, как основу для получения контента: http://situated.wordpress.com/2008/06/04/take-screenshots-of-a-website-from-the-command-line/