Я изучаю язык google Go. Кто-нибудь знает наилучшую практику для извлечения всех URL-адресов с веб-страницы html?
Из мира Java существуют библиотеки для выполнения этой работы, например jsoup, htmlparser и т.д. Но для go lang, по-моему, не существует доступной подобной библиотеки?
Стандартный пакет для синтаксического анализа HTML по-прежнему находится в процессе разработки и не является частью текущей версии. Третий пакет, который вы можете попробовать, это go-html-transform. Он активно поддерживается.
Если вы знаете jQuery, вам понравится GoQuery.
Честно говоря, это самая простая и мощная утилита HTML, которую я нашел в Go, и она основана на пакете html в репозитории go.net. (Хорошо, так что это более высокий уровень, чем просто синтаксический анализатор, поскольку он не раскрывает необработанные маркеры HTML и т.д., Но если вы действительно хотите что-либо сделать с HTML-документом, этот пакет поможет.)
Пока пакет Go для разбора HTML действительно продолжается, он доступен в репозитории go.net.
Его источники находятся в code.google.com/p/go.net/htmlgithub.com/golang/net, и он активно развивается.
Об этом говорится в недавнем обсуждении go-nuts.
Обратите внимание, что с Go 1.4 (декабрь 2014 года), как я упоминал в этом ответе, теперь пакет golang.org/x/net (см. godoc).
Я обыскал и обнаружил, что есть библиотека под названием Gokogiri, которая звучит так же, как Nogokiri для Ruby. Я думаю, что проект активен.
Я только что опубликовал пакет для синтаксического анализа на основе HTML 5.0 с открытым исходным кодом для Go. Вы можете найти его здесь
Вот пример кода, чтобы получить все ссылки со страницы (из элементов A):
links := make([]string)
parser := NewParser(htmlContent)
parser.Parse(nil, func(e *HtmlElement, isEmpty bool) {
if e.TagName == "link" {
link,_ := e.GetAttributeValue("href")
if(link != "") {
links = appends(links, link)
}
}
}, nil)
Несколько вещей, которые нужно иметь в виду: