Как избежать ярлыков заголовка html в анализе Jsoup

Используя Jsoup, я пытаюсь разобрать данный html-контент. После Jsoup.parse() выход html добавляет html, head и тег тела к вводу. Я просто хочу игнорировать их.

Пример ввода:

<p><b>This <i>is</i></b> <i>my sentence</i> of text.</p>

Код Java:

import java.io.File;
import java.io.IOException;

import org.apache.commons.io.FileUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class HTMLParse {

    public static void main(String args[]) throws IOException {
        try{
            File input = new File("/ab.html");
            String html = FileUtils.readFileToString(input, null);

            Document doc = Jsoup.parseBodyFragment(html);
            doc.outputSettings().prettyPrint(false);
            System.out.println(doc.html());
        }
        catch(Exception e){
            e.printStackTrace();
        }
    }
}

Фактический вывод:

<html><head></head><body><p><b>This <i>is</i></b> <i>my sentence</i> of text.</p>
    </body></html>

Ожидаемый результат:

<p><b>This <i>is</i></b> <i>my sentence</i> of text.</p>

Пожалуйста, помогите.

Ответ 1

Причина:

parseBodyFragment(), а также все остальные parse() -методы используют HTML-парсер по умолчанию. И они всегда добавляют HTML-оболочку (<html>…</html>, <head>…</head> и т.д.).

Решение:

Просто не используйте HTML-парсер, вместо этого используйте XML-парсер; -)

Document doc = Jsoup.parse(html, "", Parser.xmlParser());

Замените эту единственную строку, и ваша проблема решена.

Пример:

final String html = "<p><b>This <i>is</i></b> <i>my sentence</i> of text.</p>";

Document docHtml = Jsoup.parse(html);
Document docXml = Jsoup.parse(html, "", Parser.xmlParser());

System.out.println("******* HTML *******\n" + docHtml);
System.out.println();
System.out.println("*******  XML *******\n" + docXml);

Вывод:

******* HTML *******
<html>
 <head></head>
 <body>
  <p><b>This <i>is</i></b> <i>my sentence</i> of text.</p>
 </body>
</html>

*******  XML *******
<p><b>This <i>is</i></b> <i>my sentence</i> of text.</p>

Ответ 2

Чтобы получить ожидаемый результат, на самом деле это будет:

final String html = "<p><b>This <i>is</i></b> <i>my sentence</i> of text.</p>";
Document doc = Jsoup.parseBodyFragment(html);
doc.outputSettings().prettyPrint(false);

System.out.println(doc.body().html());

Ответ 3

Вы можете попробовать использовать парсер XML, но это не всегда работает, потому что HTML не всегда является XML; у него часто есть теги, которые не были завершены, например <img> и <br>. Лучше придерживаться анализатора HTML. Вы можете полагаться на теги <html>, <head> и <body>, и их легко отбросить. Просто получите фрагмент HTML, выбирая тег body и запрашивая его HTML.

Document doc = Jsoup.parseBodyFragment(html);
        doc.outputSettings().prettyPrint(false);
        System.out.println(doc.select("body").html());