TypeError: нельзя использовать строковый шаблон для байтовоподобного объекта в re.findall()

Я пытаюсь узнать, как автоматически получать URL-адреса со страницы. В следующем коде я пытаюсь получить заголовок веб-страницы:

import urllib.request
import re

url = "http://www.google.com"
regex = r'<title>(,+?)</title>'
pattern  = re.compile(regex)

with urllib.request.urlopen(url) as response:
   html = response.read()

title = re.findall(pattern, html)
print(title)

И я получаю эту неожиданную ошибку:

Traceback (most recent call last):
  File "path\to\file\Crawler.py", line 11, in <module>
    title = re.findall(pattern, html)
  File "C:\Python33\lib\re.py", line 201, in findall
    return _compile(pattern, flags).findall(string)
TypeError: can't use a string pattern on a bytes-like object

Что я делаю неправильно?

Ответ 1

Вы хотите преобразовать html (байтовый объект) в строку с помощью .decode, например. html = response.read().decode('utf-8').

См. Преобразование байтов в строку Python

Ответ 2

Проблема в том, что ваше регулярное выражение является строкой, а html - это байты:

>>> type(html)
<class 'bytes'>

Поскольку python не знает, как эти байты кодируются, он выдает исключение, когда вы пытаетесь использовать для них строковое регулярное выражение.

Вы можете decode байты в строку:

html = html.decode('ISO-8859-1')  # encoding may vary!
title = re.findall(pattern, html)  # no more error

Или используйте регулярное выражение байтов:

regex = rb'<title>(,+?)</title>'
#        ^

В этом конкретном контексте вы можете получить кодировку из заголовков ответа:

with urllib.request.urlopen(url) as response:
    encoding = response.info().get_param('charset', 'utf8')
    html = response.read().decode(encoding)

См. Документацию urlopen для более подробной информации.

Ответ 3

import re
import urllib.request
url = 'https://www.baidu.com/'
regex = rb'<title>(.*?)</title>'
pattern = re.compile(regex)
with urllib.request.urlopen(url) as response:
    content = response.read()
title = re.findall(pattern, content)
print(title[0])

Я исправил это, но возникла новая проблема. Traceback (последний вызов был последним): файл "E: /Data crawl/Data_crawl/test03_05.py", строка 13, в печати (title [0]) IndexError: список индексов вне диапазона