Python удаляет все, что не является буквой или номером

Ответ 1

[\w] соответствует (буквенно-цифровое или подчеркивание).

[\w] соответствует (не (буквенно-цифровое или подчеркивание)), что эквивалентно (не буквенно-цифровому и не подчеркиванию)

Вам нужно [\W_] удалить ВСЕ не-буквенно-цифровые символы.

При использовании re.sub() это будет намного более эффективно, если вы уменьшите количество подстановок (дорогих) путем сопоставления с помощью [\W_]+ вместо того, чтобы делать это за раз.

Теперь вам нужно определить буквенно-цифровые символы:

str объект, только ASCII A-Za-z0-9:

    re.sub(r'[\W_]+', '', s)

str объект, только локализованные буквенно-цифровые символы:

    re.sub(r'[\W_]+', '', s, flags=re.LOCALE)

unicode объект, все буквенно-цифровые символы:

    re.sub(ur'[\W_]+', u'', s, flags=re.UNICODE)

Примеры для объекта str:

>>> import re, locale
>>> sall = ''.join(chr(i) for i in xrange(256))
>>> len(sall)
256
>>> re.sub('[\W_]+', '', sall)
'0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz'
>>> re.sub('[\W_]+', '', sall, flags=re.LOCALE)
'0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz'
>>> locale.setlocale(locale.LC_ALL, '')
'English_Australia.1252'
>>> re.sub('[\W_]+', '', sall, flags=re.LOCALE)
'0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz\x83\x8a\x8c\x8e\
x9a\x9c\x9e\x9f\xaa\xb2\xb3\xb5\xb9\xba\xc0\xc1\xc2\xc3\xc4\xc5\xc6\xc7\xc8\xc9\
xca\xcb\xcc\xcd\xce\xcf\xd0\xd1\xd2\xd3\xd4\xd5\xd6\xd8\xd9\xda\xdb\xdc\xdd\xde\
xdf\xe0\xe1\xe2\xe3\xe4\xe5\xe6\xe7\xe8\xe9\xea\xeb\xec\xed\xee\xef\xf0\xf1\xf2\
xf3\xf4\xf5\xf6\xf8\xf9\xfa\xfb\xfc\xfd\xfe\xff'
# above output wrapped at column 80

Пример Unicode:

>>> re.sub(ur'[\W_]+', u'', u'a_b A_Z \x80\xFF \u0404', flags=re.UNICODE)
u'abAZ\xff\u0404'

Ответ 2

'\W' совпадает с [^A-Za-z0-9_] плюс акцентированные символы из вашей локали.

>>> re.sub('\W', '', 'text 1, 2, 3...')
'text123'

Возможно, вы хотите сохранить пробелы или иметь все слова (и числа):

>>> re.findall('\w+', 'my. text, --without-- (punctuation) 123')
['my', 'text', 'without', 'punctuation', '123']

Ответ 3

В правиле сопоставления char [...] вы можете указать ^, как первый char, чтобы означать "не в"

import re
re.sub("[^0-9a-zA-Z]",        # Anything except 0..9, a..z and A..Z
       "",                    # replaced with nothing
       "this is a test!!")    # in this string

--> 'thisisatest'

Ответ 4

Есть и другие способы, которые вы можете рассмотреть, например. просто перебирайте строку и пропускайте нежелательные символы, например. если вы хотите удалить все символы ascii, которые не являются буквами или цифрами

>>> newstring = [c for c in "a!1#b$2c%3\t\nx" if c in string.letters + string.digits]
>>> "".join(newstring)
'a1b2c3x'

или используйте string.translate для сопоставления одного char с другим или удаления некоторых символов, например.

>>> todelete = [ chr(i) for i in range(256) if chr(i) not in string.letters + string.digits ]
>>> todelete = "".join(todelete)
>>> "a!1#b$2c%3\t\nx".translate(None, todelete)
'a1b2c3x'

таким образом вам нужно рассчитать список todelete один раз или todelete может быть жестко закодирован один раз и использовать его везде, где вам нужно преобразовать строку

Ответ 5

Также вы можете попробовать использовать isalpha и isnumeric методы следующим образом:

text = 'base, sample test;'
getVals = lambda x: (c for c in text if c.isalpha() or c.isnumeric())
map(lambda word: ' '.join(getVals(word)): text.split(' '))

Ответ 6

вы можете использовать предопределенное регулярное выражение в python: \W соответствует набору [^a-zA-Z0-9_]. Тогда

import re
s = 'Hello dutrow 123'
re.sub('\W', '', s)
--> 'Hellodutrow123'

Ответ 7

Вам нужно быть более конкретным:

• Как насчет букв Unicode? т.е. с диакритикой.
• Как насчет пробелов? (Я предполагаю, что это то, что вы хотите удалить вместе с пунктуацией)
• Когда вы говорите "буквы", вы имеете в виду A-Z и A-Z только в ASCII?
• Когда вы говорите "цифры", вы имеете в виду только 0-9? Как насчет десятичных дробей, разделителей и экспонентов?

Он быстро становится сложным...

Отличным местом для начала является интерактивный сайт регулярных выражений, например RegExr

Вы также можете получить специфический для Python Python Regex Tool