У меня есть файл с одним столбцом. Как удалить повторяющиеся строки в файле?
Как я могу удалить повторяющиеся строки из файла?
Ответ 1
В Unix/Linux используйте команду uniq
в соответствии с ответом Дэвида Локка или sort
в соответствии с комментарием Уильяма Пурселла.
Если вам нужен Python script:
lines_seen = set() # holds lines already seen
outfile = open(outfilename, "w")
for line in open(infilename, "r"):
if line not in lines_seen: # not a duplicate
outfile.write(line)
lines_seen.add(line)
outfile.close()
Обновление: Комбинация sort
/uniq
удалит дубликаты, но вернет файл с отсортированными строками, что может быть или не быть тем, что вы хотите. Python script выше не будет переупорядочивать строки, а просто удалять дубликаты. Конечно, чтобы получить script выше для сортировки, просто оставьте outfile.write(line)
и вместо этого сразу после цикла сделайте outfile.writelines(sorted(lines_seen))
.
Ответ 2
Если вы на * nix, попробуйте выполнить следующую команду:
sort <file name> | uniq
Ответ 3
uniqlines = set(open('/tmp/foo').readlines())
это даст вам список уникальных строк.
запись, которая вернется к некоторому файлу, будет такой же простой, как:
bar = open('/tmp/bar', 'w').writelines(set(uniqlines))
bar.close()
Ответ 4
Его повторение того, что уже было сказано здесь, - вот что я использую.
import optparse
def removeDups(inputfile, outputfile):
lines=open(inputfile, 'r').readlines()
lines_set = set(lines)
out=open(outputfile, 'w')
for line in lines_set:
out.write(line)
def main():
parser = optparse.OptionParser('usage %prog ' +\
'-i <inputfile> -o <outputfile>')
parser.add_option('-i', dest='inputfile', type='string',
help='specify your input file')
parser.add_option('-o', dest='outputfile', type='string',
help='specify your output file')
(options, args) = parser.parse_args()
inputfile = options.inputfile
outputfile = options.outputfile
if (inputfile == None) or (outputfile == None):
print parser.usage
exit(1)
else:
removeDups(inputfile, outputfile)
if __name__ == '__main__':
main()
Ответ 5
Вы можете сделать:
import os
os.system("awk '!x[$0]++' /path/to/file > /path/to/rem-dups")
Здесь вы используете bash в python:)
У вас есть и другой способ:
with open('/tmp/result.txt') as result:
uniqlines = set(result.readlines())
with open('/tmp/rmdup.txt', 'w') as rmdup:
rmdup.writelines(set(uniqlines))
Ответ 6
получить все свои строки в списке и сделать набор строк, и все готово. например,
>>> x = ["line1","line2","line3","line2","line1"]
>>> list(set(x))
['line3', 'line2', 'line1']
>>>
и напишите содержимое обратно в файл.
Ответ 7
Python Один вкладыш:
python -c "import sys; lines = sys.stdin.readlines(); print ''.join(sorted(set(lines)))" < InputFile > OutputFile
Ответ 8
добавление к ответу @David Locke, с помощью * nix-систем вы можете запускать
sort -u messy_file.txt > clean_file.txt
который создаст clean_file.txt
удаление дубликатов в алфавитном порядке.
Ответ 9
Посмотрите на скрипт, который я создал, чтобы удалить дубликаты электронных писем из текстовых файлов. Надеюсь это поможет!
# function to remove duplicate emails
def remove_duplicate():
# opens emails.txt in r mode as one long string and assigns to var
emails = open('emails.txt', 'r').read()
# .split() removes excess whitespaces from str, return str as list
emails = emails.split()
# empty list to store non-duplicate e-mails
clean_list = []
# for loop to append non-duplicate emails to clean list
for email in emails:
if email not in clean_list:
clean_list.append(email)
return clean_list
# close emails.txt file
emails.close()
# assigns no_duplicate_emails.txt to variable below
no_duplicate_emails = open('no_duplicate_emails.txt', 'w')
# function to convert clean_list 'list' elements in to strings
for email in remove_duplicate():
# .strip() method to remove commas
email = email.strip(',')
no_duplicate_emails.write(f"E-mail: {email}\n")
# close no_duplicate_emails.txt file
no_duplicate_emails.close()
Ответ 10
Вот мое решение
if __name__ == '__main__':
f = open('temp.txt','w+')
flag = False
with open('file.txt') as fp:
for line in fp:
for temp in f:
if temp == line:
flag = True
print('Found Match')
break
if flag == False:
f.write(line)
elif flag == True:
flag = False
f.seek(0)
f.close()
Ответ 11
Если кто-то ищет решение, которое использует хеширование и выглядит немного более кричащим, я сейчас использую:
def remove_duplicate_lines(input_path, output_path):
if os.path.isfile(output_path):
raise OSError('File at {} (output file location) exists.'.format(output_path))
with open(input_path, 'r') as input_file, open(output_path, 'w') as output_file:
seen_lines = set()
def add_line(line):
seen_lines.add(line)
return line
output_file.writelines((add_line(line) for line in input_file
if line not in seen_lines))