Обработка дополнительных строк новой строки (возврат каретки) в файлах csv, обработанных Python?

Ответ 1

Предположим, что у вас есть эта электронная таблица Excel:

Примечание:

• многострочная ячейка в C2;
• встроенная запятая в C1 и D3;
• пустые ячейки и ячейка с пробелом в D4.

Сохраняя это как CSV в Excel, вы получите этот файл csv:

A1,B1,"C1,+comma",D1
,B2,"line 1
line 2",D2
,,C3,"D3,+comma"
,,,D4 space

Предположительно, вы захотите прочитать это в Python с пустыми ячейками, все еще имеющими смысл, и встроенная запятая обрабатывается правильно.

Итак, это:

with open("test.csv", 'rU') as csvIN:
    outCSV=(line for line in csv.reader(csvIN, dialect='excel'))

    for row in outCSV:
        print("Length: ", len(row), row) 

правильно создает матрицу списка 4x4 List List, представленную в Excel:

Length:  4 ['A1', 'B1', 'C1,+comma', 'D1']
Length:  4 ['', 'B2', 'line 1\nline 2', 'D2']
Length:  4 ['', '', 'C3', 'D3,+comma']
Length:  4 ['', '', '', 'D4 space']

В примере CSV файла, который вы указали, отсутствуют кавычки по всему полю с дополнительной линией, что делает смысл этой новой строки неоднозначным. Это новая строка или многострочное поле?

Поэтому вы можете интерпретировать этот файл csv только:

A, B, C, D, E, F
123, 456, tree
, very, bla, indigo

как один размерный список, например:

with open("test.csv", 'rU') as csvIN:
   outCSV=[field.strip() for row in csv.reader(csvIN, delimiter=',') 
              for field in row if field]

Что производит этот одномерный список:

['A', 'B', 'C', 'D', 'E', 'F', '123', '456', 'tree', 'very', 'bla', 'indigo']

Затем это можно интерпретировать и перегруппировать в любую подгруппу, как вы пожелаете.

Идиоматический метод перегруппировки в python использует zip так:

>>> zip(*[iter(outCSV)]*6)
[('A', 'B', 'C', 'D', 'E', 'F'), ('123', '456', 'tree', 'very', 'bla', 'indigo')]

Или, если вы хотите список списков, это также идиоматично:

>>> [outCSV[i:i+6] for i in range(0, len(outCSV),6)]
[['A', 'B', 'C', 'D', 'E', 'F'], ['123', '456', 'tree', 'very', 'bla', 'indigo']]

Если вы можете изменить способ создания файла CSV, он будет менее двусмысленным для интерпретации.

Ответ 2

Это будет работать, если у вас есть ячейки без пробелов

data = [['A', ' B', ' C', ' D', ' E', ' F'],
['123', ' 456', ' tree'],
['   ', ' very', ' bla', ' indigo']]

flat_list = chain.from_iterable(data)
flat_list = [cell for cell in flat_list if cell.strip() != ''] # remove blank cells

rows = [flat_list[i:i+6] for i in range(0, len(flat_list), 6)] # chunk into groups of 6 
print rows 

Вывод:

[['A', ' B', ' C', ' D', ' E', ' F'], ['123', ' 456', ' tree', ' very', ' bla', ' indigo']]

Если у вас есть пустые ячейки на входе, это будет работать большую часть времени:

data = [['A', ' B', ' C', ' D', ' E', ' F'],
['123', ' 456', ' tree'],
['   ', ' very', ' bla', ' indigo']]

clean_rows = []
saved_row = []

for row in data:
    if len(saved_row):
        row_tail = saved_row.pop()
        row[0] = row_tail + row[0]  # reconstitute field broken by newline
        row = saved_row + row       # and reassemble the row (possibly only partially)
    if len(row) >= 6:
        clean_rows.append(row)
        saved_row = []
    else:
        saved_row = row


print clean_rows 

Вывод:

[['A', ' B', ' C', ' D', ' E', ' F'], ['123', ' 456', ' tree   ', ' very', ' bla', ' indigo']]

Однако даже второе решение будет терпеть неудачу с входом такого

A,B,C,D,E,F\nG
1,2,3,4,5,6

В этом случае ввод неоднозначен, и ни один алгоритм не сможет угадать, если вы имели в виду:

A,B,C,D,E,F
G\n1,2,3,4,5,6 

(или ввод, приведенный выше)

Если это может быть для вас, вам нужно вернуться к человеку, сохраняющему данные, и заставить их сохранить его в более чистом формате (btw open office цитирует новые строки в файлах CSV гораздо лучше, чем Excel).

Ответ 3

Это должно сработать. (Предупреждение: скомпилированный код мозга)

with open('test.csv', 'rU') as infile:
   data = []
   for line in infile:
       temp_data = line.split(',')
       try:
           while len(temp_data) < 6: #column length
               temp_data.extend(infile.next())
       except StopIteration: pass
       data.append(temp_data)

Ответ 4

Это работает с модулем CSV и очищает пустые поля и строки:

import csv
import StringIO

data="""A, B, C, D, E, F
123, 456, tree

,,
, very, bla, indigo"""

f=StringIO.StringIO(data)   #used just to simulate a file. Use your file here...
reader = csv.reader(f)
out=[]
for line in reader:
    line=[x.strip() for x in line if x]   # remove 'if x' if you want blank fields
    if len(line):
        out.append(line)

print out        

Печать

[['A', ' B', ' C', ' D', ' E', ' F'], 
 ['123', '456', 'tree'], 
 ['very', 'bla', 'indigo']]

Если вы хотите, чтобы в 6 столбцах col:

cols=6        
out=[i for sl in out for i in sl]                      # flatten out
out=[out[i:i+cols] for i in range(0, len(out), cols)]  # rechunk into 'cols' 

Печать

[['A', 'B', 'C', 'D', 'E', 'F'],
 ['123', '456', 'tree', 'very', 'bla', 'indigo']]

Ответ 5

Если количество полей в каждой строке одинаково и поля не могут быть пустыми:

from itertools import izip_longest

nfields = 6
with open(filename) as f:
     fields = (field.strip() for line in f for field in line.split(',') if field)
     for row in izip_longest(*[iter(fields)]*nfields): # grouper recipe*
         print(row)

* рецепт окунь

Выход

('A', 'B', 'C', 'D', 'E', 'F')
('123', '456', 'tree', 'very', 'bla', 'indigo')

Ответ 6

Если вам известно количество столбцов, лучший способ - игнорировать конец строк и затем разделить.

Что-то вроде этого

with open(filename, 'rU') as fp:
    data = ''.join(fp.readlines())

data = data.split(',')
for n in range(0, len(data), 6)
    print(data[n:n+6])

Вы можете легко преобразовать его в генератор, если хотите:

def read_ugly_file(filename, delimiter=',', columns=6):
    with open(filename, 'rU') as fp:
        data = ''.join(fp.readlines())

    data = data.split(delimiter)
    for n in range(0, len(data), columns)
        yield data[n:n+columns]

for row in read_ugly_file('myfile.csv'):
    print(row)