Мои исходные данные находятся в файле TSV, 6 столбцах и более 2 миллионов строк.
Вот что я пытаюсь выполнить:
- Мне нужно прочитать данные в 3 из столбцов (3, 4, 5) в этом исходном файле
- Пятый столбец представляет собой целое число. Мне нужно использовать это целочисленное значение для дублирования записи строки с использованием данных в третьем и четвертом столбцах (по числу целых раз).
- Я хочу записать вывод # 2 в выходной файл в формате CSV.
Ниже я придумал.
Мой вопрос: это эффективный способ сделать это? Похоже, что это может быть интенсивным при попытке на 2 миллиона строк.
Во-первых, я создал отдельный файл вкладки с образцом для работы с ним и назвал его "sample.txt". Он базовый и имеет только четыре строки:
Row1_Column1 Row1-Column2 Row1-Column3 Row1-Column4 2 Row1-Column6
Row2_Column1 Row2-Column2 Row2-Column3 Row2-Column4 3 Row2-Column6
Row3_Column1 Row3-Column2 Row3-Column3 Row3-Column4 1 Row3-Column6
Row4_Column1 Row4-Column2 Row4-Column3 Row4-Column4 2 Row4-Column6
то у меня есть этот код:
import csv
with open('sample.txt','r') as tsv:
AoA = [line.strip().split('\t') for line in tsv]
for a in AoA:
count = int(a[4])
while count > 0:
with open('sample_new.csv','ab') as csvfile:
csvwriter = csv.writer(csvfile, delimiter=',')
csvwriter.writerow([a[2], a[3]])
count = count - 1