Я попытался посмотреть другие ответы, но я по-прежнему не уверен, как правильно это сделать. У меня есть несколько действительно больших файлов .csv(может быть гигабайт каждый), и я хочу сначала получить их метки столбцов, потому что они не все одинаковы, а затем, согласно предпочтениям пользователя, извлеките некоторые из этих столбцов с некоторыми критериями, Прежде чем начать часть извлечения, я сделал простой тест, чтобы узнать, что является самым быстрым способом анализа этих файлов, и вот мой код:
def mmapUsage():
start=time.time()
with open("csvSample.csv", "r+b") as f:
# memory-mapInput the file, size 0 means whole file
mapInput = mmap.mmap(f.fileno(), 0)
# read content via standard file methods
L=list()
for s in iter(mapInput.readline, ""):
L.append(s)
print "List length: " ,len(L)
#print "Sample element: ",L[1]
mapInput.close()
end=time.time()
print "Time for completion",end-start
def fileopenUsage():
start=time.time()
fileInput=open("csvSample.csv")
M=list()
for s in fileInput:
M.append(s)
print "List length: ",len(M)
#print "Sample element: ",M[1]
fileInput.close()
end=time.time()
print "Time for completion",end-start
def readAsCsv():
X=list()
start=time.time()
spamReader = csv.reader(open('csvSample.csv', 'rb'))
for row in spamReader:
X.append(row)
print "List length: ",len(X)
#print "Sample element: ",X[1]
end=time.time()
print "Time for completion",end-start
И мои результаты:
=======================
Populating list from Mmap
List length: 1181220
Time for completion 0.592000007629
=======================
Populating list from Fileopen
List length: 1181220
Time for completion 0.833999872208
=======================
Populating list by csv library
List length: 1181220
Time for completion 5.06700015068
Итак, кажется, что библиотека csv, которую большинство людей использует, действительно намного медленнее, чем другие. Возможно, позже это будет быстрее, когда я начну извлекать данные из файла csv, но пока не могу быть уверен. Любые предложения и советы, прежде чем я начну внедрять? Большое спасибо!
