Почему: память: в sqlite так медленно?
Я пытался узнать, есть ли какие-либо улучшения производительности, полученные при использовании sqlite в базе данных или на базе SQL. В принципе, я хотел бы торговать временем запуска и памятью, чтобы получать чрезвычайно быстрые запросы, которые не попадают в диск во время приложения.
Однако следующий контрольный показатель дает мне только коэффициент 1,5X в улучшенной скорости. Здесь я генерирую 1M строк случайных данных и загружаю их как на диск, так и на память на основе той же таблицы. Затем я запускаю случайные запросы для обоих dbs, возвращая наборы размером около 300k. Я ожидал, что версия на базе памяти будет значительно быстрее, но, как уже упоминалось, я получаю только ускорение на 1,5X.
Я экспериментировал с несколькими другими размерами dbs и наборов запросов; преимущество: memory: похоже, растет, так как количество строк в db увеличивается. Я не уверен, почему преимущество настолько мало, хотя у меня было несколько гипотез:
- используемая таблица не является достаточно большой (в строках), чтобы сделать: память: огромный победитель
- больше объединений/таблиц сделало бы: память: преимущество более очевидным
- происходит какое-то кэширование на уровне подключения или ОС, так что предыдущие результаты доступны каким-то образом, развращая эталонный показатель
- есть какой-то скрытый доступ к диску, который я не вижу (я еще не пробовал, но я отключил PRAGMA для ведения журнала)
Я делаю что-то неправильно здесь? Любые мысли о том, почему: memory: не производит почти мгновенный поиск? Здесь контрольный показатель:
==> sqlite_memory_vs_disk_benchmark.py <==
#!/usr/bin/env python
"""Attempt to see whether :memory: offers significant performance benefits.
"""
import os
import time
import sqlite3
import numpy as np
def load_mat(conn,mat):
c = conn.cursor()
#Try to avoid hitting disk, trading safety for speed.
#http://stackoverflow.com/info/304393
c.execute('PRAGMA temp_store=MEMORY;')
c.execute('PRAGMA journal_mode=MEMORY;')
# Make a demo table
c.execute('create table if not exists demo (id1 int, id2 int, val real);')
c.execute('create index id1_index on demo (id1);')
c.execute('create index id2_index on demo (id2);')
for row in mat:
c.execute('insert into demo values(?,?,?);', (row[0],row[1],row[2]))
conn.commit()
def querytime(conn,query):
start = time.time()
foo = conn.execute(query).fetchall()
diff = time.time() - start
return diff
#1) Build some fake data with 3 columns: int, int, float
nn = 1000000 #numrows
cmax = 700 #num uniques in 1st col
gmax = 5000 #num uniques in 2nd col
mat = np.zeros((nn,3),dtype='object')
mat[:,0] = np.random.randint(0,cmax,nn)
mat[:,1] = np.random.randint(0,gmax,nn)
mat[:,2] = np.random.uniform(0,1,nn)
#2) Load it into both dbs & build indices
try: os.unlink('foo.sqlite')
except OSError: pass
conn_mem = sqlite3.connect(":memory:")
conn_disk = sqlite3.connect('foo.sqlite')
load_mat(conn_mem,mat)
load_mat(conn_disk,mat)
del mat
#3) Execute a series of random queries and see how long it takes each of these
numqs = 10
numqrows = 300000 #max number of ids of each kind
results = np.zeros((numqs,3))
for qq in range(numqs):
qsize = np.random.randint(1,numqrows,1)
id1a = np.sort(np.random.permutation(np.arange(cmax))[0:qsize]) #ensure uniqueness of ids queried
id2a = np.sort(np.random.permutation(np.arange(gmax))[0:qsize])
id1s = ','.join([str(xx) for xx in id1a])
id2s = ','.join([str(xx) for xx in id2a])
query = 'select * from demo where id1 in (%s) AND id2 in (%s);' % (id1s,id2s)
results[qq,0] = round(querytime(conn_disk,query),4)
results[qq,1] = round(querytime(conn_mem,query),4)
results[qq,2] = int(qsize)
#4) Now look at the results
print " disk | memory | qsize"
print "-----------------------"
for row in results:
print "%.4f | %.4f | %d" % (row[0],row[1],row[2])
Вот результаты. Обратите внимание, что диск занимает около 1,5X до тех пор, пока память используется для довольно широкого диапазона размеров запросов.
[ramanujan:~]$python -OO sqlite_memory_vs_disk_clean.py
disk | memory | qsize
-----------------------
9.0332 | 6.8100 | 12630
9.0905 | 6.6953 | 5894
9.0078 | 6.8384 | 17798
9.1179 | 6.7673 | 60850
9.0629 | 6.8355 | 94854
8.9688 | 6.8093 | 17940
9.0785 | 6.6993 | 58003
9.0309 | 6.8257 | 85663
9.1423 | 6.7411 | 66047
9.1814 | 6.9794 | 11345
Не должно ли RAM быть почти мгновенным относительно диска? Что здесь происходит?
Изменить
Некоторые хорошие предложения здесь.
Я предполагаю, что главная точка для меня - это то, что **, вероятно, нет способа сделать: память: абсолютно быстрее, но есть способ сделать доступ к диску относительно медленнее. **
Другими словами, эталонный показатель адекватно оценивает реалистичную производительность памяти, но не реалистичную производительность диска (например, поскольку прагма cache_size слишком велика или потому, что я не делаю записи). Я буду возиться с этими параметрами и опубликовать свои результаты, когда у меня появится шанс.
Тем не менее, если есть кто-нибудь, кто думает, что я могу выжать еще больше скорости из db in-memory (кроме как поднять cache_size и default_cache_size, что я буду делать), я все уши...
