Подтвердить что ты не робот

Совместное использование: memory: database между различными потоками в python с использованием пакета sqlite3

Я хотел бы создать базу данных: memory: python и получить доступ к ней из разных потоков. По существу что-то вроде:

class T(threading.Thread):
    def run(self):
        self.conn = sqlite3.connect(':memory:')
        # do stuff with the database

for i in xrange(N):
    T().start()

и все соединения ссылаются на одну и ту же базу данных.

Мне известно о передаче check_same_thread=True функции подключения и соединение между потоками, но хотелось бы избежать этого, если это возможно. Спасибо за любую помощь.

EDIT: исправлена опечатка. Я изначально сказал, что "все соединения ссылаются на один поток", заменяя поток для базы данных.

Ответ 1

Без взлома библиотеки sqlite3 вы не сможете повторно использовать базу данных :memory:, поскольку она гарантирована как эксклюзивная, так и конфиденциальная для каждого подключения. Чтобы взломать доступ к нему, посмотрите ближе к src/pager.c в дистрибутиве sqlite3 (а не в дистрибутиве Python). Возможно, наиболее удобным способом реализации этого было бы сделать алиасы :memory:00, :memory:something, :memory:okay_hai и т.д. Для обращения к различным указателям pPager->memDb через некоторое простое сопоставление C-стороны.

Ответ 2

SQLite улучшилась за последние 4 года, поэтому теперь доступны общие базы данных в памяти. Проверьте следующий код:

import sqlite3

foobar_uri = 'file:foobar_database?mode=memory&cache=shared'
not_really_foobar_uri = 'file:not_really_foobar?mode=memory&cache=shared'

# connect to databases in no particular order
db2 = sqlite3.connect(foobar_uri, uri=True)
db_lol = sqlite3.connect(not_really_foobar_uri, uri=True)
db1 = sqlite3.connect(foobar_uri, uri=True)

# create cursor as db2
cur2 = db2.cursor()

# create table as db2
db2.execute('CREATE TABLE foo (NUMBER bar)')

# insert values as db1
db1.execute('INSERT INTO foo VALUES (42)')
db1.commit()

# and fetch them from db2 through cur2
cur2.execute('SELECT * FROM foo')
print(cur2.fetchone()[0])  # 42

# test that db_lol is not shared with db1 and db2
try:
    db_lol.cursor().execute('SELECT * FROM foo')
except sqlite3.OperationalError as exc:
    print(exc)  # just as expected

Доступ к базам данных запутан преднамеренно, чтобы показать, что два соединения с базой данных в памяти с тем же именем одинаковы с точки зрения SQLite.

Литература:

К сожалению, соединение по URI доступно только с Python 3.4. Однако, если у вас есть Python 2.6 или новее (но не Python 3), встроенный модуль sqlite3 все еще способен импортировать соединения APSW, которые могут быть использованы для достижения такого же эффекта. Здесь происходит замена модуля sqlite3:

from sqlite3 import *
from sqlite3 import connect as _connect
from apsw import Connection as _ApswConnection
from apsw import SQLITE_OPEN_READWRITE as _SQLITE_OPEN_READWRITE
from apsw import SQLITE_OPEN_CREATE as _SQLITE_OPEN_CREATE
from apsw import SQLITE_OPEN_URI as _SQLITE_OPEN_URI

# APSW and pysqlite use different instances of sqlite3 library, so initializing
# APSW won't help pysqlite. Because pysqlite does not expose any way to
# explicitly call sqlite3_initialize(), here goes an ugly hack. This only has
# to be done once per process.
_connect(':memory:').close()

def connect(database, timeout=5.0, detect_types=0, isolation_level=None,
            check_same_thread=True, factory=Connection, cached_statements=100,
            uri=False):
    flags = _SQLITE_OPEN_READWRITE | _SQLITE_OPEN_CREATE

    if uri:
        flags |= _SQLITE_OPEN_URI

    db = _ApswConnection(database, flags, None, cached_statements)
    conn = _connect(db, timeout, detect_types, isolation_level, 
                    check_same_thread, factory, cached_statements)

    return conn