Каков правильный способ массового обновления объектов в хранилище данных Google App Engine? Можно ли это сделать без необходимости получать объекты?
Например, какой бы GAE эквивалентен этому в SQL:
UPDATE dbo.authors
SET city = replace(city, 'Salt', 'Olympic')
WHERE city LIKE 'Salt%';
Нет прямого перевода. У хранилища данных действительно нет понятия обновлений; все, что вы можете сделать, это перезаписать старые объекты с новым объектом с тем же адресом (ключ). Чтобы изменить объект, вы должны извлечь его из хранилища данных, изменить его локально и затем сохранить его.
Также нет эквивалента оператору LIKE. В то время как сопоставление подстановочных подстановок возможно с некоторыми трюками, если вы хотите сопоставить "% Salt%", вам нужно будет прочитать каждый отдельный объект в памяти и локально выполнить сравнение строк.
Таким образом, это не будет столь же чистым и эффективным, как SQL. Это компромисс с большинством хранилищ распределенных объектов, и хранилище данных не является исключением.
Таким образом, библиотека картографа доступна для облегчения таких пакетных обновлений. Следуйте примеру и используйте что-то подобное для вашей функции process:
def process(entity):
if entity.city.startswith('Salt'):
entity.city = entity.city.replace('Salt', 'Olympic')
yield op.db.Put(entity)
Существуют другие альтернативы, кроме картографа. Самый важный совет по оптимизации - пакет обновлений. не сохраняйте каждый обновленный объект отдельно. Если вы используете mapper и put puts, это обрабатывается автоматически.
Нет, это не может быть сделано без извлечения сущностей.
Нет такой вещи, как "максимальный рекорд записи 1000", но, конечно же, есть тайм-аут для любого отдельного запроса - и если у вас есть большие количества объектов для изменения, простая итерация, вероятно, станет фолом этого. Вы могли бы управлять этим путем разделения его на несколько операций и отслеживания с помощью курсора запроса или потенциально с помощью Каркас MapReduce.
вы можете использовать класс запроса, http://code.google.com/appengine/docs/python/datastore/queryclass.html
query = authors.all().filter('city >', 'Salt').fetch()
for record in query:
record.city = record.city.replace('Salt','Olympic')