Как работает Redis, когда ОЗУ начинает заполняться?

Ответ 1

Я не думаю, что вопрос связан с управлением виртуальной памятью, но больше об истечении элементов в Redis, что является совершенно другой темой.

В отличие от memcached, Redis - это не только кеш. Таким образом, пользователь должен выбрать политику выселения предметов, используя различные механизмы. Вы можете выселить все свои предметы или только часть их.

Общая политика должна быть выбрана в файле конфигурации с параметрами maxmemory и maxmemory-политик, описанными ниже:

# Don't use more memory than the specified amount of bytes.
# When the memory limit is reached Redis will try to remove keys with an
# EXPIRE set. It will try to start freeing keys that are going to expire
# in little time and preserve keys with a longer time to live.
# Redis will also try to remove objects from free lists if possible.
#
# If all this fails, Redis will start to reply with errors to commands
# that will use more memory, like SET, LPUSH, and so on, and will continue
# to reply to most read-only commands like GET.
#
# WARNING: maxmemory can be a good idea mainly if you want to use Redis as a
# 'state' server or cache, not as a real DB. When Redis is used as a real
# database the memory usage will grow over the weeks, it will be obvious if
# it is going to use too much memory in the long run, and you'll have the time
# to upgrade. With maxmemory after the limit is reached you'll start to get
# errors for write operations, and this may even lead to DB inconsistency.
#
maxmemory <bytes>

# MAXMEMORY POLICY: how Redis will select what to remove when maxmemory
# is reached? You can select among five behavior:
#
# volatile-lru -> remove the key with an expire set using an LRU algorithm
# allkeys-lru -> remove any key accordingly to the LRU algorithm
# volatile-random -> remove a random key with an expire set
# allkeys->random -> remove a random key, any key
# volatile-ttl -> remove the key with the nearest expire time (minor TTL)
# noeviction -> don't expire at all, just return an error on write operations
#
# Note: with all the kind of policies, Redis will return an error on write
#       operations, when there are not suitable keys for eviction.
#
#       At the date of writing this commands are: set setnx setex append
#       incr decr rpush lpush rpushx lpushx linsert lset rpoplpush sadd
#       sinter sinterstore sunion sunionstore sdiff sdiffstore zadd zincrby
#       zunionstore zinterstore hset hsetnx hmset hincrby incrby decrby
#       getset mset msetnx exec sort
#
# The default is:
#
maxmemory-policy volatile-lru

# LRU and minimal TTL algorithms are not precise algorithms but approximated
# algorithms (in order to save memory), so you can select as well the sample
# size to check. For instance for default Redis will check three keys and
# pick the one that was used less recently, you can change the sample size
# using the following configuration directive.
#
maxmemory-samples 3

Затем выключение отдельного элемента может быть установлено с помощью следующих команд: EXPIRE EXPIREAT Свойство истечения срока действия полезно для политик volatile-*. Истечение срока действия также можно удалить, используя PERSIST.

Свойство expiration добавляет небольшие издержки памяти, поэтому его следует использовать только при необходимости.

Наконец, стоит упомянуть, что часть объекта не может быть истек, только весь объект. Например, может быть истек весь список или набор, соответствующий ключу, но отдельные списки или заданные элементы не могут.

Ответ 2

Дидье прав, указывая, как это сделать. Просто указывая на некоторые дополнительные элементы (один из которых, кажется, опущен со своего поста):

• Укажите максимальный размер памяти, чтобы использовать большую часть доступной памяти на этом node (оставьте некоторые для ОС и других процессов и некоторого буфера). Это гарантирует, что контент никогда не будет выгружен и, таким образом, операции будут FAST.
  • Если вы не устанавливаете TTL/истекающие ключи через приложение, важно, чтобы вы использовали подход "allkeys-lru". В противном случае Redis ничего не истечет (потому что ни один из ключей нестабилен), и вы начнете получать ошибки, как только вся память будет израсходована, - в основном вы не сможете выполнять никаких дополнительных операций.
  • При использовании LRU для удаления ключей важно установить следующую настройку:

maxmemory-samples 10

Это количество образцов, которые будет принимать Redis, а затем удалить из них LRU. Значение по умолчанию равно 3, но для всех практических целей это слишком мало - и может означать, что старые ключи все еще могут сохраниться. Установка слишком высокого значения будет накладными расходами для Redis. Возможно, вам захочется поэкспериментировать с этим параметром, прежде чем устанавливать его. Мы используем значение 10.

Ответ 3

Пожалуйста, прочитайте главу Виртуальная память из документации Redis. Соответствующая часть:

Настройки vm-max-memoryПараметр vm-max-memory указывает, сколько памяти Redis можно использовать, прежде чем запускать замену значений на диске.

В принципе, если этот предел памяти не достигнут, ни один объект не будет заменен, Redis будет работать со всеми объектами в памяти, как обычно. Как только этот предел поражен, достаточно всего объектов поменять местами, чтобы вернуть память чуть ниже предела.

Обмениваемые объекты - это, в первую очередь, те, у которых самый высокий "возраст" (т.е. количество секунд с тех пор, как они не были использованы), но "сменная возможность" объекта также пропорциональна логарифму его размера в Память. Поэтому, хотя более старые объекты предпочтительнее, более крупные объекты сначала выгружаются, когда они примерно одного возраста.

ПРЕДУПРЕЖДЕНИЕ. Поскольку ключи не могут быть заменены, Redis не сможет соблюдать настройку vm-max-memory, если только клавиши используют больше места, чем предел.

Наилучшее значение для этого параметра - достаточное количество ОЗУ для хранения "рабочего набора" данных. В практическом плане просто дайте Redis столько памяти, сколько сможете, и обмен будет работать лучше.

UPDATE Что касается Redis 2.4 (похоже, официальная документация на сайте Redis не обновляется до этой версии), не рекомендуется использовать VM.

redis.conf говорит:

### WARNING! Virtual Memory is deprecated in Redis 2.4
### The use of Virtual Memory is strongly discouraged.

Ответ 4

Либо установите TTL (и пусть Redis обрабатывает истечение срока для вас), либо разместит ваши элементы с вашими собственными данными старения, возможно, сохраненными в виде наборов ZSET (timestamp, key), из которых вы можете выполнить собственную очистку кеша в соответствии с вашими собственных потребностей.