Я использую Cassandra для хранения фотографий. В настоящее время мы осуществляем массовую миграцию изображений из старой системы. Все работает отлично на некоторое время, но в конечном итоге мы получим TimedOutException при сохранении, которое я предполагаю, потому что рабочая очередь была заполнена.
Однако, после ожидания (несколько часов) для его завершения, ситуация остается неизменной (она не восстанавливается после остановки миграции)
Кажется, что проблема tpstats только с одним узлом, на котором команда tpstats показывает следующие данные
Ожидаемые операции MutationStage продолжают увеличиваться, даже несмотря на то, что мы прекратили вставки за несколько часов назад.
Что именно это значит? Что такое MutationStage?
Что я могу проверить, чтобы понять, почему он так долго не стабилизируется? Все остальные серверы в кольце находятся в 0 незавершенных операциях.
Любая новая вставка, которую мы TimedOutException исключение TimedOutException....
Это информация о кольцах, если она полезна
(узел с проблемами является первым)
EDIT: последние строки в журнале следующие.
INFO [OptionalTasks:1] 2013-02-05 10:12:59,140 MeteredFlusher.java (line 62) flushing high-traffic column family CFS(Keyspace='pics_persistent', ColumnFamily='master') (estimated 92972117 bytes)
INFO [OptionalTasks:1] 2013-02-05 10:12:59,141 ColumnFamilyStore.java (line 643) Enqueuing flush of [email protected](74377694/92972117 serialized/live bytes, 141 ops)
INFO [OptionalTasks:1] 2013-02-05 10:14:49,205 MeteredFlusher.java (line 62) flushing high-traffic column family CFS(Keyspace='pics_persistent', ColumnFamily='master') (estimated 80689206 bytes)
INFO [OptionalTasks:1] 2013-02-05 10:14:49,207 ColumnFamilyStore.java (line 643) Enqueuing flush of [email protected](64551365/80689206 serialized/live bytes, 113 ops)
WARN [MemoryMeter:1] 2013-02-05 10:16:10,662 Memtable.java (line 197) setting live ratio to minimum of 1.0 instead of 0.0015255633589225548
INFO [MemoryMeter:1] 2013-02-05 10:16:10,663 Memtable.java (line 213) CFS(Keyspace='pics_persistent', ColumnFamily='master') liveRatio is 1.0 (just-counted was 1.0). calculation took 38ms for 86 columns
INFO [OptionalTasks:1] 2013-02-05 10:16:33,267 MeteredFlusher.java (line 62) flushing high-traffic column family CFS(Keyspace='pics_persistent', ColumnFamily='master') (estimated 71029403 bytes)
INFO [OptionalTasks:1] 2013-02-05 10:16:33,269 ColumnFamilyStore.java (line 643) Enqueuing flush of [email protected](56823523/71029403 serialized/live bytes, 108 ops)
INFO [ScheduledTasks:1] 2013-02-05 11:36:27,798 GCInspector.java (line 122) GC for ParNew: 243 ms for 1 collections, 1917768456 used; max is 3107979264
INFO [ScheduledTasks:1] 2013-02-05 13:00:54,090 GCInspector.java (line 122) GC for ParNew: 327 ms for 1 collections, 1966976760 used; max is 3107979264
