Вопрос такой же простой, насколько это просто... Как вы регистрируете все запросы в файле журнала "хвост" в mongodb?
Я пробовал:
В файле /var/log/mongodb/mongodb.log отображается только текущее количество активных подключений...
Я решил решить это, начав mongod вот так (забитый и уродливый, да... но работает для среды разработки):
mongod --profile=1 --slowms=1 &
Это позволяет профилировать и устанавливает пороговое значение для "медленных запросов" как 1 мс, заставляя все запросы регистрироваться как "медленные запросы" к файлу:
/var/log/mongodb/mongodb.log
Теперь я получаю непрерывные выходные записи журнала с помощью команды:
tail -f /var/log/mongodb/mongodb.log
Пример журнала:
Mon Mar 4 15:02:55 [conn1] query dendro.quads query: { graph: "u:http://example.org/people" } ntoreturn:0 ntoskip:0 nscanned:6 keyUpdates:0 locks(micros) r:73163 nreturned:6 reslen:9884 88ms
Вы можете войти все запросы:
$ mongo
MongoDB shell version: 2.4.9
connecting to: test
> use myDb
switched to db myDb
> db.getProfilingLevel()
0
> db.setProfilingLevel(2)
{ "was" : 0, "slowms" : 1, "ok" : 1 }
> db.getProfilingLevel()
2
> db.system.profile.find().pretty()
Источник: http://docs.mongodb.org/manual/reference/method/db.setProfilingLevel/
db.setProfilingLevel(2) означает "регистрировать все операции".
Потому что его первый ответ Google...
Для версии 3
$ mongo
MongoDB shell version: 3.0.2
connecting to: test
> use myDb
switched to db
> db.setLogLevel(1)
http://docs.mongodb.org/manual/reference/method/db.setLogLevel/
MongoDB имеет сложную функцию профилирования. system.profile журнала происходит в коллекции system.profile. Журналы можно увидеть из:
db.system.profile.find()
Есть 3 уровня ведения журнала (источник):
Чтобы увидеть, на каком уровне профилирования работает база данных, используйте
db.getProfilingLevel()
и видеть статус
db.getProfilingStatus()
Чтобы изменить статус профилирования, используйте команду
db.setProfilingLevel(level, milliseconds)
Где level относится к уровню профилирования, а milliseconds - это мс, длительности которых запросы должны быть зарегистрированы. Чтобы отключить ведение журнала, используйте
db.setProfilingLevel(0)
Запрос для поиска в коллекции системных профилей для всех запросов, которые заняли более одной секунды, упорядочены по убыванию отметки времени:
db.system.profile.find( { millis : { $gt:1000 } } ).sort( { ts : -1 } )
Я сделал инструмент командной строки, чтобы активировать активность профайлера и увидеть журналы в режиме "хвоста": "mongotail" .
Но более интересной особенностью (также как tail) является просмотр изменений в "реальном времени" с опцией -f и иногда фильтрация результата с помощью grep для поиска конкретной операции.
См. документацию и инструкции по установке в: https://github.com/mrsarm/mongotail
Как только уровень профилирования устанавливается с помощью db.setProfilingLevel(2).
В приведенной ниже команде будет напечатан последний выполненный запрос.
Вы можете изменить предел (5), чтобы увидеть меньше/больше запросов.
$ nin - отфильтрует запросы профиля и индексов
Кроме того, используйте проекцию запроса {'query': 1} только для просмотра поля запроса
db.system.profile.find(
{
ns: {
$nin : ['meteor.system.profile','meteor.system.indexes']
}
}
).limit(5).sort( { ts : -1 } ).pretty()
Журналы с запросом прогноза
db.system.profile.find(
{
ns: {
$nin : ['meteor.system.profile','meteor.system.indexes']
}
},
{'query':1}
).limit(5).sort( { ts : -1 } ).pretty()
Данные профилировщика записываются в коллекцию в вашей БД, а не в файл. См. http://docs.mongodb.org/manual/tutorial/manage-the-database-profiler/
Я бы порекомендовал использовать службу 10gen MMS и там, где вы можете фильтровать и сортировать его в пользовательском интерфейсе.
если вы хотите, чтобы запросы регистрировались в файле журнала mongodb, вам нужно установить уровень журнала и профилирование, например:
db.setLogLevel(1)
db.setProfilingLevel(2)
(см. https://docs.mongodb.com/manual/reference/method/db.setLogLevel)
Установка только профилирования не приведет к тому, что запросы будут записаны в файл, поэтому вы можете получить его только из
db.system.profile.find().pretty()
Я думаю, что, хотя и не элегантный, oplog может быть частично использован для этой цели: он регистрирует все записи, но не читает...
Вы должны включить репликатор, если я прав. Информация от этого ответа от этого вопроса: Как слушать изменения в коллекции MongoDB? p >
Настройка профиля для 2 - это еще один вариант для регистрации всех запросов.
Я рекомендую проверить mongosniff. Этот инструмент может делать все, что вам нужно, и многое другое. Особенно это может помочь диагностировать проблемы с крупномасштабными системами mongo и как маршрутизируются запросы и откуда они идут, поскольку он работает, слушая ваш сетевой интерфейс для всех связанных с mongo сообщений.
Я написал script, который будет распечатывать журнал system.profile в режиме реального времени по мере поступления запросов. Сначала нужно включить ведение журнала, как указано в других ответах. Мне это нужно, потому что я использую подсистему Windows для Linux, для которой хвост все еще не работает.
db.adminCommand( { getLog: "*" } )
затем
db.adminCommand( { getLog : "global" } )
Попробуйте этот пакет, чтобы выполнить все запросы (без операций с оплогами): https://www.npmjs.com/package/mongo-tail-queries
(Отказ от ответственности: я написал этот пакет именно для этой необходимости)
Об этом уже давно спрашивали, но это может кому-то помочь:
Профилировщик MongoDB регистрирует все запросы в закрытой коллекции system.profile. Смотрите это: профилировщик базы данных
--profile=2, которая позволяет регистрировать все запросы
ИЛИ, если экземпляры mongod уже запущены, из mongoshell запустите db.setProfilingLevel(2) после выбора базы данных. (это можно проверить с помощью db.getProfilingLevel(), который должен вернуть 2)tail -f ../logs/mongologs.txt.
Этот скрипт может быть запущен в фоновом режиме, и он будет регистрировать все операции над БД в файле.Мой код для настраиваемого курсора для коллекции system.profile находится в nodejs; он регистрирует все операции вместе с запросами, происходящими в каждой коллекции MyDb:
const MongoClient = require('mongodb').MongoClient;
const assert = require('assert');
const fs = require('fs');
const file = '../logs/mongologs'
// Connection URL
const url = 'mongodb://localhost:27017';
// Database Name
const dbName = 'MyDb';
//Mongodb connection
MongoClient.connect(url, function (err, client) {
assert.equal(null, err);
const db = client.db(dbName);
listen(db, {})
});
function listen(db, conditions) {
var filter = { ns: { $ne: 'MyDb.system.profile' } }; //filter for query
//e.g. if we need to log only insert queries, use {op:'insert'}
//e.g. if we need to log operation on only 'MyCollection' collection, use {ns: 'MyDb.MyCollection'}
//we can give a lot of filters, print and check the 'document' variable below
// set MongoDB cursor options
var cursorOptions = {
tailable: true,
awaitdata: true,
numberOfRetries: -1
};
// create stream and listen
var stream = db.collection('system.profile').find(filter, cursorOptions).stream();
// call the callback
stream.on('data', function (document) {
//this will run on every operation/query done on our database
//print 'document' to check the keys based on which we can filter
//delete data which we dont need in our log file
delete document.execStats;
delete document.keysExamined;
//-----
//-----
//append the log generated in our log file which can be tailed from command line
fs.appendFile(file, JSON.stringify(document) + '\n', function (err) {
if (err) (console.log('err'))
})
});
}
Для настраиваемого курсора в python, использующего pymongo, обратитесь к следующему коду, который фильтрует MyCollection и выполняет только операцию вставки:
import pymongo
import time
client = pymongo.MongoClient()
oplog = client.MyDb.system.profile
first = oplog.find().sort('$natural', pymongo.ASCENDING).limit(-1).next()
ts = first['ts']
while True:
cursor = oplog.find({'ts': {'$gt': ts}, 'ns': 'MyDb.MyCollection', 'op': 'insert'},
cursor_type=pymongo.CursorType.TAILABLE_AWAIT)
while cursor.alive:
for doc in cursor:
ts = doc['ts']
print(doc)
print('\n')
time.sleep(1)
Примечание. Настраиваемый курсор работает только с ограниченными коллекциями. Его нельзя использовать для непосредственного входа в коллекцию, вместо этого используйте фильтр: 'ns': 'MyDb.MyCollection'
Примечание: я понимаю, что приведенные выше nodejs и код Python могут не сильно помочь некоторым. Я только что предоставил коды для справки.
Используйте эту ссылку, чтобы найти документацию для настраиваемого курсора в вашем языке/драйвере Mongodb Drivers
Еще одна функция, которую я добавил после этого logrotate.