Подтвердить что ты не робот

Как подавить вездесущий журнал Tensorflow?

Я убираю свой код Tensorflow с помощью nosetests, но он производит такое количество подробных результатов, что делает его бесполезным.

Следующий тест

import unittest
import tensorflow as tf

class MyTest(unittest.TestCase):

    def test_creation(self):
        self.assertEquals(True, False)

при запуске с nosetests создает огромное количество бесполезного ведения журнала:

FAIL: test_creation (tests.test_tf.MyTest)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/home/cebrian/GIT/thesis-nilm/code/deepmodels/tests/test_tf.py", line 10, in test_creation
    self.assertEquals(True, False)
AssertionError: True != False
-------------------- >> begin captured logging << --------------------
tensorflow: Level 1: Registering Const (<function _ConstantShape at 0x7f4379131c80>) in shape functions.
tensorflow: Level 1: Registering Assert (<function no_outputs at 0x7f43791319b0>) in shape functions.
tensorflow: Level 1: Registering Print (<function _PrintGrad at 0x7f4378effd70>) in gradient.
tensorflow: Level 1: Registering Print (<function unchanged_shape at 0x7f4379131320>) in shape functions.
tensorflow: Level 1: Registering HistogramAccumulatorSummary (None) in gradient.
tensorflow: Level 1: Registering HistogramSummary (None) in gradient.
tensorflow: Level 1: Registering ImageSummary (None) in gradient.
tensorflow: Level 1: Registering AudioSummary (None) in gradient.
tensorflow: Level 1: Registering MergeSummary (None) in gradient.
tensorflow: Level 1: Registering ScalarSummary (None) in gradient.
tensorflow: Level 1: Registering ScalarSummary (<function _ScalarShape at 0x7f4378f042a8>) in shape functions.
tensorflow: Level 1: Registering MergeSummary (<function _ScalarShape at 0x7f4378f042a8>) in shape functions.
tensorflow: Level 1: Registering AudioSummary (<function _ScalarShape at 0x7f4378f042a8>) in shape functions.
tensorflow: Level 1: Registering ImageSummary (<function _ScalarShape at 0x7f4378f042a8>) in shape functions.
tensorflow: Level 1: Registering HistogramSummary (<function _ScalarShape at 0x7f4378f042a8>) in shape functions.
tensorflow: Level 1: Registering HistogramAccumulatorSummary (<function _ScalarShape at 0x7f4378f042a8>) in shape functions.
tensorflow: Level 1: Registering Pack (<function _PackShape at 0x7f4378f047d0>) in shape functions.
tensorflow: Level 1: Registering Unpack (<function _UnpackShape at 0x7f4378f048c0>) in shape functions.
tensorflow: Level 1: Registering Concat (<function _ConcatShape at 0x7f4378f04938>) in shape functions.
tensorflow: Level 1: Registering ConcatOffset (<function _ConcatOffsetShape at 0x7f4378f049b0>) in shape functions.

......

тогда как использование tensorflow из консоли ipython не выглядит таким подробным:

$ ipython
Python 2.7.11+ (default, Apr 17 2016, 14:00:29) 
Type "copyright", "credits" or "license" for more information.

IPython 4.2.0 -- An enhanced Interactive Python.
?         -> Introduction and overview of IPython features.
%quickref -> Quick reference.
help      -> Python own help system.
object?   -> Details about 'object', use 'object??' for extra details.

In [1]: import tensorflow as tf
I tensorflow/stream_executor/dso_loader.cc:108] successfully opened CUDA library libcublas.so locally
I tensorflow/stream_executor/dso_loader.cc:108] successfully opened CUDA library libcudnn.so locally
I tensorflow/stream_executor/dso_loader.cc:108] successfully opened CUDA library libcufft.so locally
I tensorflow/stream_executor/dso_loader.cc:108] successfully opened CUDA library libcuda.so locally
I tensorflow/stream_executor/dso_loader.cc:108] successfully opened CUDA library libcurand.so locally

In [2]:

Как я могу подавить прежнее ведение журнала при запуске nosetests?

4b9b3361

ОТВЕТЫ

Ответ 1

Обновление 2.0 (08.10.19) Настройка TF_CPP_MIN_LOG_LEVEL должна все еще работать (см. ниже в обновлении v0. 12+), но в настоящее время существует открытая проблема (см. Issue # 31870). Если настройка TF_CPP_MIN_LOG_LEVEL не работает для вас (опять же, см. ниже), попробуйте сделать следующее, чтобы установить уровень журнала:

import tensorflow as tf
tf.get_logger().setLevel('INFO')

Кроме того, см. документацию по tf.autograph.set_verbosity, в которой задается подробность сообщений журнала автографов, например:

# Can also be set using the AUTOGRAPH_VERBOSITY environment variable
tf.autograph.set_verbosity(1)

v0. 12+ Обновление (20.05.17), работа через TF 2. 0+:

В TensorFlow 0. 12+, для этой проблемы, теперь вы можете управлять регистрацией через переменную окружения, называемую TF_CPP_MIN_LOG_LEVEL; по умолчанию оно равно 0 (показаны все журналы), но может быть установлено одно из следующих значений в столбце Level.

  Level | Level for Humans | Level Description                  
 -------|------------------|------------------------------------ 
  0     | DEBUG            | [Default] Print all messages       
  1     | INFO             | Filter out INFO messages           
  2     | WARNING          | Filter out INFO & WARNING messages 
  3     | ERROR            | Filter out all messages

Смотрите следующий общий пример ОС с использованием Python:

import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '3'  # or any {'0', '1', '2'}
import tensorflow as tf

Чтобы быть точным, вы также можете установить уровень для модуля Python tf_logging, который используется, например, в. сводные операции, тензорная доска, различные оценки и т.д.

# append to lines above
tf.logging.set_verbosity(tf.logging.ERROR)  # or any {DEBUG, INFO, WARN, ERROR, FATAL}

Для версии 1.14 вы будете получать предупреждения, если не переключитесь на использование API v1 следующим образом:

# append to lines above
tf.compat.v1.logging.set_verbosity(tf.compat.v1.logging.ERROR)  # or any {DEBUG, INFO, WARN, ERROR, FATAL}

Для предыдущих версий TensorFlow или TF-Learn Logging (v0.11.x или ниже):

Посмотрите страницу ниже для получения информации о ведении журнала TensorFlow; с новым обновлением вы можете установить подробность ведения журнала на DEBUG, INFO, WARN, ERROR или FATAL. Например:

tf.logging.set_verbosity(tf.logging.ERROR)

На странице дополнительно отображаются мониторы, которые можно использовать с моделями TF-Learn. Вот страница.

Это не блокирует все журналы (только TF-Learn). У меня есть два решения; одно - "технически правильное" решение (Linux), а другое - перестройка TensorFlow.

script -c 'python [FILENAME].py' | grep -v 'I tensorflow/'

Для прочтения см. этот ответ, который включает изменение исходного кода и перестройку TensorFlow.

Ответ 2

Запуск тестов с помощью nosetests --nologcapture отключит отображение этих журналов. Дополнительная информация о регистрации для носететов: https://nose.readthedocs.io/en/latest/plugins/logcapture.html

Ответ 3

Здесь пример этого. К сожалению, это требует изменения источника и восстановления. Здесь ошибка отслеживания, чтобы упростить ее