Практический способ объяснения "Теории информации"

Ответ 1

Исходная статья Шанона " Математическая теория коммуникации - один очень важный ресурс для изучения этой теории, Никто НИКТО не должен его пропустить.

Читая это, вы поймете, как Шанон пришел к теории, которая должна устранить большинство сомнений.

Также будет полезно изучить работу алгоритма сжатия Хаффмана.

EDIT:

Введение в теорию информации

Джон Р. Пирс

кажется хорошим в соответствии с обзорами amazon (я не пробовал).

[от Google "информационная теория непрофессионала" ]

Ответ 2

Мой собственный взгляд на "Теорию информации" заключается в том, что он по существу просто применял математику/статистику, но поскольку ее применяли к коммуникациям/сигналам, она называлась "Теория информации".

Лучший способ начать понимание концепций - установить себе настоящую задачу. Скажем, например, возьмите несколько страниц своего любимого блога, сохраните его как текстовый файл, а затем попытайтесь уменьшить размер файла, гарантируя, что вы все равно сможете полностью восстановить файл (например, без потерь). Вы начнете, например, замену всех экземпляров и с помощью 1, например....

Я всегда считаю, что изучение, сделанное, будет лучшим подходом

Ответ 3

Я собирался рекомендовать Фейнману для целей поп-нау, но по размышлению я думаю, что это может быть хорошим выбором для того, чтобы облегчить серьезное исследование. Вы не можете действительно знать этот материал без получения математики, но Фейнман настолько впечатляющий, что он пробирает математику, не пугая лошадей.

Лекции Фейнмана по вычислениям http://ecx.images-amazon.com/images/I/51BKJV58A9L._SL500_AA240_.jpg

Обложки скорее более обоснованы, чем просто теория информации, но хорошие вещи и приятные для чтения. (Кроме того, я обязан потянуть за Team Physics. Rah! Rah! Rhee!)

Ответ 4

Я помню статьи, которые, я думаю, "Персональный компьютерный мир", который представил версию ID3 для идентификации монет, хотя он использовал эвристическую альтернативу формуле журнала. Я думаю, что это минимизировало суммы квадратов, а не увеличивало энтропию - но это было давно. В (по моему мнению) была еще одна статья, которая использовала формулу журнала для информации (не энтропии) для подобных вещей. Такие вещи дали мне ручку, с которой теория справилась легче.

РЕДАКТИРОВАТЬ - "не энтропией". Я имею в виду, что он использовал взвешенные средние значения информации, но не использовал имя "энтропия".

Я думаю, что построение простых деревьев решений из таблиц решений - очень хороший способ понять взаимосвязь между вероятностью и информацией. Это делает связь с вероятностью информацией более интуитивной, и в ней приводятся примеры взвешенного среднего, чтобы проиллюстрировать эффект, максимизирующий энтропию сбалансированных вероятностей. Очень хороший день - один из уроков.

И что также хорошо, вы можете заменить это дерево решений деревом декодирования Хаффмана (которое, в конце концов, является "деревом решений, которое я дешифрую?" ) и сделать эту ссылку для кодирования.

BTW - взгляните на эту ссылку...

• http://www.inference.phy.cam.ac.uk/mackay/

У Mackay есть бесплатный загружаемый учебник (и доступен в печати), и, хотя я не читал его, части, которые я прочитал, выглядели очень хорошо. Объяснение объяснения "объяснения" в Байесах, начиная со страницы 293, имеет в виду.

CiteSeerX - очень полезный ресурс для документов теории информации (среди прочего). Две интересные статьи...

• http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.18.2410
• http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.51.3672

Хотя CN2, вероятно, не один день.

Ответ 5

Теория информации имеет очень эффективные приложения, например. машинного обучения и интеллектуального анализа данных. в частности, визуализация данных, выбор переменных, преобразование данных и прогнозы, теоретико-информационные критерии являются одними из самых популярных подходов.

См.

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf или http://www.mdpi.com/1424-8220/11/6/5695

Теория информации позволяет нам подойти к оптимальному уплотнению данных формально, например. в терминах задних распределений и марковских одеял:

http://www.mdpi.com/1099-4300/13/7/1403

Это позволяет нам получить верхнюю и нижнюю границы вероятности ошибки при выборе переменной:

http://www.mdpi.com/1099-4300/12/10/2144

Одним из преимуществ использования теории информации по сравнению со статистикой является то, что не обязательно устанавливать распределение вероятностей. Можно вычислить информацию, избыточность, энтропию, энтропию переноса, не пытаясь вообще оценить распределение вероятностей. Выделение переменной без потери информации определяется с точки зрения сохранения условных задних вероятностей, с использованием теории информации можно найти аналогичные формулировки... без необходимости вычисления плотностей вероятности. Какуляции скорее с точки зрения взаимной информации между переменными, так и в литературе обеспечили множество эффективных оценок и более низких размерных аппроксимаций для них. Видеть: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf http://www.mdpi.com/1424-8220/11/6/5695

Ответ 6

Я мог бы предложить эту книгу Glynn Winskel. Он использовался в моем университете для курса "Теория информации". Он начинается с логической теории, а затем определяет простой императивный язык, называемый IMP, и он следует со многими понятиями о формальной семантике в языке.

Формальная семантика языков программирования

http://mitpress.mit.edu/books/formal-semantics-programming-languages

Ответ 7

Хотя, концепции могут быть абстрактными, но они находят хорошее применение в последнее время в Машинном обучении/Искусственном интеллекте. Это может послужить хорошей мотивацией для практической необходимости в этой теоретической концепции. Итак, вы хотите оценить, насколько хорошо ваш функциональный аппроксиматор (LSTM, RNN или CNN или линейная регрессия) хорошо справляется с моделированием истинного распределения - это взаимная информация или относительная энтропия, например, минимизировать кросс-энтропию в cnn или минимизировать функцию искажения/расстояние в линейной регрессии.

Кроме того, вы не будете создавать полезную коммуникационную или сетевую систему без какого-либо теоретического анализа пропускной способности и свойств канала.

В сущности, он может выглядеть теоретическим, но он лежит в основе нынешнего времени общения.

Чтобы получить более детальное представление о том, что я имею в виду, я приглашаю вас посмотреть эту лекцию ISIT: https://www.youtube.com/watch?v=O_uBxFGk-U4&t=1563s от профессора Дэвида Цзе