Помехоустойчивые и линейные коды Код ы Хэмминга БЧХ Способы декодирования Математическая модель Моделирование Сложные системы Метод суперпозиции Метод Неймана Уравнения Колмогорова Вычисление интегралов Варианты курсовых работ Цифровые сети для передачи речи и данных
В дисциплине рассматриваются теоретические основы описания информационных процессов и систем. Изучается аппарат теории цепей Маркова (в частности процессы размножения и гибели) для представления элементов информационно-вычислительных систем, например совокупностей процессоров, буферов обмена данными, дисководов, серверов и различных сетевых архитектур.


Условная энтропия и взаимная информация

Определенная равенством (1.4) энтропия характеризует информационные свойства одного дискретного источника или ансамбля. Однако в технике связи очень часто представляет интерес выявление количества информации содержащегося в одном ансамбле сообщений u с объемом алфавита N относительно другого в общем случае зависящего от него ансамбля Z, с объемом алфавита M. В качестве U и Z можно рассматривать, например ансамбль сообщений U и сигналов Z, с помощью которых передают сообщения Z. Для определения такой информационной характеристики введем понятие условной энтропии, которое будем обозначать H(U/Z) определяющей среднее количество информации даваемое сообщением ансамбля u при условии, что сообщение ансамбля Z уже известно. Если оба ансамбля имеют независимые элементы, то мера неопределенности H(U/Z) находится усреднением по всем значениям Zj средней неопределенности элементов ансамбля H(U/Zj) при данном Zj. Последнее находится аналогично энтропии H(u) заменой безусловных вероятностей P(Uk) (появление сообщения Uk) на условные вероятности появления Uk при условии Zj P(Uk/Zj).

(1.9)

По теореме умножения вероятности имеем:
(1.10), где - вероятность совместного появления сообщений uk и zj.
С учетом выражения (1.10), выражение (1.9) можно переписать в виде
(1.11).
Возможно также другое представление (1.10) и (1.11)
(1.11а), где М{} - символ математического ожидания.
Условная энтропия удовлетворяет неравенству (1.12), причем , когда по реализации ансамбля Z можно точно установить реализацию ансамбля U (канал без помех).
, когда ансамбли U и Z независимы и знание реализации Z ничего не говорит о реализации U. В общем случае и знание реализации Z снижает первоначальную неопределенность U. На основании этого можно ввести информационную характеристику двух ансамблей U и Z называемую взаимной информацией между U и Z или количеством информации, содержащимся в Z относительно U, которая определяется, как

(1.13).

Взаимная информация измеряется в тех же единицах что и энтропия, например в битах. Величина показывает, сколько в среднем бит информации о реализации ансамбля u дает наблюдение о реализации ансамбля z. Подставляя (1.4) и (1.11) в (1.13) имеем:
. Учитывая, что последнее выражение можно записать в виде (1.14).

Взаимная информация обладает следующими свойствами:

1) (1.15), причем равенство имеет место только в том случае, когда u и z независимы между собой. Это следует из определения (1.13) и неравенства (1.12).

2) (1.16), т.е z содержит столько же информации относительно u, сколько u содержит относительно z, это свойство вытекает из симметрии (1.14). Поэтому можно так же записать (1.17).

3) Причем равенство имеет место, когда по реализации z можно точно восстановить реализацию u или наоборот. Это следует из (1.12) и (1.13). (1.19) вытекает из (1.16) и (1.18).

4) Полагая в (1.13) и учитывая, что , получаем Это позволяет интерпретировать энтропию источника как его собственную информацию ансамбля U о самом себе.
Пусть U ансамбль дискретных сообщений, а Z ансамбль дискретных сигналов, в которые преобразуется сообщение U, тогда только в том случае когда преобразование U в Z обратимо, т.е. однозначно. При необратимом преобразовании и разность называют потерей информации или ненадежностью преобразования U в Z.
Таким образом, информация не теряется только при обратимых преобразованиях, величина называется энтропией шума преобразования или ложной информацией, создаваемой при образовании.


Коническо-цилиндрические редукторы http://kursgm.ru/
Информатика Помехоустойчивые коды и их основные параметры Цифровые сети для передачи речи и данных
Информационные модели принятия решений. Многообразие задач выбора. Критериальный язык выбора. Описание выбора на языке бинарных отношений. Выбор в условиях неопределенности. Выбор в условиях статистической неопределенности. Динамическое программирование как многошаговый информационный процесс принятия решений.