Помехоустойчивые и линейные коды Код ы Хэмминга БЧХ Способы декодирования Математическая модель Моделирование Сложные системы Метод суперпозиции Метод Неймана Уравнения Колмогорова Вычисление интегралов Варианты курсовых работ Цифровые сети для передачи речи и данных
В дисциплине рассматриваются теоретические основы описания информационных процессов и систем. Изучается аппарат теории цепей Маркова (в частности процессы размножения и гибели) для представления элементов информационно-вычислительных систем, например совокупностей процессоров, буферов обмена данными, дисководов, серверов и различных сетевых архитектур.


Дискретные источники сообщений с памятью. Избыточность дискретного источника сообщений

Из определения энтропии H(U) дискретного источника характеризуемого ансамблем U следует, что величина H(U) зависит от распределения вероятности ансамбля, причем как показано в параграфе 1.2 свойство 2 энтропии. Энтропия максимальна только в том случае, когда все сообщения источника равновероятны. При генерировании источником последовательности сообщений существует еще один фактор, оказывающий влияние на величину энтропии, а именно наличия или отсутствия у источника памяти. Источник дискретных сообщений называется источником с памятью, если вероятность выдачи им очередного элементарного сообщения uk зависит от того, какое (или какие) элементарные сообщения были выданы ранее. Иначе говоря, сообщения источника с памятью являются зависимыми. Стационарный источник независимых сообщений называется источником без памяти.
В качестве примера источника дискретных сообщений с памятью можно привести источник связанного русского текста, в качестве элементарных сообщений которого рассматриваются отдельные буквы русского алфавита. Наряду с тем, что различными являются вероятности появления разных букв в тексте (а чаще чем ъ) имеет место зависимость вероятности появления каждой буквы, от того какая буква ей предшествовала. Так сочетание букв "ар" может встретиться чаще чем "аъ". В тоже время если передачи подлежат расчеты ЭВМ и в качестве элементарных сообщений выступают отдельные цифры, то есть основания в общем случае такой источник информации считать источником без памяти.
Как видно из параграфа 1.3 количество информации, содержащееся в одном элементарном сообщении источника с памятью, определяется с помощью условных вероятностей. Следовательно, и энтропия такого источника, определяемая на основе (1.4) так же будет равна условной энтропии H(u/z). Сообщения ансамбля U при условии, что ему предшествовало сообщение (или несколько сообщений) ансамбля Z. В соответствии со свойством условной энтропии (1.12) для случая зависимых ансамблей U и Z всегда, т.е. энтропия источника с памятью всегда меньше энтропии источника независимых сообщений. Таким образом, энтропия дискретного источника максимальна в том случае, когда выполняются 2 условия:

1) все сообщения источника независимы (источник без памяти).

2) все сообщения источника равновероятны.

Невыполнение любого из этих требований уменьшает энтропию источника и является причиной избыточности. Избыточностью источника дискретных сообщений с энтропией Hu и объемом алфавита N называется величина (1.20), где - максимально возможное значение энтропии при данном объеме алфавита, оно достигается при выполнении условий 1) и 2) и в соответствии с (1.6)

.

Избыточность показывает, какая доля максимально возможной при заданном объеме алфавита неопределенности (энтропии) не используется источником. В частности избыточность современного английского текста составляет 50%, избыточность русского текста 70%.


Аксонометрические проекции 3-х мерных тел http://kursmat.ru/ Расчет передач на сопротивление усталости при изгибе
Информатика Помехоустойчивые коды и их основные параметры Цифровые сети для передачи речи и данных
Информационные модели принятия решений. Многообразие задач выбора. Критериальный язык выбора. Описание выбора на языке бинарных отношений. Выбор в условиях неопределенности. Выбор в условиях статистической неопределенности. Динамическое программирование как многошаговый информационный процесс принятия решений.