Помехоустойчивые и линейные коды Код ы Хэмминга БЧХ Способы декодирования Математическая модель Моделирование Сложные системы Метод суперпозиции Метод Неймана Уравнения Колмогорова Вычисление интегралов Варианты курсовых работ Цифровые сети для передачи речи и данных
Основные задачи теории систем. Краткая историческая справка возникновения и развития системных представлений. Системность как всеобщее свойство материи. Множественность моделей систем.

Информация в непрерывных сообщениях


Дифференциальная энтропия обладает следующими свойствами.

Из всех непрерывных величин Х с фиксированной дисперсией 2 наибольшую дифференциальную энтропию имеет величина с гауссовским распределением, т.е.

 

(3.37)

Доказательство свойства проведем в два этапа: сначала вычислим h(x) для гауссовского распределения, задаваемого плотностью.

где м - математическое ожидание,
а затем докажем неравенство (3.37).

Подставив (3.38) в (3.35) найдем


Для доказательства неравенства (3.37) зададимся произвольным распределением (х) с дисперсией 2 и математическим ожиданием m и вычислим интеграл J вида

 


Но в силу неравенства (1.7) с учетом правила изменения основания логарифмов (log t = log e  ln t) имеем:

 

так как подинтегральное выражение - гауссовская плотность распределения см.(3.38). [an error occurred while processing this directive]

Таким образом , откуда .
Но как только что было показано, - это дифференциальная энтропия гауссовского распределения. Доказанное неравенство и означает, что энтропия гауссовского распределения максимальна.
Попытаемся теперь определить с помощью предельного перехода взаимную информацию между двумя непрерывными случайными величинами X и Y. Разбив области определения Х и Y соответственно на небольшие интервалы x и y, заменим эти величины дискретными так же, как это делалось при выводе формулы (3.34).
Исходя из выражения (1.14) можно определить взаимную информацию между величинами Х и Y .

 

(3.39)


При этом предельном переходе никаких явных бесконечностей не появилось, т.е. взаимная информация оказывается величиной конечной, имеющей тот же смысл, что и для дискретных сообщений.
С учетом того, что

(x,y)= (y)  (x/y)


равенство (3.39) можно представить в виде

 

(3.40)


Здесь h(X) - определенная выражением (3.35) дифференциальная энтропия Х, а

 

(3.41)


h(X/Y) - условная дифференциальная энтропия. Можно показать, что во всех случаях h(X/Y)h(X).
Формула (3.40) имеет ту же форму, что и (1.13), а отличается лишь заменой энтропии дифференциальной энтропией. Легко убедиться, что основные свойства 1 и 2 (см. пункт 1.3) взаимной информации, описываемые равенствами (1.15)(1.17), остаются справедливыми и в этом случае.


Непрерывные функции http://intod.ru/
Информатика Помехоустойчивые коды и их основные параметры Цифровые сети для передачи речи и данных
Динамическое описание информационных систем. Математические схемы для описания элементов информационных систем: булевы функции, высказывательные функции, марковские процессы, конечные автоматы, системы массового обслуживания.