Помехоустойчивые и линейные коды Код ы Хэмминга БЧХ Способы декодирования Математическая модель Моделирование Сложные системы Метод суперпозиции Метод Неймана Уравнения Колмогорова Вычисление интегралов Варианты курсовых работ Цифровые сети для передачи речи и данных
Понятие информационной системы. Методы описания информационных систем. Кибернетический подход: информационные аспекты изучения систем. Энтропия. Количество информации. Об основных результатах теории информации.

Свойства энтропии

Энтропия любого дискретного ансамбля не отрицательна (1.5). Равенство нулю возможно лишь в том случае, когда источник генерирует одно единственное сообщение с вероятностью Р=1 в этом случае вероятности других сообщений равны нулю. Не отрицательность следует из того, что количество информации в каждом из возможных сообщений источника определенных в соответствии с (1.2) не отрицательно.

Пусть N - объем алфавита дискретного источника, тогда (1.6). Причем равенство имеет место, когда все сообщения источника равновероятные. Для доказательства (1.6) рассмотрим разность, если все сообщения источника uk k=1:N выдаютсяим с вероятностями P(uk), тогда можно записать

(1.7).

Для дальнейшего доказательства воспользуемся неравенством

 

 

 

Нетрадиционные и возобновляемые источники энергии - под нетрадиционными и возобновляемыми источниками энергии понимаются источники электрической и тепловой энергии, использующие энергетические ресурсы рек, водохранилищ и промышленных водостоков, энергию ветра, солнца, редуцируемого природного газа, биомассы (включая древесные отходы), сточных вод и твердых бытовых отходов.

,

что и требовалось доказать.
При этом в соответствии с (1.7) в том случае, когда (из этого равенства следует, что при этом ). Итак, максимально возможное значение энтропии дискретного источника с объемом алфавита N равно logN и достигается в том случае, когда все его сообщения равновероятны.


Основы векторной алгебры http://steve-barton.ru/
Информатика Помехоустойчивые коды и их основные параметры Цифровые сети для передачи речи и данных
Модели информационных систем. Моделирование потоков данных в информационных системах. Методология функционального моделирования SADT. Основные средства моделирования данных: диаграммы "сущность-связь" (ERD) и CASE-метод Баркера. Имитационное моделирование информационных систем. Формула Поллячека-Хинчина. Построение модели информационной системы в среде моделирования GPSS.