Эффективная организация обмена
информации Эффективная организация обмена информации приобретает все большее
значение как условие пешной практической деятельности людей. Объем информации
необходимый для нормального функционирования современного общества растет примерно
пропорционально квадрату развития промышленного потенциала.
Непрерывный
или аналоговый сигналы
Дискретизированный
или дискретно непрерывные сигналы Теория информации представляет собой ветвь
статистической теории связи. Для того чтобы более конкретно обозначить предмет
этой науки введем некоторые понятия и определения.
Дискретные
по уровню или квантованные сигналы
Дискретные
по уровню и по времени сигналы Под сообщением понимают совокупность знаков
или первичных сигналов содержащих информацию. Иначе говоря, сообщение - это информация
представленная в какой-либо форме. Пример сообщений: текст телеграммы, данные
на выходе ЭВМ, речь, музыка и т.д.
Совокупность
технических средств
КОЛИЧЕСТВЕННЫЕ ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ
ДИСКРЕТНЫХ ИСТОЧНИКОВ СООБЩЕНИЙ И КАНАЛОВ
Количество
информации в дискретном сообщении. Предположим, что источник сообщений может
в каждый момент времени случайным образом принять одно из конечного множества
возможных состояний.
Энтропия
Свойства
энтропии Энтропия любого дискретного ансамбля не отрицательна
Энтропия
объединения нескольких источников
Условная
энтропия и взаимная информация Определенная равенством энтропия характеризует
информационные свойства одного дискретного источника или ансамбля.
Дискретные
источники сообщений с памятью
Производительность
источника дискретных сообщений Обычно источники передают сообщения, с некоторой
скоростью, затрачивая в среднем время Т на передачу одного сообщения
Пропускная
способность дискретного канала
СОГЛАСОВАНИЕ ДИСКРЕТНОГО
ИСТОЧНИКА С ДИСКРЕТНЫМ КАНАЛОМ
Задача
согласования дискретного источника с дискретным каналом без шума Предположим,
что мы имеем дискретный канал вероятность возникновения ошибки, в котором близка
к нулю (в идеале = 0). Такой канал называют идеальным каналом или каналом без
шума
Кодирование
Теорема
Шеннона для канала без шума Предельные возможности статистического кодирования
раскрывается в теореме Шеннона для канала без шума, которая является одним из
основных положений теории передачи информации.
Второй
способ доказательства прямой теоремы Шеннона для канала без шума. Метод Фано.
Задача
согласования дискретного источника с дискретным каналом с шумом Рассмотрим
теперь ситуацию, когда в процессе передачи сигнал искажается шумом , т.е. некоторым
случайным процессом. Предположим, что в соответствии с обозначениями, что Z -
ансамбль сигналов на входе дискретного канала, а Z* - ансамбль сигналов на его
выходе.
Теорема Шеннона для дискретного
канала с шумом
Методика построения
помехоустойчивых кодов. Информационный предел избыточности Кодирование с помощью
которого можно устранять ошибки обусловленные наличием шума в канале называется
помехоустойчивым. Коды способные исправлять и обнаруживать ошибки называется помехоустойчивым
кодом. К сожалению основная теорема кодирования Шеннона не конструктивна, она
не указывает способ построения конкретного оптимального помехоустойчивого кода,
обеспечивающего предельное согласование сигнала с каналом, существование которого
доказывает.
ПРОБЛЕМЫ ПЕРЕДАЧИ НЕПРЕРЫВНОЙ ИНФОРМАЦИИ
Непрерывные сообщения. Квантование и дискретизация. Теорема Котельникова
Непрерывные сообщения. Квантование и
дискретизация
АИМ - сигнал и его
спектр
Математическая модель дискретизированного
сигнала. Спектр дискретизированного сигнала
Теорема
Котельникова
Оценка
ошибок дискретизации
Оценка погрешности дискретизации обусловленной
неограниченностью спектра реального сигнала Реальные процессы конечной длительности
имеют бесконечно широкий спектр.
Оценка погрешности дискретизации, обусловленной
неидеальностью интерполирующего фильтра
Оценка погрешности дискретизации,
обусловленной конечной длительностью отсчетных
импульсов Длительность от счетных импульсов всегда является конечной
величиной. При этом, если исходная функция с ограниченным спектром восстанавливается
идеальным ФНЧ по АИМ - сигналу
Оценка
ошибок квантования
Информация
в непрерывных сообщениях Для того, чтобы оценить потенциальные возможности
передачи сообщений по непрерывным каналам, необходимо вести количественные информационные
характеристики непрерывных сообщений и каналов. Обобщим с этой целью понятие энтропии
и взаимной информации на ансамбли непрерывных сигналов.
Дифференциальная
энтропия обладает следующими свойствами
Наибольшая
дифференциальная энтропия
Энтропия
и производительность источника непрерывных сообщений Как было показано, в
одном отсчете любого непрерывного сообщения содержится бесконечное количество
собственной информации. И тем не менее, непрерывные сообщения (телефонные разговоры,
телепередачи) успешно передаются по каналам связи.
Пропускная
способность непрерывного канала. Теорема Шеннона
Информационный
подход к оценке качества функционирования систем связи Под системой связи
будем понимать совокупность технических средств, обеспечивающих передачу информации
с заданными свойствами от различных источников различным получателям. Целенаправленная
разработка системы связи может осуществляться при условии наличия критериев эффективности
ее функционирования.