Передача информации по дискретным и непрерывным каналам связи

Производительность источника дискретных сообщений

Имеется

,

где М – обьем алфавита источника.

.

Для такого источника можем определить среднее количество информации в сообщениях (энтропию).

.

Источник работает на интервале T и генерирует за это время количество информации .

,

скорость выдачи информации источником, если процесс эргодический.

Если источник выдал n элементарных сообщений, а длительность сообщений  тогда:

.

Определим максимальную производительность источника

.

Скорость передачи информации по дискретным каналам без помех. Оптимальное статистическое кодирование

Если отсутствуют помехи, то при согласовании источника с каналом, скорость передачи информации равна производительности источника сообщений:

.

Задачей статистического кодирования является максимизация скорости передачи информации по каналу связи.

В настоящее время используется двоичное кодирование.

Чтобы обеспечить максимальную скорость передачи информации по каналу без помех, необходимо реализовать оптимальное статистическое кодирование сообщений источника двоичным кодом. Можно доказать, что для выполнения ОСК необходимо выполнить правило:

,

где - количество символов в комбинации двоичного кода.

Т. е. количество символов в кодовой комбинации должно равняться количеству информации в кодируемом сообщении.

Существует ряд алгоритмов статистического кодирования. Основная цель всех схем ОСК - минимизация средней длительности кодовых комбинаций. Необходимо осуществить кодирование таким образом, чтобы наиболее часто встречающиеся комбинации кодировались наиболее короткими комбинациями. Наиболее известны схемы Шеннона-Фано и Хаффмена. Характерно то, что предварительно все сообщения записываются в порядке убывания их вероятностей. Ни одна короткая комбинация не является началом более длинной. Именно это свойство дает возможность декодирования.

Кодовые значения Кодовые комбинации

 бит

0,5 1 1 1 1

0,25 0 1 01 2 2

0,125 0 0 1 001 3 3

0,125 0 0 0 000 3 3

Рисунок - Схема кодирования Шеннона – Фано.

Оптимальное статистическое кодирование обеспечивает передачу информации по каналам связи с максимальной скоростью. Недостаток: помехи или сбои в аппаратуре, искажения символа ведут к искажению всех других комбинаций.

Необходимо вводить интервалы между кодовыми комбинациями. Величина защитного интервала между комбинациями должна быть кратна длительности импульса и не менее длительности одного импульса. Это снижает достоинства оптимального кода.

Скорость передачи информации и пропускная способность дискретных каналов с помехами

Пусть источник генерирует сообщения

Оценим скорость передачи информации -вход, -выход

- передаваемое сообщение

 - варианты принимаемых сообщений.

Если отсутствуют помехи, то имеют место однозначные переходы. Если помехи присутствуют, то имеют место ошибочные переходы.

Матрица переходных вероятностей:

Она показывает вероятность перехода переданного символа  в принятый . ............