Курс: "Теория информации и кодирования"

Тема: "МАТЕМАТИЧЕСКАЯ ТЕОРИЯ ИНФОРМАЦИИ"

1. КОЛИЧЕСТВО ИНФОРМАЦИИ, И ЕЕ МЕРА

На вход системы передачи информации (СПИ) от источника информации подается совокупность сообщений, выбранных из ансамбля сообщений (рис.1).

Помехи

x1                                                                                           y1

x2                                                                                           y2

… …

xn                                                      yn

Рис.1. Система передачи информации

 

Ансамбль сообщений - множество возможных сообщений с их вероятностными характеристиками - {Х, р (х) }. При этом: Х={х1, х2,…, хm } - множество возможных сообщений источника; i = 1, 2,..., m, где m - объем алфавита; p (xi) - вероятности появления сообщений, причем p (xi) ³ 0 и поскольку вероятности сообщений представляют собой полную группу событий, то их суммарная вероятность равна единице

.

Каждое сообщение несет в себе определенное количество информации. Определим количество информации, содержащееся в сообщении xi, выбранном из ансамбля сообщений источника {Х, р (х) }. Одним из параметров, характеризующих данное сообщение, является вероятность его появления - p (xi), поэтому естественно предположить, что количество информации I (xi) в сообщении xi является функцией p (xi). Вероятность появления двух независимых сообщений x1 и x2 равна произведению вероятностей p (x1, x2) = p (x1). p (x2), а содержащаяся в них информация должна обладать свойством аддитивности, т.е.:

I (x1, x2) = I (x1) +I (x2). (1)

Поэтому для оценки количества информации предложена логарифмическая мера:

. (2)

При этом, наибольшее количество информации содержат наименее вероятные сообщения, а количество информации в сообщении о достоверном событии равно нулю. Т.к. все логарифмы пропорциональны, то выбор основания определяет единицу информации:

logax = logbx/logba.

В зависимости от основания логарифма используют следующие единицы информации:

2 - [бит] (bynary digit - двоичная единица), используется при анализе ин-формационных процессов в ЭВМ и др. устройствах, функционирующих на основе двоичной системы счисления;

e - [нит] (natural digit - натуральная единица), используется в математических методах теории связи;

10 - [дит] (decimal digit - десятичная единица), используется при анализе процессов в приборах работающих с десятичной системой счисления.

Битом (двоичной единицей информации) - называется количество информации, которое снимает неопределенность в отношении наступления одного из двух равновероятных, независимых событий.

Среднее количество информации для всей совокупности сообщений можно получить путем усреднения по всем событиям:

. (3)

Количество информации, в сообщении, состоящем из n не равновероятных его элементов равно (эта мера предложена в 1948 г.К. Шенноном):

. (4)

Для случая независимых равновероятных событий количество инфор-мации определяется (эта мера предложена в 1928 г.Р. Хартли):

. (5)

 

2. СВОЙСТВА КОЛИЧЕСТВА ИНФОРМАЦИИ

1. Количество информации в сообщении обратно-пропорционально вероятности появления данного сообщения.

2. ............