MaterStudiorum.ru - домашняя страничка студента.
Минимум рекламы - максимум информации.


Авиация и космонавтика
Административное право
Арбитражный процесс
Архитектура
Астрология
Астрономия
Банковское дело
Безопасность жизнедеятельности
Биографии
Биология
Биология и химия
Биржевое дело
Ботаника и сельское хоз-во
Бухгалтерский учет и аудит
Валютные отношения
Ветеринария
Военная кафедра
География
Геодезия
Геология
Геополитика
Государство и право
Гражданское право и процесс
Делопроизводство
Деньги и кредит
Естествознание
Журналистика
Зоология
Издательское дело и полиграфия
Инвестиции
Иностранный язык
Информатика
Информатика, программирование
Исторические личности
История
История техники
Кибернетика
Коммуникации и связь
Компьютерные науки
Косметология
Краткое содержание произведений
Криминалистика
Криминология
Криптология
Кулинария
Культура и искусство
Культурология
Литература и русский язык
Литература(зарубежная)
Логика
Логистика
Маркетинг
Математика
Медицина, здоровье
Медицинские науки
Международное публичное право
Международное частное право
Международные отношения
Менеджмент
Металлургия
Москвоведение
Музыка
Муниципальное право
Налоги, налогообложение
Наука и техника
Начертательная геометрия
Новейшая история, политология
Оккультизм и уфология
Остальные рефераты
Педагогика
Полиграфия
Политология
Право
Право, юриспруденция
Предпринимательство
Промышленность, производство
Психология
Психология, педагогика
Радиоэлектроника
Разное
Реклама
Религия и мифология
Риторика
Сексология
Социология
Статистика
Страхование
Строительные науки
Строительство
Схемотехника
Таможенная система
Теория государства и права
Теория организации
Теплотехника
Технология
Товароведение
Транспорт
Трудовое право
Туризм
Уголовное право и процесс
Управление
Управленческие науки
Физика
Физкультура и спорт
Философия
Финансовые науки
Финансы
Фотография
Химия
Хозяйственное право
Цифровые устройства
Экологическое право
Экология
Экономика
Экономико-математическое моделирование
Экономическая география
Экономическая теория
Эргономика
Этика
Юриспруденция
Языковедение
Языкознание, филология
    Начало -> Информатика, программирование -> Математическая теория информации

Название:Математическая теория информации
Просмотров:31
Раздел:Информатика, программирование
Ссылка:none(0 KB)
Описание: МАТЕМАТИЧЕСКАЯ ТЕОРИЯ ИНФОРМАЦИИ 1. Количество информации, и ее мера На вход системы передачи информации (СПИ) от источника информации подается совокупность сообщени

Часть полного текста документа:

МАТЕМАТИЧЕСКАЯ ТЕОРИЯ ИНФОРМАЦИИ


1. Количество информации, и ее мера

На вход системы передачи информации (СПИ) от источника информации подается совокупность сообщений, выбранных из ансамбля сообщений (рис. 1).

Помехи

x1 y1

 

x2 y2

… …

xn yn

Рис. 1. Система передачи информации

 

Ансамбль сообщений – множество возможных сообщений с их вероятностными характеристиками – {Х, р(х)}. При этом: Х={х1, х2,…, хm} – множество возможных сообщений источника; i = 1, 2,…, m, где m – объем алфавита; p(xi) – вероятности появления сообщений, причем p(xi) ³ 0 и поскольку вероятности сообщений представляют собой полную группу событий, то их суммарная вероятность равна единице

.

Каждое сообщение несет в себе определенное количество информации. Определим количество информации, содержащееся в сообщении xi, выбранном из ансамбля сообщений источника {Х, р(х)}. Одним из параметров, характеризующих данное сообщение, является вероятность его появления – p(xi), поэтому естественно предположить, что количество информации I(xi) в сообщении xi является функцией p(xi). Вероятность появления двух независимых сообщений x1 и x2 равна произведению вероятностей p(x1, x2) = p(x1).p(x2), а содержащаяся в них информация должна обладать свойством аддитивности, т.е.:

 

I(x1, x2) = I(x1)+I(x2). (1)

Поэтому для оценки количества информации предложена логарифмическая мера:

. (2)

При этом наибольшее количество информации содержат наименее вероятные сообщения, а количество информации в сообщении о достоверном событии равно нулю. Т. к. все логарифмы пропорциональны, то выбор основания определяет единицу информации: logax = logbx/logba.

В зависимости от основания логарифма используют следующие единицы информации:

2 – [бит] (bynary digit – двоичная единица), используется при анализе ин-формационных процессов в ЭВМ и др. устройствах, функционирующих на основе двоичной системы счисления;

e – [нит] (natural digit – натуральная единица), используется в математических методах теории связи;

10 – [дит] (decimal digit – десятичная единица), используется при анализе процессов в приборах работающих с десятичной системой счисления.

Битом (двоичной единицей информации) – называется количество информации, которое снимает неопределенность в отношении наступления одного из двух равновероятных, независимых событий.

Среднее количество информации для всей совокупности сообщений можно получить путем усреднения по всем событиям:

. (3)

Количество информации, в сообщении, состоящем из n не равновероятных его элементов равно (эта мера предложена в 1948 г. К. Шенноном):

. (4)

Для случая независимых равновероятных событий количество информации определяется (эта мера предложена в 1928 г. Р. Хартли):

 

. (5)

2. Свойства количества информации

1. Количество информации в сообщении обратно – пропорционально вероятности появления данного сообщения.

2. Свойство аддитивности – суммарное количество информации двух источников равно сумме информации источников.

3. Для события с одним исходом количество информации равно нулю.

4. Количество информации в дискретном сообщении растет в зависимости от увеличения объема алфавита – m.

Пример 1. ............





Нет комментариев.



Оставить комментарий:

Ваше Имя:
Email:
Антибот:  
Ваш комментарий:  



Похожие работы:

Название:Жадность средств массовой информации, или Несколько вопросов к журналистам
Просмотров:697
Описание: Роджер де Век Говорят, что средства массовой информации превратились в четвертую власть наряду с парламентом, правительством и органами юстиции. Эта последовательность не соответствует действительности, так ка

Название:Технология подачи информации в журналистике
Просмотров:579
Описание: В. Олешко По книге "Журналистика как творчество". «В хорошей газете больше смысла,  чем хотели вложить в нее авторы». NN Перед журналистами региональной вкладки «Комсомольской правды – Урал» ставятся св

Название:Динамика развития, структура и социальные функции региональных средств массовой информации
Просмотров:470
Описание: Содержание Введение 1. Стуктурно-функциональный анализ СМИ Хабаровского края 1.1 Региональные СМИ как система 1.2 Типология СМИ Хабаровского Края 2. Проблемы состояния региональных СМИ 2.1 Экономические п

Название:Влияние тенденций эпохи глобализации на производство информации и обмен информацией через СМИ
Просмотров:455
Описание: Федеральное агентство по образованию Государственное общеобразовательное учреждение высшего профессионального образования «МАТИ» – Российский государственный технологический университет имени К.Э. Циол

Название:Средства массовой информации в сфере публичных обязательств государства
Просмотров:292
Описание: Министерство образования и науки Российской Федерации Академия государственного и муниципального управления При президенте республики Татарстан Факультет государственного и муниципального управления

 
     

Вечно с вами © MaterStudiorum.ru