КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИНФОРМАЦИИ Общее число неповторяющихся сообщений, которое может быть составлено из алфавита m путем комбинирования по n символов в сообщении, . (1)
    Неопределенность, приходящаяся на символ первичного (кодируемого)1 алфавита, составленного из равновероятностных и взаимонезависимых символов, . (2) Основание логарифма влияет лишь на удобство вычисления. В случае оценки энтропии: а) в двоичных единицах б) в десятичных единицах где ; в) в натуральных единицах где Так как информация есть неопределенность, снимаемая при получении сообщения, то количество информации может быть представлено как произведение общего числа сообщений к на среднюю энтропию Н, приходящуюся на одно сообщение:
    (3) Для случаев равновероятностных и взаимонензависимых символов первичного алфавита количество информации в к сообщениях алфавита m равно а количество информации в сообщении, составленном из к неравновероятностных символов,
    (5) Для неравновероятностных алфавитов энтропия на символ алфавита
    (4)
    При решении задач, в которых энтропия вычисляется как сумма произведений вероятностей на их логарифм, независимо от того, являются ли они безусловными , условными или вероятностями совместных событий. Количество информации определяется исключительно характеристиками первичного алфавита, объем - характеристиками вторичного алфавита. Объем2 информации
    (6) где lср - средняя длина кодовых слов вторичного алфавита. Для равномерных кодов (все комбинации кода содержат одинаковое количество разрядов) где n - длина кода (число элементарных посылок в коде). Согласно (3), объем равен количеству информации, если lср=Н, т.е. в случае максимальной информационной нагрузки на символ сообщения. Во всех остальных случаях . Например, если кодировать в коде Бодо некоторые равновероятный алфавит, состоящий из 32 символов, то Если закодировать в коде Бодо русский 32-буквенный алфавит, то без учета корреляции между буквами количество информации т.е. если в коде существует избыточность и , то объем в битах всегда больше количества информации в тех же единицах. Тема 2. Условная энтропия и энтропия объединения Понятие условной энтропии в теории информации используется при определении взаимозависимости3 между символами кодируемого алфавита, для определения потерь при передаче информации по каналам связи, при вычислении энтропии объединения. Во всех случаях при вычислении условной энтропии в том или ином виде используются условные вероятности. Если при передаче n сообщений символ А появился m раз, символ В появился l раз, а символ А вместе с символом В - к раз, то вероятность появления символа А ; вероятность появления символа В ; вероятность совместного появления символов А и В ; условная вероятность появления символа А относительно символа В и условная вероятность появления символа В относительно символа А
    (7) Если известна условная вероятность, то можно легко определить и вероятность совместного появления символов А и В, используя выражения (7)
    (8) От классического выражения (4) формула условной энтропии отличается тем, что в ней вероятности - условные:
    (9)
    (10) где индекс i выбран для характеристики произвольного состояния источника сообщения А, индекс j выбран для характеристики произвольного состояния адресата В. Различают понятия частной и общей условной энтропии. ............