УДК 621.391.2 (075)

В.В. Котенко, К.Е. Румянцев, С.В. Поликарпов

ТЕОРЕМА КОДИРОВАНИЯ ДЛЯ НЕПРЕРЫВНЫХ ИСТОЧНИКОВ С ПОЗИЦИИ ОТНОСИТЕЛЬНОЙ ИЗБЫТОЧНОСТИ.

     Проблема неопределенности понятия избыточности для непрерывных источников заключается в том, что известная формула, определяющая избыточность дискретных источников:

(1)

в данном случае теряет физический смысл. Это объясняется тем, что абсолютные значения энтропий непрерывных источников с позиций теории информации являются бесконечными величинами. Попытка решения данной проблемы путем введения понятия дифференциальной (относительной) энтропии и определения избыточности как

(2)

на первый взгляд устранили эту неопределенность. На самом деле, если рассматривать

то разность (1) приведет к вполне определенной величине (2). Однако, в данном случае выявляется другая, не менее существенная проблема: как определить для непрерывных источников? Эта проблема еще ждет своего окончательного решения. Пока наиболее продуктивным направлением этого решения считается отождествление с энтропией источника гаусовского белого шума, энтропийная мощность которого равна энтропийной мощности источника. К сожалению и это направление связано с рядом трудностей, не позволяющих получить окончательное решение. Кроме этого, дополнительную неопределенность в выражение (2) вносит тот факт, что дифференциальная энтропия может принимать отрицательные значения. Вполне понятно, что аналогичные трудности будет сопровождать и попытка определения избыточности кодирования для непрерывных источников. Неопределенность абсолютной энтропии H[S] данных источников приводит к невозможности использования в этих целях известной формулы для дискретных источников:

(3)

    При этом, переход к дифференциальной энтропии в (5.40), то есть

(4)

не позволяет с достаточной долей уверенности говорить об идентичности R(f,S) и R`(f,S) как это было при переходе от (1) к (2) для B[S]. Стоимость кодирования С(f,S) в (4) по определению