(5)

является конечной величиной, что ставит под сомнение предположение о возможной компенсации при переходе от (3) к (4). Вполне логичным выходом из данной ситуации представляется выбор выражения (4) для R`(S) в качестве основы при определении избыточности кодирования. Дифференциальная энтропия h[S] в данном случае является конечной величиной и остается только найти физическое обоснование величины R`(S). Однако, именно здесь возникает ряд проблем, делающих весьма туманной перспективу такого обоснования. Прежде всего, дифференциальная энтропия h[S], в отличие от энтропии дискретных источников, может принимать отрицательные значения. Таким образом, выражение (4) изначально предполагает исход, когда R`(S) может стать отрицательной величиной, а это уже требует не только физического, но и философского объяснения. Если даже это объяснение будет найдено, что весьма сомнительно, останется еще одна проблема. Как уже отмечалось, особенностью цифрового представления непрерывных источников является обязательная нестационарность результатов представления. Следствием этого вполне оправдано ожидать изменение во времени величины R`(S), что ставит под сомнение саму целесообразность её применения в качестве характеристики процесса кодирования непрерывных источников. Обобщив выше изложенное, можно прийти к довольно неутешительному выводу о том, что существующий подход к оценке эффективности кодирования дискретных источников сталкивается пока с непреодолимыми трудностями при попытках его применения к решению аналогичных задач для непрерывных источников. По-видимому, именно этот вывод, в той или иной мере, определяет тот значительный научный интерес который проявляется последнее время к поиску новых нетрадиционных подходов к определению избыточности кодирования непрерывных источников. Далее рассматривается один из таких подходов.
     Основу предлагаемого подхода составляет представление непрерывного источника в виде некоторого виртуального дискретного источника. Правомерность такого представления обуславливает вариант стратегии кодирования, где формирование виртуального дискретного источника рассматривается в качестве одного из этапов кодирования. Энтропия H[X] такого источника может быть определена из выражения:

I[S;X] = h[S] - h[S/X] = H[X] - H[X/S] (5)

где I[S;X]- среднее количество информации о сообщениях s(t) составляющих ансамбль S, в кодовых последовательностях ансамбля X; H[X] – энтропия дискретного ансамбля X; H[X/S] – средняя неопределенность при известном s(t)
    Условная энтропия H[X/S] однозначно характеризуется средней неопределенностью принятия решения об области квантования при известном s(t). Исходя из этого, при детерминированной операции квантования и отсутствии искажений на входе квантователя, что характерно для большинства задач кодирования непрерывных источников, данная энтропия будет равна нулю (H[X/S]=0) и выражение (5) примет вид:

I[S;X] = h[S] - h[S/X] = H[X] (6)