Энтропийное кодирование

Энтропийное ирование — ирование последовательности значений с возможностью однозначного восстановления с целью уменьшения объёма данных (длины последовательности) с помощью усреднения вероятностей появления элементов в заированной последовательности.

Предполагается, что до ирования отдельные элементы последовательности имеют различную вероятность появления. После ирования в результирующей последовательности вероятности появления отдельных символов практически одинаковы (энтропия на символ максимальна).

Различают несколько вариантов ов:

  • Сопоставление каждому элементу исходной последовательности различного числа элементов результирующей последовательности. Чем больше вероятность появления исходного элемента, тем короче соответствующая результирующая последовательность. Примером могут служить Шеннона — Фано, Хаффмана,
  • Сопоставление нескольким элементам исходной последовательности фиксированного числа элементов конечной последовательности. Примером является Танстола.
  • Другие структурные ы, основанные на операциях с последовательностью символов. Примером является ирование длин серий.
  • Если приблизительные характеристики энтропии потока данных предварительно известны, может быть полезен более простой статический , такой как унарное ирование, гамма- Элиаса, Фибоначчи, Голомба или ирование Райса.

Согласно теореме Шеннона, существует предел сжатия без потерь, зависящий от энтропии источника. Чем более предсказуемы получаемые данные, тем лучше их можно сжать. Случайная независимая равновероятная последовательность сжатию без потерь не поддаётся.



См. также[ | ]

Литература[ | ]