Исправление ошибки

Количество избыточной информации, необходимое для исправления ошибки, находят при условии равновероятного перехода одного сообщения в любое другое. Каждое сообщение из множества X₀может при проходе по обобщенному каналу связи трансформироваться с равной вероятностью в любое из (М-1) сообщений.

Энтропия попадания любого из (М-1) сообщения в одну из точек множества (М-1) составит: H_n=log₂(M-1)

Так как такое попадание возможно с вероятностью ошибки Р₀, то энтропия составит: H_n=P₀log2(M-1).Это оценка избыточной информации для исправления ошибки.

Таким образом, мы можем определить количество избыточной информации, необходимой для компенсации потерь:

=-P₀log₂P₀-(1-P₀)log₂(1-P₀)+P₀log₂(M-1) (14)

Полученное выражение задает нижний уровень избыточности. Избыточность может быть реализована за счет рационального кода при согласовании источника и потребителя информации. Потери информации при обмене сообщениями, выраженные энтропией, дают оценку качества реализации информационного процесса в системе.

Приведенное описание процессов преобразования сигналов и выделения и устранения помех поможет более глубоко изучить информационный процесс передачи информации в рамках информационной технологии.