Количество избыточной информации, необходимое для исправления ошибки, находят при условии равновероятного перехода одного сообщения в любое другое. Каждое сообщение из множества X0может при проходе по обобщенному каналу связи трансформироваться с равной вероятностью в любое из (М-1) сообщений.
Энтропия попадания любого из (М-1) сообщения в одну из точек множества (М-1) составит: Hn=log2(M-1)
Так как такое попадание возможно с вероятностью ошибки Р0, то энтропия составит: Hn=P0log2(M-1).Это оценка избыточной информации для исправления ошибки.
Таким образом, мы можем определить количество избыточной информации, необходимой для компенсации потерь:
=-P0log2P0-(1-P0)log2(1-P0)+P0log2(M-1) (14)
Полученное выражение задает нижний уровень избыточности. Избыточность может быть реализована за счет рационального кода при согласовании источника и потребителя информации. Потери информации при обмене сообщениями, выраженные энтропией, дают оценку качества реализации информационного процесса в системе.
Приведенное описание процессов преобразования сигналов и выделения и устранения помех поможет более глубоко изучить информационный процесс передачи информации в рамках информационной технологии.