Найти потери информации в канале связи с помехами, если задана матрица



символы появляются равновероятно.

Решение

р(а1)=р(а2)=р(а3)= р(а4)=0,25                
р(в1)=р(в2)=р(в3)= р(в4)=0,25

 

Энтропия источника информации:



Энтропия приёмника информации:





Взаимная энтропия:





Потери информации в канале связи с помехами со стороны источника информации:
H(B/А)=H(A,B)- H(А)

Потери информации в канале связи с помехами со стороны приёмника информации:
H(A/B)=H(A,B)- H(B)
Н(В/А)=Н(А/В)=2,23 – 2 =0,23 (бит/симв)