БЕЛОРУССКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ИНФОРМАТИКИ И РАДИОЭЛЕКТРОНИКИ

 

кафедра ЭТТ

РЕФЕРАТ на тему:

«Информационные характеристики систем передачи сообщений»

МИНСК, 2008

Информационные характеристики дискретных сообщений. Краткие теоретические сведения.

 

Системы передачи дискретной информации – системы, в которых реализации сообщений представляют собой последовательности символов алфавита источника. Если m – объем алфавита источника дискретных сообщений, то совокупность элементарных сообщений (символов)   - алфавит источника. Априорная вероятность появления символа  при независимость его от предыдущих – .

В общем случае априорная вероятность появления  будет условной:

, где - символы, сформированные источником до символа . Количество информации, которое несет символ, определяется формулой:.

Масштабный коэффициент  зависит от выбора единицы измерения количества информации. Если единица количества информации выбирается двоичной, то  и соответственно   (бит)  

Основные информационные свойства дискретных сообщений:

1.Свойство аддитивность:

,  

где q – количество символов  в сообщении,

а  принимает одно из значений в пределах от 1 до m.

2. Среднее количество информации, приходящейся на один символ источника сообщений, при условном характере априорной вероятности:   

3. Среднее количество информации, приходящейся на один символ источника сообщений, при зависимости вероятности появления очередного символа  только от вероятности появления предыдущего символа:

   

4. Среднее количество информации, приходящейся на один символ, при независимости символов источника сообщений:

 

является определением энтропии источника дискретных сообщений.

5. Максимальная энтропия источника имеет место при независимости и равновероятности символов сообщения ():

 

6. Коэффициент избыточности:

, 

где  и  – относительная скорость передачи информации, характеризует возможность оптимизации скорости передаваемой информации.

    Устранение избыточности позволяет сократить объем сообщения, а следовательно, повысить скорость передачи информации.

В канале с помехой передаваемая информация частично искажается.

Рис. 1

    Как показано на рис. 1, передаваемой сообщение  под влиянием помехи n(t)  на выходе канала связи преобразуется в сообщение . Если дискретный стационарный канал без памяти, то  и длительности символов  на выходе и входе канала одинаковы. Тогда скорость передачи информации как среднее количество информации, получаемое в единицу времени, определяется выражением:

,

где  – частота посылки символов, а  – среднее количество взаимной информации в множестве символов   относительно  множества символов :

  

В формуле – условная энтропия множества символов X при данном множестве Y, определяющая среднее количество потерянной информации из-за влияния помех; - условная энтропия множества символов Y при данном множестве X, определяющая шумовую энтропию;  - энтропия множества символов Y:

,

,

, 

Где   - вероятность ошибки воспроизведения символа .

 Скорость передачи информации определяется формулой:

   (бит/с)  

    Пропускная способность дискретного канала связи определяется следующим выражением:

 ,   

где 

В каналах без помех   .

Информационные характеристики непрерывных сообщений. ............