《基本信息論7熵速率和信道容量》由會(huì)員分享,可在線閱讀,更多相關(guān)《基本信息論7熵速率和信道容量(24頁(yè)珍藏版)》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
1、2.7 熵速率和信道容量 一、信源熵速率 1、離散信源的熵速率 信源熵速率 :信源在單位時(shí)間內(nèi)輸出的熵, 也稱信息速率或傳信率 ii i ( ) ( ) l o g ( )H X p x p x 離 散 信 源 的 熵 : 若信源每秒輸出 n個(gè)符號(hào),則其熵速率: ii i ( ) ( ( ) l o g ) ( /H X n H n p pX xx 比 特 秒 2、連續(xù)信源的熵速率 ( ) ( ) l og ( )H X p x p x dx 連 續(xù) 信 源 的 熵 : 若信源輸出帶寬有限,最大為 W,則采樣率至 少為 2W,則其熵速率: ( ) 2 ( ) l og ( ) /H X W p
2、 x p x dx 比 特 秒 二、信道容量的概念 1、離散信道的信道容量 信道容量 :信道對(duì)信源一切可能的概率分布而 言能夠傳送的最大熵速率。其單位為比特 /秒。 用以傳送離散消息的信道,稱為離散信道。 若離散信源有 N 個(gè)符號(hào),符號(hào)間無相關(guān)性且等 概率分布,則輸出熵最大: m a x i ii( ) ( ) l o g ( ) l o gH X p x p x N 若離散信道最多每秒傳送 n 個(gè)信源符號(hào),則最 大熵速率,也即信道容量為: m a x m a x( ) ( ) l o gC H x nH X n N m a x m a x( ) ( ) l ogC H x nH X n N
3、1)信道容量是信道可能傳送的最大熵速率,實(shí) 際傳信率可能大大低于信道容量,造成信道容量 不能充分利用。 2)信道容量 C:比特 /秒 信道單位時(shí)間內(nèi)最多可傳輸?shù)姆?hào)數(shù) n:符號(hào) /秒 3)若傳信率不能滿足要求,應(yīng)先改造信源,充分 利用現(xiàn)有信道容量。 原因:信源符號(hào)間有相關(guān)性、符號(hào)非等概率分布 解決方法:信源最佳編碼(匹配編碼) 1、連續(xù)信道的信道容量 帶寬為 W,平均功率 P 受限的連續(xù)信源,其幅 度為高斯分布時(shí),輸出熵最大: m a x ( ) l n 2 e PHX 根據(jù)采樣定理,每秒的采樣率為 2W,則信道傳 送的最大熵速率,也即信道容量為: m a x m a x( ) 2 ( ) 2
4、 l n 2 e PC H x W H X W l n 2 e PCW 若信道無噪聲,則 信源輸出的熵速率 = 信宿接收的熵速率 信道容量 = 信源的最大熵速率 三、離散有噪聲信道中的熵速率和信道容量 若信道有噪聲,則 信源輸出的熵速率 信宿接收的熵速率 信道容量 = 信宿端的最大接收熵速率 接收熵速率 信源熵: H (X) ( ; ) ( ) ( / ) ( ) ( / )I X Y H X H X Y H Y H Y X 信宿端的接收熵為平均互信息量: 有噪聲信道信宿端的接收熵速率 R: ( ; ) ( ; )R n I X Y I X Y ( ) ( / ) ( ) ( / )n H X
5、 H X Y H X H X Y ( ) ( / ) ( ) ( / )n H Y H Y X H Y H Y X ( / ) ( / )H X Y n H X Y其 中 : 為 疑 義 度 熵 速 率 ( / ) ( / )H Y X n H Y X 為 散 布 度 熵 速 率 5/6 1/6 1/2 1/2 y1=1 p(y1)=7/12 y2=0 p(y2)=5/12 p(x1)=1/4 x1=1 p(x2)=3/4 x2=0 X空間 Y空間 例 二元通信系統(tǒng),信源以平均 1000消息 /秒的速率 發(fā)送消息,計(jì)算信源熵速率和信宿端接收熵速率 ( ) 0 . 8 1 1 /HX 解 : 信
6、 源 熵 : 比 特 消 息 ( ) ( ) 1000 0 .811 811 / H X nH X 信 源 熵 速 率 : 比 特 秒 ( / ) 0 . 7 4 4 /H X Y 疑 義 度 : 比 特 消 息 ( / ) ( / ) = 744 / H X Y nH X Y疑 義 度 熵 速 率 : 比 特 秒 ( ) ( / ) = 811 744 67 / R H X H X Y 信 宿 端 接 收 熵 速 率 : 比 特 秒 ( ; ) 0 . 0 6 7 /I X Y 或 平 均 互 信 息 量 : 比 特 消 息 ( ; ) ( ; ) = 1000 0.067 67 / R I
7、 X Y nI X Y 信 宿 端 接 收 熵 速 率 : 比 特 秒 可疑度 H(X/Y)是為了克服信道中噪聲干擾、使信 宿能無差錯(cuò)地加以識(shí)別信源發(fā)出的消息而必須額 外提供的糾正信息。 四、可疑度的物理解釋 信源 發(fā)射機(jī) 接收機(jī) 校正 理想觀察者 + 信道 噪聲 正確 信息 如有錯(cuò)誤發(fā)糾錯(cuò)信息 山農(nóng)設(shè)想的理想化通信系統(tǒng) ()HX ()HX( ) ( / )H X H X Y ( / )H X Y 假設(shè):二元信源 等概率分布 p(0) = p(1) = 0.5 信道對(duì)稱,即: ( / ) ( 1 / 0) ( 0 / 1 )p p p p傳 送 錯(cuò) 誤 : 收 發(fā) ( / ) ( 0 / 0)
8、 ( 1 / 1 ) 1p p p p 傳 送 正 確 : 收 發(fā) 1 ( 1 )p 觀當(dāng) 接 受 錯(cuò) 誤 時(shí) , 發(fā) ( 糾 錯(cuò) ) , 則 11( 1 ) ( 0 ) ( 1 / 0 ) ( 1 ) ( 0 / 1 ) 22p p p p p p p p 觀 0 ( 0)p 觀 那 么 , 理 想 觀 察 者 當(dāng) 接 受 正 確 時(shí) , 發(fā) ( 不 糾 錯(cuò) ) , 則 11( 0 ) ( 0 ) ( 0 / 0 ) ( 1 ) ( 1 / 1 ) ( 1 ) ( 1 ) 22p p p p p p p 觀 1 p 則將理想觀察者看成一個(gè)離散信源, 其提供的附加熵: 1 0 ( ) l o
9、g ( ) l o g ( 1 ) l o g ( 1 ) i H p i p i p p p p 觀 ( / )H X Y 例 二元信源, p(0)=p(1)=0.5,每秒信源發(fā)出 10000 個(gè)符號(hào),信號(hào)通過有噪聲對(duì)稱信道,其差錯(cuò)率為 1%,求信宿收到的信息速率。 解:信源熵: ( ) ( 0 ) l o g ( 0 ) ( 1 ) l o g ( 1 ) 1 /H X p p p p 比 特 符 號(hào) 信源熵速率: ( ) ( ) 1 0 0 0 0 /H X n H X 比 特 秒 差錯(cuò)率為 1%,即 10000個(gè)符號(hào)錯(cuò) 100個(gè),是否信 宿端的接收熵速率為: 9900比特 /秒? (
10、/ ) ( / ) ( 1 / 0) ( 0 / 1 ) 0.0 1p y x p p p p : 收 發(fā) ( / ) ( 1 / 1 ) ( 0 / 0) 1 0.9 9p p p p 收 發(fā) ( ) ( ) ( / )p x y p x p y x 1( 0 1 ) ( 0 ) ( 1 / 0 ) 0 . 0 0 5 ( 1 0 ) 2p p p p p 1( 0 0 ) ( 0 ) ( 0 / 0 ) ( 1 ) 0 . 4 9 5 ( 1 1 ) 2p p p p p ( / ) ( ) l o g ( / ) xy H X Y p xy p x y 11 l o g ( 1 ) l
11、o g ( 1 ) 22 11 l o g ( 1 ) l o g ( 1 ) 22 p p p p p p p p l o g ( 1 ) l o g ( 1 ) 0 . 0 8 0 8 /p p p p 比 特 符 號(hào) ( 0 ) ( 1 ) 0. 5 ( / ) ( / ) pp p x y p y x 且 對(duì) 稱 信 道 , 則 接收熵速率 ( ) ( / )R n H X H X Y 1 0 0 0 0 ( 1 0 . 0 8 0 8 ) 9 1 9 2 / 比 特 秒 9 9 0 0 / 比 特 秒 或 可疑度 = 理想觀察者提供的附加熵 1 0 ( / ) ( ) lo g (
12、) lo g ( 1 ) lo g ( 1 ) i H X Y p i p i p p p p ( 0 ) 1 0 . 9 9pp 觀 ( 1 ) 0 . 0 1pp觀 0 . 0 8 0 8 / 比 特 符 號(hào) 五、離散有噪信道的信道容量 離散有噪對(duì)稱信道的信道容量 l b , , . ,11ppC n N H p NN 信 道 容 量 . 11 . 11 . 11 pp p NN pp p NN pp p NN 信 道 矩 陣 為 : 1pp其 中 : 1 ( )C n H p ( ) l o g l o gH p p p p p 其 中 : 二元離散有噪對(duì)稱信道的信道容量 pp pp 信
13、 道 矩 陣 為 : /1p p p其 中 : - 差 錯(cuò) 率 誤 碼 率 , 六、連續(xù)有噪信道的熵速率 高斯白噪聲加性波形信道 高斯白噪聲: 平均值為零 幅度分布為高斯分布 單邊功率譜均勻且其密度為 N0 自相關(guān)函數(shù)為尖銳的 函數(shù) 與其它高斯白噪聲的互相關(guān)系數(shù)為零 加性: ( ) ( ) ( )y t x t n t ( )Xt輸 入 信 號(hào) : ( )Yt輸 出 信 號(hào) : ( )nt信 道 噪 聲 : 為 加 性 高 斯 白 噪 聲 設(shè):輸入信號(hào)平均功率受限為 P 信道帶寬為寬度為 W的矩形 信道中干擾噪聲平均功率為 N 則 信源 X與噪聲 n的共熵 ( ) ( ) ( / )H X n
14、 H X H n X ( ) ( )H X H n () ( / ) ( ) n t X H n X H n 與 獨(dú) 立 ( / ) ( / ) ( / ) ( / ) p y x p n x H Y X H n X 由 于 加 性 干 擾 , 有 , 則 ( ) ( / ) ( )H Y H X Y H X Y( ) ( / )X H Y X ( ) ( / )H X H n X ()H Xn ( ) ( )H X H n ( ) ( / ) ( ) ( )H X H X Y H Y H n ( ; )I X Y ( ; ) ( ) ( / ) ( ) ( )I X Y H X H X Y
15、H Y H n 連 續(xù) 信 道 信 宿 端 接 收 的 凈 信 息 量 : ( ; ) ( ) ( / ) ( ) ( )R n I X Y H X H X Y H Y H n 接 收 熵 速 率 ( 信 道 傳 信 率 ) : = 信源熵速率 疑義度熵速率 = 信宿端總的熵速率 噪聲熵速率 七、連續(xù)有噪信道的信道容量 信道容量 C(最大熵速率) m a x m a x ( ) ( )C R H Y H n 設(shè)發(fā)送信號(hào)平均功率為 P,信道中噪聲平均功率 為 N,則接收信號(hào)平均功率為 P+N。 在平均功率受限的前提下,信宿端 Y為高斯分布 (即信源為高斯分布)時(shí), 取得最大值 : ()HY m
16、a x ( ) ln 2 ( )H Y W e P N 而噪聲熵速率: ( ) l n ( 2 )H n W e N 信道容量:(山農(nóng)公式) m ax ( ) ( ) l n 1 /PC H Y H n W N 奈 特 秒 :W 信 道 帶 寬 平均功率受限的高斯白噪聲連續(xù)信道,其信道 容量與信道帶寬、功率信噪比有關(guān)。其值越大, 信道容量越大。 l b 1 /PCW N 比 特 秒 平均功率受限的高斯白噪聲連續(xù)信道,只有在 輸入信號(hào)幅度為高斯分布時(shí),傳信率才能達(dá)到 理論最大值,即信道容量。 平均功率受限的高斯白噪聲連續(xù)信道,高斯白 噪聲的危害最大,因其具有最大噪聲熵速率。 WC P CN m ax ( ) ( ) m ax ( ) H n C H Y H n 山農(nóng)公式指出了理論上可以達(dá)到的信道容量與 實(shí)際工程技術(shù)參數(shù)(帶寬 W、功率信噪比 P/N) 之間的關(guān)系,指出了帶寬和信噪比之間可以互 換,為實(shí)際有用的擴(kuò)頻通信打下了理論基礎(chǔ)。