《信息論與編碼》第3章信道容量.ppt

《《信息論與編碼》第3章信道容量.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《《信息論與編碼》第3章信道容量.ppt（78頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、第三章信道容量,趙永斌 石家莊鐵道大學(xué)信息科學(xué)與技術(shù)學(xué)院 2020年8月30日,信道及其容量,3.1 信道容量的數(shù)學(xué)模型和分類(lèi) 3.2 單符號(hào)離散信源 3.3 多符號(hào)離散信源 3.4 連續(xù)信道 3.5 信道編碼定理,回顧,信道是傳輸信息的媒質(zhì)或通道。（輸入信道輸出） 說(shuō)明 （1）信道輸入是隨機(jī)過(guò)程。 （2）信道響應(yīng)特性是條件概率P(輸出值為y|輸入值為x)，又稱(chēng)為轉(zhuǎn)移概率。 （3）信道輸出是隨機(jī)過(guò)程，輸出的概率分布可以由輸入的概率分布和信道的響應(yīng)特性得到。（全概率公式） （4）根據(jù)信道輸入、信道響應(yīng)特性、信道輸出的情況，可將信道分類(lèi)：離散信道（又稱(chēng)為數(shù)字信道）；連續(xù)信道（又稱(chēng)為模擬信道）；特殊

2、的連續(xù)信道波形信道；恒參信道和隨參信道；無(wú)記憶信道和有記憶信道等,回顧,“離散”的含義是時(shí)間離散，事件離散。即：信道的輸入、輸出時(shí)刻是離散的，且輸入隨機(jī)變量和輸出隨機(jī)變量都是離散型的隨機(jī)變量。 “無(wú)記憶”的含義是信道響應(yīng)沒(méi)有時(shí)間延遲，當(dāng)時(shí)的輸出只依賴于當(dāng)時(shí)的輸入。 “平穩(wěn)”的含義是信道在不同時(shí)刻的響應(yīng)特性是相同的。,無(wú)干擾信道,有干擾信道,3.1 信道容量的數(shù)學(xué)模型和分類(lèi),有記憶信道,無(wú)記憶信道,單符號(hào) 信道,多符號(hào) 信道,單用戶信道,多用戶信道,,連續(xù)信道,,半離散信道,6,2020/8/30,信道分類(lèi),定義:如果 （1）信道的輸入為隨機(jī)變量序列X1, X2, X3, ，其中每個(gè)隨機(jī)變量Xu

3、的事件集合都是0, 1, , K-1， （2）信道的輸出為隨機(jī)變量序列Y1, Y2, Y3, ，其中每個(gè)隨機(jī)變量Yu的事件集合都是0, 1, , J-1， 則稱(chēng)該信道為離散信道。,7,2020/8/30,信道分類(lèi),如果更有 （3）P((Y1Y2YN)=(y1y2yN)|(X1X2XN)=(x1x2xN)) =P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)P(YN=yN|XN=xN)， 則稱(chēng)該信道為離散無(wú)記憶信道（DMC）。 如果更有 （4）對(duì)任意x0, 1, , K-1，y0, 1, , J-1，任意兩個(gè)時(shí)刻u和v，還有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)， 則稱(chēng)該信道

4、為離散無(wú)記憶平穩(wěn)信道或恒參信道。,信道容量的數(shù)學(xué)模型,信道容量的數(shù)學(xué)模型,信道的數(shù)學(xué)模型：,X P(Y/X) Y,信道在某一時(shí)刻u的響應(yīng)特性P(Yu=y|Xu=x)； x0, 1, , K-1，y0, 1, , J-1，,信道容量的數(shù)學(xué)模型,二元對(duì)稱(chēng)信道BSC 當(dāng)N1時(shí) p(0/0)=p(1/1)=0.9,p(1/0)=p(0/1)=0.1 當(dāng)N=2時(shí)， p(00/00)=p(11/11)= p(0/0) p(0/0)= 0.9*0.9=0.81 P(10/00)=p(01/00)=p(01/11)=p(10/11)=0.1*0.9 =0.09 P(11/00)=p(00/11)=0.1*0

5、.1=0.01,11,2020/8/30,信道容量的數(shù)學(xué)模型,（1）轉(zhuǎn)移概率矩陣的每一行都是一個(gè)概率向量。,,,12,信道容量的數(shù)學(xué)模型,（2）對(duì)任意y0, 1, , J-1，由全概率公式有,,3.2 單符號(hào)離散信道的信道容量,1 信道容量的定義 2 幾種特殊離散信道的容量 3 離散信道容量的一般計(jì)算方法,信道容量的定義,I(X; Y)是概率向量q(x), x0, 1, , K-1和轉(zhuǎn)移概率矩陣p(y|x)，x0, 1, , K-1，y0, 1, , J-1的函數(shù)。,信道容量的定義,設(shè)轉(zhuǎn)移概率矩陣p(y|x)，x0, 1, , K-1，y0, 1, , J-1（是信道的響應(yīng)特性）確定，希望選擇

6、概率向量q(x), x0, 1, , K-1使I(X; Y) 達(dá)到最大。,信道容量,,,,信道單位時(shí)間傳輸?shù)淖畲笮畔⒘?定義離散無(wú)記憶信道的信道容量定義為如下的C。達(dá)到信道容量的輸入概率分布x, p(x), x0, 1, , K-1稱(chēng)為最佳輸入分布。 其中,信道容量表示了信道傳送信息的最大能力，這個(gè)量在信息論研究中有重要意義。傳送的信息量必須小于信道容量C,信道容量的定義,3.2.2 幾種特殊離散信道的容量,定義：DMC的轉(zhuǎn)移概率矩陣為 若P的任一行是第一行的置換，則稱(chēng)信道是關(guān)于輸入為對(duì)稱(chēng)的。 若P的任一列是第一列的置換，則稱(chēng)信道是關(guān)于輸出為對(duì)稱(chēng)的。 若信道是關(guān)于輸入為對(duì)稱(chēng)的，又是關(guān)于輸出為

7、對(duì)稱(chēng)的，則稱(chēng)信道為對(duì)稱(chēng)信道。,3.2.2 幾種特殊離散信道的容量,一、離散無(wú)噪信道 1、一一對(duì)應(yīng)的無(wú)噪信道,X、Y一一對(duì)應(yīng) Cmax I(X;Y)log n,p(ai),2、具有擴(kuò)展功能的無(wú)噪信道,一個(gè)輸入對(duì)應(yīng)多個(gè)輸出,3、具有歸并性的無(wú)噪信道,H(X/Y) 0，H(Y/X) = 0,多個(gè)輸入變成一個(gè)輸出,二、強(qiáng)對(duì)稱(chēng)(均勻)離散信道的信道容量,p：總體錯(cuò)誤概率,n n,相應(yīng)的,二進(jìn)制均勻信道容量 C1H(p), 其中 H(p)=-((1-p)log(1-p)+plogp),二進(jìn)制均勻信道容量曲線,三、對(duì)稱(chēng)離散信道的信道容量,矩陣中的每行都 是集合P = p1, p2, , pn中的諸元素的不同

8、排列，稱(chēng)矩陣的行是可排列的。,矩陣中的每列都是集合Q = q1, q2, ,qm中的諸元素的不同排列，稱(chēng)矩陣的列是可排列的。,如果矩陣的行和列都是可排列的， 稱(chēng)矩陣是可排列的。 如果一個(gè)信道矩陣具有可排列性， 則它所表示的信道稱(chēng)為,對(duì)稱(chēng)信道中，當(dāng)nm，Q是P的子集；當(dāng)n=m時(shí)，P=Q。,對(duì)稱(chēng)信道,練習(xí)：判斷下列矩陣表示的信道是否是對(duì)稱(chēng)信道,,,,,,,相應(yīng)的,,對(duì)稱(chēng)離散信道的信道容量,信道的轉(zhuǎn)移概率矩陣為:,,例,強(qiáng)對(duì)稱(chēng)信道與對(duì)稱(chēng)信道比較：,四、準(zhǔn)對(duì)稱(chēng)信道離散信道的信道容量,若信道矩陣的行是可排列的，但列不可排列，如果把列分成若干個(gè)不相交的子集，且由n行和各子集的諸列構(gòu)成的各個(gè)子矩陣都是可排列

9、的，則稱(chēng)相應(yīng)的信道為準(zhǔn)對(duì)稱(chēng)信道。例如下面的矩陣：,假設(shè)此時(shí)將矩陣的列分為S個(gè)子集，每個(gè)子集的元素個(gè)數(shù)分別是m1，m2，，ms。,準(zhǔn)對(duì)稱(chēng)信道離散信道的信道容量,準(zhǔn)對(duì)稱(chēng)信道離散信道的信道容量,3.2.3 離散信道容量的一般計(jì)算方法,對(duì)一般離散信道而言，求信道容量，就是在固定信道的條件下，對(duì)所有可能的輸入概率分布p(xi)，求平均互信息的極大值。采用拉各朗日乘子法來(lái)計(jì)算。,原因？,,(1),兩邊乘p(ai)，并求和，則有：,,(2),,將（2）代入（1），則有：,（3）,（4）,則（3）變?yōu)椋?（5）,（6）,（7）,離散信道容量的一般計(jì)算方法,總結(jié)C的求法，過(guò)程如下： 1.求j 2.求C 3.求p

10、(bj) 4.求p(ai),例：信道矩陣如下，求C。,,1,2,3,,4,,結(jié)果,3.3 多符號(hào)離散信道,3.3.1 多符號(hào)離散信道的數(shù)學(xué)模型 3.3.2 離散無(wú)記憶信道的N次擴(kuò)展信道和獨(dú)立并聯(lián)信道的信道容量,多符號(hào)離散信道,多符號(hào)信源通過(guò)離散信道傳輸形成多符號(hào)離散信道。,3.3.1 多符號(hào)離散信道的數(shù)學(xué)模型,3.3.1 多符號(hào)離散信道的數(shù)學(xué)模型,,輸入,輸出,,3.3.2 離散無(wú)記憶信道的N次擴(kuò)展信道 獨(dú)立并聯(lián)信道的信道容量,無(wú)記憶：YK僅與XK有關(guān),,,,,,,,,,,(a),,r,r,65,2020/8/30,(積信道),定義信道的輸入事件為全體(x, u)，共有KN個(gè)輸入事件； 信

11、道的輸出事件為全體(y, v)，共有JM個(gè)輸出事件； 轉(zhuǎn)移概率矩陣為 p((y, v)|(x, u))(KN)(JM)， 其中p((y, v)|(x, u))= p1(y|x)p2(v|u)。 則稱(chēng)該信道為信道1與信道2的積信道。（又稱(chēng)該信道為信道1與信道2的獨(dú)立并行信道） （在物理上，積信道是兩個(gè)信道的并行使用）,66,2020/8/30,積信道,積信道的信道容量為 C=C1+C2， 最佳輸入分布為 (x, u), q(x, u)，其中q(x, u)=q1(x)q2(u)。,,,,和信道,定義信道的輸入事件為全體xu，其中x與u不相交；共有K+N個(gè)輸入事件； 信道的輸出事件為全體yv，其中y

12、與v不相交；共有J+M個(gè)輸出事件； 信道的轉(zhuǎn)移概率矩陣為,和信道,則稱(chēng)該信道為信道1與信道2的和信道（或稱(chēng)并信道）。任一單位時(shí)間可隨機(jī)地選用一個(gè)信道，而不能同時(shí)選用兩個(gè)信道 。若選用信道1的概率為P1，選用信道2的概率為P2，則P1+ P2=1。,和信道容量,3.4 連續(xù)信道,連續(xù)信道的數(shù)學(xué)模型,加性連續(xù)信道,,可加噪聲信道：設(shè)平穩(wěn)的（恒參的）時(shí)間離散的無(wú)記憶連續(xù)信道為：輸入隨機(jī)變量為X；噪聲隨機(jī)變量為N；X與N相互獨(dú)立；輸出隨機(jī)變量為Y=X+N。則稱(chēng)該信道為可加噪聲信道。,利用坐標(biāo)變換原理,可證p(y/x)=p(n) X, N相互獨(dú)立。,,,噪聲功率,輸入平均功率,輸出平均功率,對(duì)于高斯加性信道,,,信噪功率比,,香農(nóng)公式,,,(bit/s),3.5 信道編碼定理,若一離散平穩(wěn)無(wú)記憶信道，其容量為C，輸入序列長(zhǎng)度為L(zhǎng)，只要待傳送的信息率R