《信道模型信道容量》PPT課件.ppt

《《信道模型信道容量》PPT課件.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《《信道模型信道容量》PPT課件.ppt（88頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1,第3章信道容量,3.1信道的數(shù)學(xué)模型和分類3.2單符號(hào)離散信道的信道容量3.2.1信道容量的定義3.2.2幾種特殊離散信道的信道容量3.2.3離散信道容量的一般計(jì)算方法3.3多符號(hào)離散信道3.4多用戶信道3.5連續(xù)信道3.6信道編碼定理,2,3.1信道的數(shù)學(xué)模型和分類,信道是信息傳輸?shù)拿浇榛蛲ǖ馈Ｐ诺揽梢钥闯墒且粋€(gè)變換器，它將輸入事件X變換成輸出事件Y。X與Y之間是統(tǒng)計(jì)依賴關(guān)系。信道的數(shù)學(xué)模型：{XP(y/x)Y},3,信道的基本概念,信道的任務(wù)：以信號(hào)的方式傳輸信息和存儲(chǔ)信息信道中存在隨機(jī)噪聲輸入信號(hào)與輸出信號(hào)之間一般都不是確定的函數(shù)關(guān)系，而是統(tǒng)計(jì)依賴的關(guān)系研究信道的目的：信道能夠傳輸或存儲(chǔ)的最大信息量，即信道容量,4,信道的分類１－按時(shí)間特性,根據(jù)輸入輸出事件的時(shí)間特性和集合的特點(diǎn)：離散信道：輸入離散，輸出離散連續(xù)信道：輸入連續(xù)，輸出連續(xù)半連續(xù)信道：輸入和輸出一個(gè)離散一個(gè)連續(xù)時(shí)間離散的連續(xù)信道：輸入和輸出分別為有限個(gè)或可數(shù)無(wú)限個(gè)取自連續(xù)集的序列,5,信道的分類２－按輸入輸出個(gè)數(shù),根據(jù)信道的輸入和輸出個(gè)數(shù)：兩端信道（兩用戶信道）：輸入和輸出均只有一個(gè)事件集；多端信道（多用戶信道）：輸入和輸出中至少有一個(gè)具有兩個(gè)或兩個(gè)以上的事件集。,6,信道的分類３－按信道接入,根據(jù)信道接入的不同：多元接入信道：多個(gè)不同信源的信息經(jīng)編碼后送入統(tǒng)一信道傳輸，接收端譯碼后再送給不同的信宿。如在衛(wèi)星通信系統(tǒng)中的應(yīng)用。廣播信道：?jiǎn)我惠斎耄鄠€(gè)輸出。,7,信道的分類４－按統(tǒng)計(jì)特性,根據(jù)信道的統(tǒng)計(jì)特性：恒參信道：統(tǒng)計(jì)特性不隨時(shí)間變化；隨參信道：統(tǒng)計(jì)特性隨時(shí)間變化。,8,信道的分類５－按記憶特性,根據(jù)信道的記憶特性無(wú)記憶信道：信道輸出僅與當(dāng)前的輸入有關(guān)；有記憶信道：信道輸出不僅與當(dāng)前輸入有關(guān)，還與過(guò)去的輸入有關(guān)。,9,離散信道的數(shù)學(xué)模型,,,10,離散信道的數(shù)學(xué)模型,11,離散無(wú)記憶信道,定義：離散無(wú)記憶信道若離散信道對(duì)任意N長(zhǎng)的輸入、輸出序列，有稱它為離散無(wú)記憶信道，簡(jiǎn)記為DMC。其數(shù)學(xué)模型為對(duì)于DMC，在任何時(shí)刻信道的輸出只與此時(shí)的信道輸入有關(guān)，而與以前的輸入無(wú)關(guān)。,12,離散無(wú)記憶平穩(wěn)信道,13,無(wú)擾（無(wú)噪）信道,根據(jù)信道的統(tǒng)計(jì)特性不同可分為無(wú)擾（無(wú)噪）信道有干擾無(wú)記憶信道有干擾有記憶信道,14,有干擾無(wú)/有記憶信道,有干擾無(wú)記憶信道：信道中存在隨機(jī)干擾，輸出符號(hào)與輸入符號(hào)之間無(wú)確定的對(duì)應(yīng)關(guān)系。但是，信道中任一時(shí)刻的輸出符號(hào)僅統(tǒng)計(jì)依賴于對(duì)應(yīng)時(shí)刻的輸入符號(hào)?？捎孟率鰲l件概率表示：有干擾有記憶信道：實(shí)際信道往往是既有干擾又有記憶的。（兩種處理方式）,15,單符號(hào)離散信道,16,單符號(hào)離散信道,17,信道矩陣,信道傳遞概率實(shí)際上是一個(gè)傳遞概率矩陣，稱為信道矩陣P。,18,給定一個(gè)離散信道如下圖所示。輸入符號(hào)集和輸出符號(hào)集分別為X={0,1}和Y={0,1}，傳遞概率為二元對(duì)稱信道簡(jiǎn)記為BSC。其信道矩陣為1-p表示單個(gè)符號(hào)無(wú)錯(cuò)誤傳輸?shù)母怕剩籶表示單個(gè)符號(hào)傳輸中發(fā)生錯(cuò)誤的概率。,二元對(duì)稱信道-例題,19,二元?jiǎng)h除信道-例題,對(duì)于二元?jiǎng)h除信道，n=2,m=3。輸入集X取值于X={0,1}，輸出集取值于Y={0，2，1}。其傳遞概率、信道矩陣如下圖所示：其中：p和q表示單個(gè)符號(hào)無(wú)錯(cuò)誤傳輸?shù)母怕剩?-p和1-q表示單個(gè)符號(hào)傳輸中發(fā)生錯(cuò)誤的概率。,20,二元對(duì)稱消失信道-例題,二元對(duì)稱消失信道中，n=2，m=3。輸入集X的取值為X={0,1}，輸出集Y的取值為Y={0,x,1}。輸出集中多了一個(gè)符號(hào)x，使得在一定概率下，輸入X的輸出為“0”還是為“1”不可確定，這就使一定概率的X在輸出端“消失”了。二元對(duì)稱消失信道的傳遞概率和信道矩陣如下所示：,21,離散信道中的一般概率關(guān)系,先驗(yàn)概率聯(lián)合概率前向概率后向概率輸出符號(hào)概率,22,離散信道中的一般概率關(guān)系,,,聯(lián)合概率輸出符號(hào)概率：后向概率,,,,,,,,,,,,,,,,,,,,,,,,,,,,,23,平均互信息,定義：原始信源熵與信道疑義度之差稱為平均互信息,24,平均互信息,25,例1二元?jiǎng)h除信道,傳遞概率及信道矩陣分別為輸入集X的概率分布為PX=[1/4,3/4]則輸出集Y的分布為,26,例1計(jì)算信源熵,27,例1計(jì)算信道疑義度,28,例3.2.1-分析,29,例2計(jì)算并分析平均互信息,擲骰子，如果結(jié)果是1，2，3或4，則拋一次硬幣；如果結(jié)果是5或者6，則拋兩次硬幣。試計(jì)算從拋硬幣的結(jié)果可以得到多少擲骰子的信息量?？梢杂靡粋€(gè)無(wú)記憶信道來(lái)描述，設(shè)擲骰子結(jié)果是1，2，3或4的事件X＝0，結(jié)果是5，6為事件X＝1。輸出符號(hào)集Y＝0表示拋幣出現(xiàn)0次正面，Y=1表示出現(xiàn)1次正面，Y=2表示2次正面。,30,例2計(jì)算H(Y),H(Y/X),I(X;Y),31,例2計(jì)算H(X),H(X/Y),H(X,Y),32,例3分析二元對(duì)稱信道,考慮二元信道,33,例3信道的互信息量,34,例3二元對(duì)稱信道的平均互信息,由條件概率的關(guān)系式可知,35,例3固定二元對(duì)稱信道的平均互信息,二元對(duì)稱信道的平均互信息為：定理：當(dāng)信道固定，即p為一個(gè)固定常數(shù)時(shí)，可得出I(X;Y)是信源分布w的上凸函數(shù)，如下圖所示（固定二元對(duì)稱信道的平均互信息）,36,例3固定二元對(duì)稱信道的平均互信息,圖示曲線表明，對(duì)于固定的信道，輸入符號(hào)集X的概率分布不同時(shí)，在接收端平均每個(gè)符號(hào)所獲得的信息量就不同。當(dāng)輸入符號(hào)為等概率分布時(shí)，即平均互信息量I(X;Y)為最大值，這時(shí)，接收每個(gè)符號(hào)所獲得的信息量最大。該定理是研究信道容量的基礎(chǔ)。,37,例3固定信源分布時(shí)的平均互信息,二元對(duì)稱信道的平均互信息為定理：當(dāng)固定信源的概率分布w時(shí)，則平均互信息I(X;Y)是信道特性p的下凸函數(shù)，如下圖所示：,,38,例3固定信源分布時(shí)的平均互信息,從上圖可知，當(dāng)二元信源固定后，改變信道特性p可獲得不同的平均互信息I(X;Y)。當(dāng)p=1/2時(shí)，I(X;Y)=0，即在信道輸出端獲得的信息最小，這意味著信源的信息全部損失在信道中，這是一種最差的信道，其噪聲最大。該定理是信息率失真論的基礎(chǔ)。,39,第3章信道容量,3.1信道的數(shù)學(xué)模型和分類3.2單符號(hào)離散信道的信道容量3.2.1信道容量的定義3.2.2幾種特殊離散信道的信道容量3.2.3離散信道容量的一般計(jì)算方法3.3多符號(hào)離散信道3.4多用戶信道3.5連續(xù)信道3.6信道編碼定理,40,信道容量的定義,定義：信道容量為平均互信息的最大值其單位是比特/符號(hào)或奈特/符號(hào)。平均互信息I(X;Y)是輸入變量X概率分布p(x)的上凸函數(shù)。對(duì)于一個(gè)固定的信道，總存在一種信源概率分布，使傳輸每一個(gè)符號(hào)平均獲得的信息量，即平均互信息I(X;Y)最大，而相應(yīng)的概率分布p(x)稱為最佳輸入分布。,41,信道容量的概念,信道容量C僅與信道的統(tǒng)計(jì)特性有關(guān)，與信源分布無(wú)關(guān)。I(X;Y)的值是由信道傳遞概率決定的。信道傳遞概率矩陣描述了信道的統(tǒng)計(jì)特性平均互信息I(X;Y)在數(shù)值計(jì)算上表現(xiàn)為輸入分布p(x)的上凸函數(shù)，所以存在一個(gè)使某一特定信道的信息量達(dá)到極大值信道容量C的信源。信道容量表征信道傳送信息的最大能力。實(shí)際中信道傳送的信息量必須小于信道容量，否則在傳送過(guò)程中將會(huì)出現(xiàn)錯(cuò)誤。,42,信息傳輸率R與信息傳輸速率Rt,R定義為：信道中平均每個(gè)符號(hào)所能傳送的信息量。單位為：比特/符號(hào)。平均互信息I(X;Y)是接收到符號(hào)Y后平均每個(gè)符號(hào)獲得的關(guān)于X的信息量。信道的信息傳輸率就是平均互信息R=I(X;Y)如果平均傳輸一個(gè)符號(hào)為t秒，則信道每秒平均傳輸?shù)男畔⒘縍t（單位：比特/秒），一般稱為信息傳輸速率：,43,信道容量與信息傳輸速率,信道容量C實(shí)際上是某一個(gè)固定信道的最大的信息傳輸速率。如果平均傳輸一個(gè)符號(hào)需要t秒鐘，則信道在單位時(shí)間內(nèi)平均傳輸?shù)淖畲笮畔⒘緾t（單位：比特/秒）為：,44,第3章信道容量,3.1信道的數(shù)學(xué)模型和分類3.2單符號(hào)離散信道的信道容量3.2.1信道容量的定義3.2.2幾種特殊離散信道的信道容量3.2.3離散信道容量的一般計(jì)算方法3.3多符號(hào)離散信道3.4多用戶信道3.5連續(xù)信道3.6信道編碼定理,45,幾種特殊離散信道的信道容量,離散無(wú)噪信道的信道容量強(qiáng)對(duì)稱離散信道的信道容量對(duì)稱離散信道的信道容量準(zhǔn)對(duì)稱離散信道的信道容量,46,離散無(wú)噪信道,離散無(wú)噪信道的輸出Y與輸入X之間有著確定的關(guān)系，一般有以下三類：無(wú)損信道無(wú)噪（確定）信道無(wú)噪無(wú)損信道,47,損失熵H(X/Y)與噪聲熵H(Y/X),48,無(wú)損信道,無(wú)損信道的一個(gè)輸入對(duì)應(yīng)多個(gè)互不相交的輸出。如右圖所示,1/10,49,無(wú)損信道的信道容量,50,無(wú)噪信道,無(wú)噪信道的一個(gè)輸出對(duì)應(yīng)著多個(gè)互不相交的輸入，如右圖所示。,51,無(wú)噪信道的信道容量,52,,無(wú)損無(wú)噪信道,無(wú)損無(wú)噪信道的輸入和輸出是一一對(duì)應(yīng)關(guān)系，如右圖所示。,53,無(wú)損無(wú)噪信道,54,幾種特殊離散信道的信道容量,離散無(wú)噪信道的信道容量對(duì)稱離散信道的信道容量準(zhǔn)對(duì)稱離散信道的信道容量強(qiáng)對(duì)稱離散信道的信道容量,55,離散對(duì)稱信道,信道矩陣具有很強(qiáng)對(duì)稱性的特殊信道離散輸入對(duì)稱信道離散輸出對(duì)稱信道對(duì)稱信道,56,離散輸入對(duì)稱信道,定義：若一個(gè)離散無(wú)記憶信道的信道矩陣中，每一行都是其它行的同一組元素的不同排列，則稱此類信道為離散輸入對(duì)稱信道。矩陣的行是排列的。,57,離散輸出對(duì)稱信道,定義：若一個(gè)離散無(wú)記憶信道的信道矩陣中，每一列都是其他列的同一組元素的不同排列，則稱該類信道為離散輸出對(duì)稱信道。矩陣的列是排列的。,58,離散準(zhǔn)對(duì)稱信道、對(duì)稱信道,定義：若一個(gè)離散無(wú)記憶信道的信道矩陣中，按照信道的輸出集Y(即信道矩陣的行)可以將信道劃分成s個(gè)子集(子矩陣)，每個(gè)子矩陣中的每一行(列)都是其它行(列)的同一組元素的不同排列，則稱這類信道為離散準(zhǔn)對(duì)稱信道。矩陣的行是可排列的，列不可排列。子矩陣具有可排列性。當(dāng)劃分的子集只有一個(gè)時(shí)，信道是關(guān)于輸入和輸出對(duì)稱的，這類信道稱為對(duì)稱信道。矩陣具有可排列性：矩陣的行和列都是可排列的。,59,離散（準(zhǔn)）對(duì)稱信道—舉例,60,,定理,定理：若一個(gè)離散對(duì)稱信道具有n個(gè)輸入符號(hào)，m個(gè)輸出符號(hào)，則當(dāng)輸入為等概分布時(shí)，達(dá)到信道容量，且引理：對(duì)于對(duì)稱信道，只有當(dāng)信道輸入分布為等概分布時(shí)，輸出分布才能為等概分布。,61,定理證明,62,定理證明（續(xù)）,這表明達(dá)到信道容量C的概率分布是使輸出為等概分布的信道輸入分布。故求離散對(duì)稱信道的信道容量，實(shí)質(zhì)上是求一種輸入分布p(x)，它使輸出熵H(Y)達(dá)最大。,63,定理證明（續(xù)）,,,,,,,,,,,,,,,,,,,,,,,,信道輸入分布為等概分布時(shí)，輸出分布才能為等概分布,,,,,,,,,,,,,,,,,,,,,64,例,,,65,,定理(準(zhǔn)對(duì)稱信道),如果一個(gè)n行m列單符號(hào)離散信道矩陣[P]的行是可排列的，列不可排列。矩陣中的m列可分成s個(gè)不相交的子集分別有m1,m2,...,ms個(gè)元素（m1+m2+...+ms=m），n行mk,(k=1,2,...,s)列組成的子矩陣[P]k具有可排列性。該準(zhǔn)對(duì)稱信道的容量為：實(shí)現(xiàn)離散準(zhǔn)對(duì)稱無(wú)記憶信道信道容量的輸入符號(hào)集的分布為等概分布。,66,定理(準(zhǔn)對(duì)稱信道),,,,,,,,,,,,,,,,,,,,,,,,在證明過(guò)程前，先給出一般離散信道達(dá)到信道容量的充要條件【定理】一般離散信道的平均互信息達(dá)到極大值（即信道容量）的充要條件是輸入概率分布滿足：這時(shí)C就是信道容量,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,67,定理(準(zhǔn)對(duì)稱信道),,,,,,,,,,,,,,,,,,,,,,,,是輸出端接收到Y(jié)后，獲得關(guān)于的信息量；也是信源符號(hào)對(duì)輸出信號(hào)Y平均提供的互信息對(duì)X求均值即為平均互信息,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,68,定理(準(zhǔn)對(duì)稱信道),,,,,,,,,,,,,,,,,,,,,,,,定理的理解：信道容量C是平均互信息的最大值，即在平均互信息的計(jì)算式中調(diào)節(jié)輸入概率分布，所能取得的最大值，而平均互信息是的均值用反證法：假如為了平均互信息達(dá)到最大值，我們必然會(huì)調(diào)節(jié)，而加大最終，所有不是最大的會(huì)調(diào)整它對(duì)應(yīng)的輸入概率,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,69,準(zhǔn)對(duì)稱信道的信道容量,,,,,,,,,,,,,,,,,,,,,,,,下面證明準(zhǔn)對(duì)稱信道的最佳輸入概率為等概率分布。設(shè)信道轉(zhuǎn)移概率矩陣P中有L個(gè)對(duì)稱子集，若信源含有r個(gè)消息，等概率分布，,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,70,準(zhǔn)對(duì)稱信道的信道容量,,,,,,,,,,,,,,,,,,,,,,,,由于是對(duì)稱矩陣：每一列是其他列的置換，是某一列的求和，是個(gè)定值，不隨的變化而變化；每一行也是其他行的置換，無(wú)論任何的M都是個(gè)定值,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,71,準(zhǔn)對(duì)稱信道的信道容量,,,,,,,,,,,,,,,,,,,,,,,,是M對(duì)所有對(duì)稱矩陣的求和式，因此也是個(gè)定值，不隨的變化而變化最后，根據(jù)定理，就是信道的信道容量，得證準(zhǔn)對(duì)稱矩陣的最佳輸入分布為等概率分布,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,72,,例題(準(zhǔn)對(duì)稱信道),73,,均勻信道（強(qiáng)對(duì)稱信道）,74,,均勻信道的幾個(gè)特性,均勻信道是對(duì)稱信道的一個(gè)特例；輸入符號(hào)數(shù)與輸出符號(hào)數(shù)相等；信道中總的錯(cuò)誤概率為p，對(duì)稱地平均分配給n–1個(gè)輸出符號(hào)，n為輸入符號(hào)的個(gè)數(shù)；均勻信道中不僅各行之和為1，而且各列之和也為1一般信道各列之和不一定等于1二元對(duì)稱信道就是n=2的均勻信道。,75,,,均勻信道的信道容量C,76,例5二元對(duì)稱信道的信道容量,77,例5（續(xù)）,78,二元對(duì)稱信道的信道容量,79,第3章信道容量,3.1信道的數(shù)學(xué)模型和分類3.2單符號(hào)離散信道的信道容量3.2.1信道容量的定義3.2.2幾種特殊離散信道的信道容量3.2.3離散信道容量的一般計(jì)算方法3.3多符號(hào)離散信道3.4多用戶信道3.5連續(xù)信道3.6信道編碼定理,80,一般離散信道,,,81,一般離散信道容量的計(jì)算-1,82,一般離散信道容量的計(jì)算-2,83,一般離散信道容量的計(jì)算-3,84,一般離散信道容量的計(jì)算（續(xù)）,85,一般離散信道容量的計(jì)算步驟,86,例題：求一般信道的信道容量,87,例題：求一般信道的信道容量,88,小結(jié),定義了信息傳輸率、信道容量、最佳輸入分布。信道容量是信道傳輸信息量的最大能力的度量，表征了信道傳送信息的最大能力。分析了各類離散信道的信道容量。,