前言：本站為你精心整理了平均互信息量的案例式教學(xué)方法探析范文，希望能為你的創(chuàng)作提供參考價(jià)值，我們的客服老師可以幫助你提供個(gè)性化的參考范文，歡迎咨詢。

摘要:平均互信息量的概念在香農(nóng)信息論中的占據(jù)極為重要的位置。在本科生“信息論基礎(chǔ)”課程中雖然給出了不同形式的定義以及數(shù)學(xué)推導(dǎo)，但由于概念較為抽象，大部分學(xué)生對(duì)于該部分教學(xué)內(nèi)容的興趣和實(shí)際掌握效果都有待提高。以新冠肺炎核酸檢測(cè)為背景，探尋“萬(wàn)里挑一”核酸檢測(cè)案例的優(yōu)化策略，引導(dǎo)學(xué)生利用平均互信息量的概念和性質(zhì)主動(dòng)思考，將課堂知識(shí)與生活實(shí)踐相結(jié)合，讓學(xué)生在理解平均互信息量的物理概念的同時(shí)，體會(huì)信息論的理論指導(dǎo)意義，并巧妙融入理論如何指導(dǎo)實(shí)踐、中國(guó)疫情防控舉世矚目成就等思政元素。

關(guān)鍵詞:平均互信息量;信息論;核酸檢測(cè);課程思政

“信息論基礎(chǔ)”是一門(mén)以概率論、隨機(jī)過(guò)程、數(shù)理統(tǒng)計(jì)和線性代數(shù)等學(xué)科為基礎(chǔ)，研究信息在系統(tǒng)中的存儲(chǔ)、傳輸、處理和控制的綜合課程，是通信工程、電子信息工程、信息對(duì)抗等專(zhuān)業(yè)培養(yǎng)方案中的主干課程［1］。由于該課程中的概念高度抽象，理論性強(qiáng)且有大量的數(shù)學(xué)分析過(guò)程，學(xué)生理解起來(lái)并不容易［2］。對(duì)于“平均互信息量”這種較為抽象但極為重要的概念來(lái)說(shuō)，如果僅靠傳統(tǒng)的灌輸式教學(xué)方法，學(xué)生接受難度較大，且興趣度不高，學(xué)生很難理解其中蘊(yùn)含的理論指導(dǎo)意義。同時(shí)鑒于傳統(tǒng)課程教學(xué)中較少將信息論中的概念直接聯(lián)系實(shí)際，學(xué)生容易產(chǎn)生信息論無(wú)用的錯(cuò)覺(jué)［3］。傳統(tǒng)的教學(xué)方法主要可以分為兩類(lèi)，一類(lèi)是教師灌輸式，一類(lèi)則是學(xué)生自主學(xué)習(xí)講解式［4］。第一類(lèi)方法目前仍是主流，這種方法教學(xué)效率較高，但是學(xué)生的獨(dú)立思考問(wèn)題的能力不能得到鍛煉，偏離了教育的初心;第二類(lèi)方法可以極大地調(diào)動(dòng)學(xué)生積極性，培養(yǎng)學(xué)生主動(dòng)思考能力，但需占用學(xué)生大量的課余時(shí)間，并且不能幫助學(xué)生認(rèn)識(shí)重點(diǎn)、分清主次。近年來(lái)，多名教師在教學(xué)方式上進(jìn)行改革探索［5－6］，取得了一定的成效。案例式教學(xué)方法最早起源于哈佛的情景案例教學(xué)課，目前已發(fā)展成為經(jīng)濟(jì)學(xué)及管理學(xué)類(lèi)學(xué)科的重要教學(xué)形式［7］。信息論是一門(mén)與通信系統(tǒng)理論有著密切關(guān)系的學(xué)科［8］，邏輯推理過(guò)程較多，相對(duì)比較枯燥，在教學(xué)過(guò)程中適當(dāng)引入案例式教學(xué)，不僅可以豐富課堂內(nèi)容，也可以激發(fā)學(xué)生的熱情，讓學(xué)生更多地參與到課堂中，促進(jìn)師生之間的互動(dòng)交流。教學(xué)工作應(yīng)具體情況具體分析，對(duì)于不同特點(diǎn)的學(xué)科應(yīng)該采取不同的教學(xué)方法。對(duì)于信息論這種專(zhuān)業(yè)體系中的主干基礎(chǔ)課程，貿(mào)然采用自主學(xué)習(xí)的方法，可能適得其反。為此，結(jié)合數(shù)十年的教學(xué)經(jīng)驗(yàn)，嘗試在平均互信息量中引入案例式教學(xué)，即在第一類(lèi)教學(xué)方法中進(jìn)行改進(jìn)，通過(guò)案例引入，將學(xué)生帶到特定場(chǎng)景中，在解決問(wèn)題的過(guò)程中學(xué)習(xí)知識(shí)，提高學(xué)生的參與度和興趣，培養(yǎng)學(xué)生獨(dú)立思考的能力。通過(guò)帶著問(wèn)題深入剖析現(xiàn)象背后的理論依據(jù)，在回答問(wèn)題的過(guò)程中掌握平均互信息的概念，理解利用理論工具指導(dǎo)編碼實(shí)踐的原理，讓學(xué)生體會(huì)信息論基礎(chǔ)課程的現(xiàn)實(shí)意義———不僅僅是知道怎么做，更懂得為什么這么做。以新冠肺炎核酸檢測(cè)為背景，提出探尋“萬(wàn)里挑一”核酸檢測(cè)案例的優(yōu)化策略問(wèn)題，引導(dǎo)學(xué)生利用信息論基礎(chǔ)的相關(guān)知識(shí)自行思考解答;在解決這個(gè)問(wèn)題的過(guò)程中逐步闡述平均互信息量的概念、性質(zhì)及物理意義，然后類(lèi)比此案列區(qū)分平均互信息量和信息熵這兩個(gè)容易混淆的基本概念;最后利用平均互信息的概念量推導(dǎo)出最少檢測(cè)次數(shù)。既讓學(xué)生深刻理解概率信息的本質(zhì)，又能讓學(xué)生體會(huì)到信息論的實(shí)用價(jià)值。此外在教學(xué)過(guò)程中適當(dāng)嵌入思政要素，在信息論基礎(chǔ)專(zhuān)業(yè)課程中潛移默化地影響和教育學(xué)生。

1案例教學(xué)設(shè)計(jì)

1．1案例引入

圍繞“核酸檢測(cè)”這一時(shí)事熱點(diǎn)話題，提出探尋“萬(wàn)里挑一”核酸檢測(cè)案例的優(yōu)化策略問(wèn)題。在帶領(lǐng)學(xué)生解決問(wèn)題的同時(shí)，向?qū)W生闡述什么是“平均互信息量”“平均互信息量”與“信息熵的區(qū)別”以及如何利用“平均互信息量”解決實(shí)際問(wèn)題。

1．2重難點(diǎn)分析

1)重點(diǎn)內(nèi)容(1)平均互信息量物理含義:平均互信息量含有多種物理含義，首先從直接的定義可以看出消除的不確定性;再根據(jù)先驗(yàn)信息熵和條件熵的數(shù)學(xué)計(jì)算式可以得到等效定義，可以看出平均互信息量表征了輸入與輸出的關(guān)聯(lián)性的統(tǒng)計(jì)度量。(2)平均互信息量基本性質(zhì):非負(fù)性，兩個(gè)離散事件的互信息量可正可負(fù)，但兩個(gè)集合的平均互信息量為非負(fù)，需要注意統(tǒng)計(jì)平均帶來(lái)的差異，而且平均互信息量等于零時(shí)正好對(duì)應(yīng)兩個(gè)集合互相獨(dú)立，表明平均互信息量是相關(guān)性的一種度量;互易性，平均互信息量的計(jì)算公式中可交換輸入輸出集合的位置，反映了平均互信息量反映的是系統(tǒng)獲取信息的能力，從發(fā)送端和接收端不同的角度來(lái)看，可以獲得相同的信息感知能力;極值性，根據(jù)不等式的性質(zhì)和平均互信息量的計(jì)算公式，可推導(dǎo)平均互信息量的兩個(gè)上限，輸入端的信息熵以及輸出端的信息熵，進(jìn)一步表明平均互信息量只是消除的那部分不確定性，不會(huì)比先驗(yàn)的不確定性大。當(dāng)然平均互信息量還有更加復(fù)雜的性質(zhì)，如上凸和下凸特性，將在離散信道部分進(jìn)一步詳細(xì)闡述。2)難點(diǎn)內(nèi)容平均互信息量與信息熵的區(qū)別是本部分教學(xué)的難點(diǎn)內(nèi)容。平均自信息量，即信息熵，是表征隨機(jī)事件的不確定程度的定量描述，但實(shí)際上往往無(wú)法準(zhǔn)確獲取全部的信息熵，如同無(wú)可能準(zhǔn)確知道一個(gè)封閉系統(tǒng)中可能的熱力學(xué)狀態(tài)數(shù)目以及熱熵，而只能通過(guò)溫度的變化來(lái)衡量系統(tǒng)能量的變化。這些相對(duì)變化往往更是人們感興趣的那部分信息，對(duì)應(yīng)信息熵就是消除掉的部分先驗(yàn)的不確定性，即平均互信息量。因此平均互信息量只是先驗(yàn)信息熵的一部分，而且是通過(guò)某些系統(tǒng)觀測(cè)獲得的那一部分“信息”。這兩個(gè)概念是信息論基礎(chǔ)中極為重要的概念，但對(duì)于初學(xué)者來(lái)說(shuō)非常容易混淆，務(wù)必從物理含義上加以區(qū)分?？梢哉f(shuō)“信息熵”是最基本的“信息”，“平均互信息量”是最重要的“信息”，通常前者難以準(zhǔn)確或者全部“發(fā)掘”，只要在極特殊的情況下才能被揭露無(wú)疑，此時(shí)“平均互信息量”就等同于“信息熵”。關(guān)于該難點(diǎn)的講授，需要采用具體化的實(shí)例來(lái)引導(dǎo)學(xué)生主動(dòng)區(qū)分二者的區(qū)分，明白內(nèi)在聯(lián)系，為此課程從學(xué)生熟悉的“核酸檢測(cè)”來(lái)理解這些抽象的概念。

2關(guān)鍵教學(xué)環(huán)節(jié)設(shè)計(jì)

2．1核酸檢測(cè)案例引入

首先提出“萬(wàn)里挑一”問(wèn)題:假定某1萬(wàn)人居住的社區(qū)中有1名無(wú)癥狀感染者，需要做全員核酸檢查。數(shù)學(xué)上不難發(fā)現(xiàn)，總共的狀態(tài)數(shù)定義為X，有10000中可能;假設(shè)全員核酸檢測(cè)的結(jié)果為Y。則這1萬(wàn)人整體不確定性為H(X)=log10000bit，全員檢測(cè)后剩余不確定性為H(X|Y)=0，檢測(cè)后消除不確定性為H(X)－H(X|Y)=log10000bit。此時(shí)最多要測(cè)10000次才可以確定誰(shuí)是感染者，這顯然是不能接受的。那么是否有更高效的檢測(cè)方式呢?要找出患者最少需要測(cè)幾次呢?要解決這個(gè)問(wèn)題，需要了解平均互信息量。

2．2平均互信息量定義

聯(lián)合離散級(jí)XY上，X與Y的平均互信息量可定義如下:I(X;Y)=H(X)－H(X|Y)(1)根據(jù)定義式可推導(dǎo)出其計(jì)算式:(2)其物理意義為:在聯(lián)合離散集XY上，由Y的全部事件提供的關(guān)于集X的平均互信息等于X的信息熵與Y已知條件下X的條件熵的差值。

2．3平均互信息量性質(zhì)

平均互信息量有3個(gè)基本性質(zhì):1)非負(fù)性由平均互信息的定義式可推得(3)當(dāng)且僅當(dāng)X與Y獨(dú)立時(shí)，等號(hào)成立，因此平均互信息量非負(fù)得證。具體到核酸檢測(cè)的問(wèn)題上，如果檢測(cè)報(bào)告是血型信息，那么平均互信息量就是零，對(duì)診斷患者毫無(wú)用處。2)互易性由定義式顯而易見(jiàn)，互換XY位置定義不變，因此滿足互易性?；ヒ仔缘奈锢硪饬x是輸出Y反應(yīng)出的X的信息，與輸入X反應(yīng)的輸出Y的信息相當(dāng)，即從信息的角度來(lái)講輸入與輸出可逆。3)極值性(4)當(dāng)且僅當(dāng)p(xi|yi)時(shí)等號(hào)成立，所以平均互信息量不大于原集合的信息熵。對(duì)應(yīng)的物理意義為消除的不確定性不可能超過(guò)先驗(yàn)的不確定性，最多獲取全部的不確定性，換句話說(shuō)，XY的互信息量I(X;Y)一定不超過(guò)X的熵(自信息量)H(X)，此時(shí)的系統(tǒng)是最優(yōu)的系統(tǒng)，通過(guò)Y能夠準(zhǔn)確獲取X的全部信息。在此基礎(chǔ)上可以獲得各種熵以及平均互信息關(guān)系的維拉圖，如圖1所示。該圖可直觀反映各物理量之間的等式和不等數(shù)量關(guān)系，以及各種熵的非負(fù)性。圖1各種熵之間的關(guān)系到此可以明晰信息熵和平均互信息量的區(qū)別，即信息熵是待測(cè)樣本本身所包含的“全部信息”，而平均互信息量是通過(guò)某種方式所測(cè)量到的該樣本的“部分信息”。

2．4探尋“萬(wàn)里挑一”核酸檢測(cè)案例的優(yōu)化策略

為了加強(qiáng)學(xué)生利用平均互信息量概念和性質(zhì)進(jìn)行理論計(jì)算和實(shí)際應(yīng)用，再次結(jié)合核酸檢測(cè)的問(wèn)題，詳細(xì)講解例題:在已知待測(cè)樣本的狀態(tài)數(shù)為N(N=10000)后，若想要測(cè)量次數(shù)最少，則需要每次測(cè)量所提供的平均互信息量I(X;Y)最大。1)單檢方式對(duì)于單檢方式，顯然最多需要N次檢測(cè)。檢測(cè)前的不確定性為H(X)=logN≈13．2877bit，定義檢測(cè)的結(jié)果為Y1，則(5)H(X|Y1=1)=0，H(X|Y1=0)=N－1Nlog(N－1)，則條件熵為可得單次檢測(cè)的平均互信息量為(7)2)混檢方式如果采用5合1混檢方式［9］，易知最多需要5+N/5次檢測(cè)，定義單次5合一混檢的結(jié)果為(8)同理可得單次混檢的平均混檢的平均互信息量為可見(jiàn)通過(guò)混檢方式大大增加了單次檢測(cè)的平均互信息量，因此能顯著減少檢測(cè)次數(shù)。圖2展示了幾種不同的混檢策略的效果。3)最優(yōu)檢測(cè)策略那么什么才是最優(yōu)的檢測(cè)策略呢?顯然不是混檢次數(shù)越大，單次檢測(cè)的信息量越大，因?yàn)閷?duì)于極端情況全部混在一起檢測(cè)，是沒(méi)有意義的。那么如何才能使單次檢測(cè)消除的不確定性最大?換個(gè)角度分析，單次實(shí)驗(yàn)的結(jié)果的最大平均互信息量為I(X;YM)=log2=1bit(9)M代表M合一檢測(cè)。又已知檢測(cè)前樣本的不確定性為H(X)=logN≈13．2877bit。那么理論上，當(dāng)N=10000時(shí)最少檢測(cè)數(shù)為logNlog2≈14次。即理論上最少的測(cè)試次數(shù)為14次，任何想低于這個(gè)檢測(cè)次數(shù)的努力都是徒勞的。

2．5課程思政的設(shè)計(jì)

1)信息理論與生活實(shí)踐該案例教學(xué)中，一開(kāi)始就將同學(xué)們多次接觸的核酸檢測(cè)事件聯(lián)系起來(lái)，通過(guò)分析平均每一次檢測(cè)所獲得的信息量，這正是平均互信息量，也就是信息的本質(zhì)。特別是隨著混檢人數(shù)的增加，在理論極限條件下，核酸檢測(cè)總次數(shù)可減少至驚人的14次!可見(jiàn)利用平均互信息量的概念和性質(zhì)，可以找到理論上的不可能超越的極限值。通過(guò)核酸檢測(cè)策略這個(gè)實(shí)例可以看出，平均互信息量的概念可以為實(shí)際問(wèn)題提供理論極限，對(duì)實(shí)踐有非常重要的指導(dǎo)意義，進(jìn)而引起學(xué)生對(duì)信息論強(qiáng)烈的學(xué)習(xí)興趣。2)實(shí)際案例中的中國(guó)成就雖然核酸檢測(cè)優(yōu)化檢測(cè)策略中給出了理論極限，但其本身沒(méi)有給出具體的檢測(cè)方法，但指明了方向，具體的實(shí)現(xiàn)需要同學(xué)們自己思考。特別是在實(shí)施過(guò)程中要考慮效率、精度等影響，中國(guó)政府在疫情防控過(guò)程中制定了一系列的中國(guó)標(biāo)準(zhǔn)，如2020年7月21日，國(guó)務(wù)院印發(fā)了《新冠病毒核酸篩查稀釋混樣檢測(cè)技術(shù)指引》;2020年8月17日，國(guó)務(wù)院制定了《新冠病毒核酸10合1混采檢測(cè)技術(shù)規(guī)范》;2020年8月27日，國(guó)務(wù)院印發(fā)進(jìn)一步推進(jìn)新冠病毒核酸檢測(cè)能力建設(shè)工作方案的通知。我們更是取得舉止矚目的耀眼戰(zhàn)績(jī)，如2020年5月14日武漢會(huì)戰(zhàn)，10天排查1000萬(wàn)人;2020年6月11日北京疫情，23天排查1100萬(wàn)人;2020年10月11日青島5天排查1100萬(wàn)人。這些數(shù)據(jù)的背后必然會(huì)讓每個(gè)學(xué)生感動(dòng)和感恩，從而更加自信地學(xué)習(xí)和生活。

3結(jié)語(yǔ)

通過(guò)上述案例教學(xué)來(lái)講授平均互信息量的概念和性質(zhì)，可以實(shí)現(xiàn)以下效果:(1)從核酸檢測(cè)案例的優(yōu)化策略問(wèn)題引入，讓學(xué)生帶著問(wèn)題從信息論的角度尋求答案和背后的理論依據(jù)。在求解問(wèn)題的過(guò)程中明確平均互信息量的定義和物理意義，在此基礎(chǔ)上帶領(lǐng)學(xué)生推導(dǎo)平均互信息量的三條基本性質(zhì)，完成基本課堂知識(shí)的傳授。(2)通過(guò)“萬(wàn)里挑一”核酸檢測(cè)問(wèn)題的實(shí)例，以實(shí)際問(wèn)題幫助學(xué)生區(qū)分信息熵(平均自信息量)和平均互信息量這兩個(gè)極易混淆的物理量之間的區(qū)別，并通過(guò)利用課堂所學(xué)知識(shí)尋求問(wèn)題的最優(yōu)解，將抽象的方法應(yīng)用到工程實(shí)踐，加強(qiáng)學(xué)生對(duì)概率信息這一高度抽象概念的理解。(3)在教學(xué)方法方面，從熟悉的事件出發(fā)，帶著問(wèn)題學(xué)習(xí)新內(nèi)容，特別是引導(dǎo)學(xué)生對(duì)概率信息的本質(zhì)進(jìn)行深層次的思考，強(qiáng)調(diào)“信息論”是來(lái)源于工程實(shí)踐，更是指導(dǎo)工程實(shí)踐的重要理論。

作者:孫兵 李建楠 李景文 陳杰 單位:北京航空航天大學(xué) 電子信息工程學(xué)院