信息论教学中熵的一种引入方法摘要熵是信息论中的一个最基本的概念，只有接受了熵的意义，学生们才有可能理解信息论中的其它概念和理论。因此在信息论教学中熵的引入是最基本和最重要的一步。通过多年信息论教学，笔者总结出一种引入熵的方法，这个方法更加直观和系统，使这个概念更容易被学生理解和接受。关键词信息论熵公理化方法：G424文献标识码：ADOI：10.16400/jki.kjdkx.2015.06.053OneIntroductionMethodofEntropyinTeachingInformationTheoryCHANGZuling(SchoolofMathematicsandStatistics，ZhengzhouUniversity，Zhengzhou，He’nan450001)AbstractEntropyisthemostelementaryconceptininformationtheoryandstudentscanunderstandtheconceptsandtheoriesininformationtheoryonlyiftheyacceptedmeaningofentropy.Sointroducingentropyisthemostelementaryandimportantstepinthecourseininformationtheory.Throughyearsofteachinginformationtheory，Isummarizeonemoreintuitiveandsystematicmethodtointroduceentropywhichmakesstudentscanunderstandandacceptentropymoreeasily.Keywordsinformationtheory;entropy;axiomaticapproach在信息论这门课程中，“熵”(Entropy)是一个非常重要的概念。“熵”首先出现于热力学第二定律中，是仙农在1948年他的开创性论文“通信中的数学原理①中，把这个概念借用于信息论中来表示信息量的多少。通过熵，我们可以把信息进行量化，从而把使用丰富的数学工具来分析信息变成了可能，从而奠定了现代信息论的基础。②在信息论的教学中，如何引入熵这个基本概念，就是一个非常重要的问题。如果引入得不好，则学生对嫡不理解，无法接受这个概念，从而影响进一步的信息论教学效果。在多种信息论教材中，引入熵的方法多种多样，大概可以归结为三种，一种是直接给出熵的定义而不加推导引入;③一种是先考虑变量各个取值的自信息，然后再求期望推出熵的定义;④一种是先分析性质，再通过证明推出熵的定义。⑤在多年的信息论教学中，笔者综合了各种方法的优点，总结出一种新的引入熵的方法，这种方法更加直观和系统，可以让学生容易接受，教学效果良好，现与从事信息论教学的各位同仁们交流分享。我们在这里详细介绍引入熵的各个步骤，力求清晰明了：第一步：定义信源。在引入熵之前我们定义信源。详细说明信源是产生信息的源头，其间可以通过举例来说明。为了研究方便，对信源建立数学模型。我们用随机变量表示信源并只考虑离散型随机变量。令表示离散型随机变量，=｛，，•••，｝表示的取值字母表。的概率质量函数（）为：（）=｛=｝，，或者=｛=｝，。第二步：定义信息。然后我们提出信息的概念。因为随机变量的取值是依对应的概率相应出现的，所以在随机变量的值出现之前，我们一般不能确定它的确切取值，因此随机变量有不确定性。例如：在抛掷硬币时，我们不知道结果是正面或是反面;从袋子中取球时，我们不知道会取中那个;买彩票时，我们不能确定会不会中奖，等等。当随机变量的值确定之后不确定性消失，等价于从中获得一些信息。在这种意义下我们把随机变量的信息与随机变量的不确定性等价起来，我们称随机变量的信息指的就是随机变量的不确定性。这里我们一定要让学生理解随机变量的不确定性即信息这一点。第三步：提出信息的度量。有了信息的概念，自然就会产生这样的问题：随机变量的信息（不确定性）该如何度量？我们该如何判断随机变量的信息（不确定性）的大小？显然，随机变量的不确定性由随机变量的概率分布决定。但用概率分布来表示不确定性非常麻烦，例如可能不同的概率分布会具有同样的信息。最重要的是概率分布不能量化，因此我们需要考虑信息的表示问题。我们定义一个函数（）来表示随机变量包含的信息（不确定性）。这个函数只与的概率质量函数有关，而与中的具体值是没有关系的，即（）=（，，，），0彡彡1，=1，=?0?0。那么函数（）应具有哪些性质呢？第四步：（）的性质我们在这里给出三条（）必须要满足的性质：（1）（连续性）概率的些许改变应使随机变量的不确定性也只发生些许改变，所以（）应关于，=1，2，…，？0?...