信息论

利用数学方法研究信息的传递、变换、储存的学科。由美国数学家申农等人创立。1948年申农发表了论文“通信的数学理论”，提出了包括信源、编码器、信道、译码器、信宿的通信系统基本模型，并提出了根据信号出现概率计算信息量的申农公式，初步解决了信道、编码的一系列理论问题等，从而奠定了现代信息论的基础。其建立与发展，不仅为现代通信技术的发展提供了基本理论工具，而且正在被应用于更加广泛的领域，如工程控制、神经生理、生物学、心理学以及各个社会科学领域。一般将限于研究通信问题的信息论称为狭义信息论，而将研究包括所有与信息有关领域的信息论称为广义信息论。