ACM通信
ACM新闻
估计数据的信息量
麻省理工学院的研究人员发现了一种可扩展的方法，利用概率编程和概率推理来估计任何数据中包含的信息量。
图片来源:比尔·史密斯
并非所有的数据都是平等的。但是，每一份数据可能包含多少信息呢?这个问题是医学测试、科学实验设计，甚至是人类日常学习和思考的核心问题。麻省理工学院的研究人员开发了一种解决这个问题的新方法，在医学、科学发现、认知科学和人工智能领域开辟了新的应用领域。
从理论上讲，1948年麻省理工学院已故名誉教授克劳德·香农(Claude Shannon)发表的论文《沟通的数学理论》(A Mathematical theory of Communication)明确回答了这个问题。香农的突破性成果之一是熵的概念，它让我们量化任何随机对象中固有的信息量，包括为观测数据建模的随机变量。香农的结果奠定了基础信息论和现代电信的理论。熵的概念也被证明是计算机科学和机器学习的核心。
从《连线》杂志
查看全文
没有找到条目