ACM通信

研究突出了

技术角度:无论好坏，基准都能塑造一个领域

大卫·帕特森
ACM通信，2012年7月，第55卷第7期，第104页
10.1145/2209249.2209271
评论

与其他IT领域一样，计算机架构师最初报告的结果不可比拟。我们很快就看到了这种做法的愚蠢之处。然后，我们研究了一系列性能指标，每个指标都是对前一个指标的改进:平均指令时间、每秒数百万条指令(MIPS)、每秒数百万个浮点运算(MEGAFLOPS)、合成程序性能(dhrstone)，以及最终相对于基于一套真实程序(SPEC CPU)的参考计算机的平均性能改进。

当一个领域有良好的基准时，我们解决了争论，该领域取得了快速进展。事实上，从20世纪80年代中期开始，计算机性能每年从25%提高到50%，部分原因是我们能够公平地比较竞争设计以及摩尔定律。类似地，计算机视觉在过去十年中取得了巨大的进步，因为它采用了基准来评估视觉算法的创新。^一个

不幸的是，当一个领域有糟糕的基准时，进展可能会出现问题。例如，尽管自1990年以来在教科书中被质疑，^b嵌入式计算在做出性能声明时仍然报告dhrstones。我们如何知道一个新的嵌入式处理器是一个真正的突破，还是仅仅是愤世嫉俗的基准营销的结果，因为它运行基准很快，但真正的程序很慢?从DHRYSTONE的报道中我们无法知道答案。

在接下来的文章中，作者指出，虽然计算机架构有一个辉煌的过去，但它已经成为其自身成功的受害者。SPEC组织一直在选择用老语言编写的老程序，这些程序反映了20世纪80年代的编程状态。自从c++在1979年问世以来，它的性价比提高了100万倍，大多数程序员都转向了更高效的语言。事实上，最近的一项调查支持了这一说法:只有25%的程序是用C和c++之类的语言编写的。^c因此，作者用自动管理存储的Java程序补充了手动管理存储的SPEC的C和c++程序。他们称之前的项目为本地的语言和后者管理．

这篇论文反映了第二个重要趋势。芯片功耗的限制迫使微处理器制造商从单芯片高时钟速率处理器切换到多处理器或多芯片核心。因此，作者包括顺序基准和并行基准;他们称之为前者非可而后者可伸缩的．此外，除了性能外，作者还报告了功率和能量。在这个后pc时代，电池寿命可以超过客户端的性能，仓库级计算机的设计师们试图优化10万台服务器的供电和冷却成本，同时提高性价比。正如我们了解到以秒为单位测量时间比MIPS这样的速率更安全地衡量程序性能一样，我们也了解到焦耳比瓦特这样的速率更好，瓦特就是焦耳/秒。除了相对性能外，作者还报告了瓦和焦耳。

根据这个测量框架，作者随后测量了7年期间生产的8个非常不同的英特尔微处理器。作者使用61个程序来评估这8个微处理器，每个程序都符合矩阵中的四个象限之一。

除了本文之外，ACM数字图书馆中记录在大表中的数据宝库允许作者(和我们其他人)基于真实的硬件提出和回答许多问题。与过去十年来主导文献的基于模拟的研究结果相比，这个机会是一个令人耳目一新的变化。

下面是我们现在可以解决的四个问题:

• 红色象限程序的性能、功率或能量是否可以预测其他象限程序的结果?(如果没有，架构师必须扩展他们的传统评估方法。)
• 本机并行(黄色)程序是否预测托管并行(绿色)程序?(如果没有，考虑到编程语言的流行，那么多处理器的许多评估应该重新进行。)
• 多核比多线程更节能吗?(如果不是，那么不提供多线程的多核设计可能是可疑的。)
• 最近的按顺序执行处理器肯定比现代的四指令、乱序执行处理器更节能吗?(如果不是，那么关于节能处理器设计的传统观点是不正确的。)

提示:答案是:不，不，不，和不。

有兴趣试图找到这些和计算的其他持久问题的答案的读者只需要阅读下面的论文。

回到顶部

回到顶部

数字图书馆是由计算机协会出版的。版权所有©2012 ACM, Inc.

---

没有找到条目