关于人工智能(AI)的报导一直不绝于耳。过去几年来，几乎每个月(有时甚至是每周)都会有一款现有或新创公司的全新AI处理器推出市场。
然而，悬而未决的问题是：为什么有这么多的AI处理器？每一款AI芯片的设计是为了解决哪些问题？更重要的是，当今的AI版图中还缺少哪些部份？
Tirias Research首席分析师Kevin Krewell直截了当地说，「AI带来了一种新典范，并改变了整个电脑系统。」现有企业和新创公司都在争夺仍处于混乱中的AI-ready运算领域。
以色列Hailo是一家为「边缘设备深度学习」打造专用芯片的新创公司，今年6月宣布完成1,250万美元的A轮融资。Hailo的目标在于「为任何产品带来智慧」(to bring intelligence to any product)。因此，Hailo执行长Orr Danon最近呼吁「彻底重新设计电脑架构的支柱——存储器、控制和运算以及其间的关系。」
这是一个值得称道的目标。然而，Hailo既不打算透露其架构细节——Danon仅表示「可能就在今年底」，其首款AI处理器最快也要到2019年上半年后才会正式推出。
Danon认为，目前还没有一家自动驾驶车(AV)供应商能在无数的新一代AI处理器中找到适用于其AV的芯片。
汽车领域正是Hailo看好其新款AI处理器得以发挥的直接目标市场。Danon指出，当今的测试AV实际上都在公共道路上行驶，车后行李箱中还配置了一个资料中心。他说，为了填补这些测试车和自动驾驶车(必须为大量部署而打造)之间的巨大鸿沟，一线(tier one)和汽车OEM需要一种全新的AI处理器，协助其更有效率地执行相同的深度学习任务。
Hailo为此整理了目前每一款AI处理器的每瓦(W)深度学习TMACS。该公司与读者分享的重点在于深入探讨：AV产业在多大程度上仍无法获得推动高度自动驾驶车所需的高效能AI处理器。
业界分析师和其他AI新创公司高层也针对目前在AI发展道路上的重大障碍发表看法。
大多数业界观察家一致认为，目前基于冯·诺依曼(von Neumann)架构的CPU处理器无法有效因应当今的AI处理任务。
The Linley Group首席分析师Linley Gwennap指出，「Von Neumann不适用于AI。」他解释说，每一次的运算都必须获取并解码指令，以及收集并储存资料于暂存器档案中。「为了提高每瓦运算效能，你必须执行更多的运算和更少的撷取任务。」
Krewell同意这一看法。他说：「Von Neumann架构极其适于控制和循序计算：'If-Then-Else'操作。相形之下，神经网路就像图形一样，是高度平行的，而且依赖于存储器频宽的处理。试图用CPU扩展神经网路是相当昂贵的(包括功耗和成本)。」
典型的冯·诺依曼(von Neumann)电脑架构（来源：Hailo）
Danon说：「尽管Von Neumann架构和现代CPU一般都非常灵活，但在很多情况下，这种灵活性并不是必要的。」它适用于神经网路和其他操作，例如，为未来的许多周期预先确定行为。在这种情况下，他指出，设计系统的更有效方法是「避免以读取指令来指导每个周期的系统行为。保持每个周期改变元素行为的灵活度非常重要。」
在Danon看来，「神经网路将这一概念推向了极致。『结构』——决定运算元素之间连接性——确定整个会话的行为(又称『运算图形』)。」简言之，AI社群需要的不是基于Von Neumann架构的处理器，而是「善于描述神经网路结构的特定处理器」。
重新关注资料流架构
由于CPU和GPU的深度学习性能无法满足需求，引发业界积极寻找基于资料流(dataflow)架构的新解决方案。但为什么是资料流？
根据Gwenapp的说法，业界希望进行更多的运算和更少的撷取，首先尝试开发宽的单指令/多资料(SIMD)架构。「但是你只能将暂存器档案做得很宽。」业界很快地发现，该解决方案是「直接自动地将资料从运算单元移动到运算单元」。他说，「这是一种称为资料流的通用方法，可以大幅降低von Neumann的开销。」
不久前才收购MIPS的Wave Computing，是一家利用资料流技术的AI新创公司。根据该公司执行长Derek Meyer表示，Wave Computing设计了一款新的处理单元，「可以原生支援Google TensorFlow和微软(Microsoft)的CNTK」。
Danon坦承Hailo的新款AI处理器也属于架构的「资料流系列」。他解释说，资料流「通常更适合深度学习」，因为「用于计算的大多数参数都不需要移动。相反地，它们用于描述资料流动时的图形。」
资料流解决方案：典型的平行运算架构（来源：Hailo）
Krewell指出，资料流的概念并不是什么新鲜事儿，也已经成功地在通用电脑硬体实现商用化了。
但是，随着AI改变运算领域，资料流正在寻找机器学习的「新机遇」。Krewell补充说：「透过使用资料流和脉动阵列架构，您可以将神经网路处理设计为从一分层到另一分层，而无需太多控制逻辑。」
这种新转折可说是Wave Computing的天赐良机。该新创公司自2010年以来一直在利用其于资料流技术方面的专业知识以及建立专利组合，积极地专注于机器和深度学习。
存储器频宽面临瓶颈
AI——特别是卷积神经网路(CNN)，似乎非常适合资料流设计。但是，Gwenapp强调，这并不表示所有的资料流设计都对AI有利，「系统中还存在着其他瓶颈，如存储器频宽。」
业界开始看到这样的暗示：存储器导向的装置是客制深度学习硬体的未来。例如，新创公司Mythic瞄准了将神经网路映射到NOR存储器阵列。该公司将「存储器处理器」(processor-in-memory；PIM)架构用于AI，使其芯片得以在快闪存储器中储存并处理神经网路权重，而其结果(最终和中间)则储存在SRAM中。因为这样的存储器阵列无需将资料移入和移出外部存储器，所以，Mythic承诺将在其芯片中实现性能/功耗的巨大进展。
