rockeric.com

很多研究人员都会使用基于浮点运算的GPU来进行机器学习的研究。对于他们来说，GPU是他们能获得的最划算的硬件解决方案。但是，对于那些需要在嵌入式系统中进行推理运算的机器学习来说，GPU是一个难以为继的解决方案，因为诸如功耗等问题非常严重。半导体行业正在努力设计出更适合机器学习的硬件结构以及采用新的映射技术来帮助弥合云与嵌入式之间的鸿沟。新的硬件结构和映射技术能够帮助实现不同机器学习架构之间的转化，即基于云的机器学习的架构和部署在自动驾驶汽车，物联网设备以及消费产品中的机器学习的架构。

使用新的映射技术在业界已经得到了很成功的应用，但是我们仍然需要在算法开发中引入更多的推理含义，来确保上述的差距不会继续扩大。Babblabs首席执行官ChrisRowen表示，随着计算网络层次的深入，并且每个网络层内容的增加和丰富，我们将需要更多的计算周期，更高的内存带宽以及更大的内存容量来进行训练和推理运算。对于任何给定的问题，可能的网络结构空间是巨大的。我们需要努力找出与早期计算网络相比，性能一样或者差不多，但是规模更小，计算密集度以及数据分辨率更低的计算网络。

了解最终的应用场景，对于决定我们的计算网络拥有多高的准确度，以及多大的数据吞吐量至关重要。我们的最终目标就是建立一个能够解决当前问题的合适的计算网络。Synopsys嵌入式视觉处理器产品营销经理GordonCooper说，从映射的角度来看，设计的权衡取决于准确性而非吞吐量，所以之前9到12个月的所有研究几乎都集中在如何提高准确性上，而如何以更少的计算来获得相同的准确度这个问题，到现在才慢慢开始研究。

图：Intel的深度学习的开发流程

映射

基于云的机器学习的训练过程并非完全不需要嵌入式系统上的推理运算。Rowen说，像Caffe，Tensorflow以及Khronos神经网络交换格式等这样的标准，可以很大程度上地帮助一系列的神经运算网络实现高度优化的推理运算。这对于手机，汽车，相机和其他物联网设备来说非常有价值，可以帮助我们在这些设备中实现优化过的大容量推理运算引擎。这些高层次的稳定接口，能有效兼容作为交换标准的指令集。并且随着执行推理运算的硬件的发展，这些接口也允许我们进行更高层次的重新优化。

OneSpin Solutions总裁兼首席执行官Raik Brinkmann说，机器训练的结果就是一个浮点模型，这些模型还有很大的优化空间。有些公司正在进行深度神经网络的优化，首先就是试图降低网络的精度，通过采用定点运算，甚至使用二进制权重和激活（binaryweights and activation）等虽然不适用于学习过程，但是适用于推理运算的方法。这些优化方法的结果就是减小了运算网络的规模，降低了一些边缘的权重，使其更稀疏，精度更低。最后根据在模拟中运算训练数据或者测试数据的结果来检查优化过的网络的准确度是否依然可以接受。

神经网络中的很多系数最终都是为零或者非常接近于零。零系数通常主要出现在行，列以及数据集的平面中。Rowen说，神经网络设计人员以及硬件架构师正在积极探索如何在更多地神经网络中更好地利用常用的稀疏系数集。那些可以很好地运行这些不规则的稀疏系数集合的计算架构，几乎可以完全跳过乘零运算。或采用更智能的训练过程也可以来减少系数的稀疏度，或者将系数集合压缩到更小的集合或转化成具有结构化的稀疏集合。

Brinkmann补充说到，零可以被用来做很多事情，比如零权重和零激活，零权重意味着可以完全不用考虑边缘网络（removeedges from the network）因为没有任何东西可以传播，所以MAC节点上的输入会更少。零激活（zeroactivation）不是静态确定的，而是取决于数据。有时候节点不会被激活，所以我们可以尝试在运行过程中来动态优化这些节点。

机器学习硬件设计流程中很重要的一个问题就是验证。Brinkmann认为，从验证的角度来看，量化非常困难。有一种被称为量化感知训练（quantization-awaretraining）的新技术。可以被引入进来评估我们的训练过程。通过这种方式，我们可以提供一些具体的数字信息，来说明系统对此类问题的敏感程度。这是一种统计学的工作方式。机器学习是统计性的（MachineLearning is statical）。对于验证来说，我们可能也必须要使用一些统计方法。形式验证可能会发挥一部分作用，有些工作可以通过结合静态分析和动态统计来完成。具体的实现方法并不是一成不变的。