文章
日志
帖子
首页
论坛
博客
大讲堂
人才网
直播课
资讯
全部
通信/手机
综合电子
测试测量
半导体/EDA
微处理器
模拟/电源
可编程逻辑
嵌入式
汽车电子
医疗电子
工业电子
物联网
可穿戴
机器人/飞行器
其他科技
传感器/Mems
射频微波
人工智能
技术文章
全部
通信/手机
综合电子
测试测量
半导体/EDA
微处理器
模拟/电源
可编程逻辑
嵌入式
汽车电子
医疗电子
工业电子
物联网
可穿戴
机器人/飞行器
其他科技
传感器/Mems
射频微波
人工智能
频道
通信/手机
综合电子
测试测量
半导体/EDA
微处理器
模拟/电源
可编程逻辑
嵌入式
汽车电子
医疗电子
工业电子
物联网
可穿戴
机器人/飞行器
其他科技
传感器/Mems
射频微波
人工智能
登录
注册
创芯云服务 :
创芯大讲堂
|
创芯人才网 |
数字IC职业培训
EETOP诚邀线上IC培训讲师!
资讯
>
综合电子
>
内容
通过NVMe让AI更智能的四种方式
2018-11-26 21:30:06
来源:
未知
作者:西部数据公司 企业级Device产品管理部副总裁 Ulrich Hansen
各领域的业务都在将以
AI
为例的机器学习技术引入其流程中,以期为客户带来更好的产品,为股东创造更高的营收成果。然而,要有效部署
AI
,需要自定义的机器学习模型、大量的计算和数量不可预估的数据。处理PB级数据,无论这数据是来自于最小的
物联网
设备还是世界上最大的城市,这一任务对设计于兆字节和毫秒的时代的存储技术来说都将是一大挑战。
为机器学习提供所有的数据,就需要为内存速度存储设计一项新的存储接口技术:NVM Express (NVMe)。NVMe与SATA和SAS不同,它消除了磁盘为中心协议的延迟诱导水平,而使用更快的通用
处理器
连接技术和PCI Express (PCIe)来减少延迟,为每个设备提供大量的带宽能力。对于PB级别的专注和微秒的处理使得NVMe非常适合机器学习。
数据是
AI
传递途径
机器学习的关键是数据。生成有意义的结果需要处理大量数据,这就要求我们有经过深思熟虑的数据工作流程。每个公司都有着不同的数据工作流程,以满足其自身的业务需求,流程可大概分为以下阶段:收集、准备、设计和训练。这四个阶段的数据工作流程输出的通常是可以对边缘或核心的新数据进行推断的模型。由于需要大量的数据,因此所有阶段都需要通过其对数据流的优化,避免出现瓶颈。NVMe接口的设计就是为了满足此要求,可以通过以下四种方式为
AI
的传递途径提供帮助:
更快捷、更经济实惠的数据收集
更快速的数据集准备周期
更短的模型设计周期转变时间
更有硬件效率的模型训练
NVMe用于更智能的数据收集
实现
AI
首先会面临到的挑战即是如何将原始数据收集到集中式数据存储中。这些数据的种类几乎是无限的:包括来自
IOT
设备的传感器报告、网络日志、制造质量报告等。事实上,数据是由例如Apache Spark™之类的工具或商业服务对该任务进行处理,然后在新的数据流中进行筛选,最后将非结构化数据输出到NoSQL数据库集群中。NVMe在提高其反应速度的同时,还能减少占用这些服务器的物理空间。
传统的非结构化查询语言(NoSQL=Not Only SQL)集群由具有多个本地硬盘接口的服务器和SATA硬盘组成。硬盘确实为PB级的数据提供了经济实惠的存储方法,但要实现更大的带宽,需要通过几十个SATA或SAS硬盘与服务器连接。此架构明显增加了单个服务器的大小,并且快速填充数据中心的机架,其中
CPU
服务器却大多处于空闲的状态。
单独的NVMe接口即可为多种独立的SATA或SAS接口提供所需的带宽,且只需要一个附加卡或2.5寸硬盘。用更小的NVMe SSD替换单个NoSQL服务器的大硬盘阵列,可以缩小单个NoSQL节点并显着减少整个机架的空间。
NVMe用于更智能数据准备
当今
AI
训练的一个必要前提就是拥有TB级或PB级的数据。但通常该数据并不是随时可用的格式。需要将数据转化成更容易被
AI
传递途径处理的格式,过滤掉异常值和虚假数据。对于部分不适合使用或不能合法使用的数据,例如受到保护的个人信息,也可能需要在这一阶段将其过滤掉。
这种处理需求可能会超过一个存储系统的可受范围,如果该存储系统不是为高吞吐量而设计的话。与NVMe基于PCIe高达6.4GB/s或更高的带宽相比,SAS和SATA的每个接口的有限带宽显得相对缓慢。同时在这一准备阶段,带宽不是存储系统的唯一要求:并行性也是一大关键因素。由于处理的数据量非常大,因此,在这一处理阶段,并行操作存在于集群中的多个服务器,以及在单个服务器中多个核心上。NVMe支持高达64K的命令队列和64K的命令,简化了这些服务器内的并行操作。
NVMe用于更智能的模型设计
在将数据清理、准备成统一且容易理解的格式后,数据科学家的工作才正要开始。由于每个问题都是不同的,因此很多时候,科学家需要迭代地开发出独特的机器学习结构。只有在多次试验和失败后,较小的数据子集才能成为候选的可训练模型,发送到下一个处理阶段。毕竟在所有科学工程项目在得到最终解决方案前,都会经历过许多错误,因此需要进行多次的尝试。
在试错的过程中,单个循环的速度会对最后的模型设计和产生的机器学习模型的质量造成外部影响。而将设计
测试
的循环时间从10个小时缩短到8个小时,会使数据科学家的效率翻倍。科学家可以在早上设计和运行
测试
,获得结果,并及时调整参数,而不是在早上开始工作,直到第二天才看到结果。以每天进行一个
测试
的效率来说,科学家在下午下班前就能开始另一项工作,每天能有两个循环的效率。
就如之前的阶段,NVMe带宽和并行性发挥其作用,帮助提高数据科学家的效率。在科学家们的个人工作室,他们对模型进行沙盘推演的
测试
,利用NVMe的低延时性运行系统、
测试
数据集,并为分析和
测试
运行提供更快的暂存空间。
NVMe用于更智能的模型训练
在数据工程师将数据格式化成为可用于机器学习的格式,同时数据科学家对学习模型的结构进行设计后,网络的实际训练才正式开始。通过无数配备了加速器的机器将格式化后的数据提取出来,并用它来提炼模型的参数,直到将数据汇聚成一个模型,才可用于实际的推理应用。
基于
GPU
的早期加速技术很少受到I/O的限制,因此存储性能往往不是我们关注的焦点。运行服务器的通用
CPU
有充足的时间处理I/O操作,并为
GPU
准备下一批数据。但这在现今早已不适用了,其拥有
FPGA
,甚至实现了ASIC硬件定制以进行模式训练。
相比以前的技术,由于现代机器学习加速器可以更快地处理数量级的数据,运行服务器的通用
CPU
需要能有效地处理I/O数量级的模式。像SATA和SAS这样的传统I/O栈浪费了宝贵的
CPU
周期,将I/O请求转换为上世纪设计的协议。这样就增加了I/O请求的延迟,会直接影响加速器的使用。这些遗留I/O栈也增加了主机
CPU
的负载,限制了每个
处理器
上可运行的加速器的数量。
由于从一开始就将NVMe设计成为内存速度存储协议,因此其不会产生协议转换的成本。这就减少了
处理器
的负载,有助于保证及时将数据反馈到下一代加速器中。目前正在研究的NVMe协议具有一个激动人心的扩展—控制器内存缓冲(CMB),允许NVMe设备在不受主机干预的情况下,得以直接处理内存转换并进一步减少负载。
NVMe-用于更智能的
AI
机器学习和
AI
是建立在数据之上。从最初的数据收集、将其处理为可用的格式、开发学习架构、到最后训练的模型都需要一个在PB级规模上有效的存储接口,并且针对微秒级延迟进行优化。NVMe作为一项提升内存速度的存储技术能为机器学习和其它应用提供所需的存储接口。
关于作者:
Ulrich Hansen
Ulrich Hansen,西部数据公司企业级Device产品管理部副总裁。他负责西部数据公司企业级SSD产品组合的产品策划、生产线管理和技术市场,包括确保在新产品和技术成功引入公司和数据中心市场时,对公司下一代的SSD产品进行定义。同时他还负责市场机遇和新兴产品的评估、新产品需求定义、将客户和行业合作伙伴与西部数据的产品和技术战略相结合。
Ulrich Hansen拥有超过20年的高科技领域经验,包括服务器、存储、网络和通讯系统。在HGST加入西部数据之前,Ulrich Hansen曾任Entorian Technologies市场部的高级总监,并在A.T. Kearney和戴尔等管理咨询公司和科技公司担任产品开发、市场规划和企业策略等高级职位。
Ulrich Hansen拥有德克萨斯大学奥斯汀分校企业管理硕士学位以及德国亚琛工业大学电气工程的硕士学位。
关键词:
EETOP 官方微信
创芯大讲堂 在线教育
创芯老字号 半导体快讯
相关文章
上一篇:
Vishay推出高集成度且符合IrDA标准的红
下一篇:
3D传感市场的最大受益者:ams看好这几
全部评论
最新资讯
最热资讯
黄仁勋年薪曝光
CMOS反相器的功耗分析
东芝计划大裁员
高通:可继续从华为获得收益!
第55个世界电信日,OPPO持续促进AI普及
e络盟社区发起“Shift It——仓库自动化挑
思特威推出笔记本电脑与平板应用系列5MP及2
大联大诠鼎集团推出基于Qualcomm产品的Aura
复杂医疗系统中信号完整性测试挑战的应对之
贸泽开售适用于存在检测和系统激活应用的ST
适用于车载信息娱乐系统的高效且实惠的 US
NAND Flash 价涨,铠侠六季来首度赚钱
NAND Flash 价涨,铠侠六季来首度赚钱
生态系统即战略,是IBM将企业级AI技术带给行业客户的主力军
为客服人员减轻压力,软银将通过AI来“软化”客户的愤怒语气
苹果有望下月起开启iPhone 16系列手机面板生产
泰克先进半导体开放实验室再升级, 开启功率器件测试新篇章
铠侠2023财年营收 10766 亿日元,同比下滑 16%,连续两年亏损
特斯拉高管拒绝裁员,马斯克炒掉整个超充团队内幕曝光
微软回应中国区员工“打包赴美”
台积电美国厂区突发爆炸!有人重伤!
了解 ADAS 和车舱监控系统对网络安全图像传感器的需求
传三星、SK海力士将停产 DDR3,带动近期价格飞涨!
初创公司推出RISC-V新架构:集成CPU、GPU与NPU!
业界最热文章
特斯拉裁上瘾:上海设计团队恐解散 朱
Steam在越南被封禁
日本电视液晶产业彻底落幕!
特斯拉高管拒绝裁员,马斯克炒掉整个超充
消息称特斯拉4680电池部门暂停裁员,但年
东芝计划大裁员
美国考虑禁用大疆无人机!
特斯拉宣布加州工厂裁员 601 人,今年
马斯克砍掉特斯拉超充团队 苦了美国电动车
Omdia:到2031年,对平板电脑OLED显示屏
一文了解A、B、AB、D、G、H类放大器
马斯克脑机接口公司Neuralink计划将Link
自由现金流同比增长约 3 倍,安森美 2
LPDDR5和LPDDR4X内存还傻傻分不清?带你
贸泽开售Microchip Technology PIC32CZ
贸泽电子开售英特尔新成立的独立运营FPGA
华为全能充磁吸移动电源通过3C认证,支持
总投资630亿!京东方国内首条 8.6 代
重磅!2022中国大学工科排名TOP100出炉!
傅立叶变换、拉普拉斯变换、Z变换最全攻略
ET创芯网(EETOP)-电子设计论坛、博客、超人气的电子工程师资料分享平台
论坛
博客
大讲堂
人才网
直播课
关于我们
联系我们
隐私声明
@2003-2024 EETOP
京ICP备10050787号
京公网安备:11010502037710