文章
日志
帖子
首页
论坛
博客
大讲堂
人才网
直播课
资讯
全部
通信/手机
综合电子
测试测量
半导体/EDA
微处理器
模拟/电源
可编程逻辑
嵌入式
汽车电子
医疗电子
工业电子
物联网
可穿戴
机器人/飞行器
其他科技
传感器/Mems
射频微波
人工智能
技术文章
全部
通信/手机
综合电子
测试测量
半导体/EDA
微处理器
模拟/电源
可编程逻辑
嵌入式
汽车电子
医疗电子
工业电子
物联网
可穿戴
机器人/飞行器
其他科技
传感器/Mems
射频微波
人工智能
频道
通信/手机
综合电子
测试测量
半导体/EDA
微处理器
模拟/电源
可编程逻辑
嵌入式
汽车电子
医疗电子
工业电子
物联网
可穿戴
机器人/飞行器
其他科技
传感器/Mems
射频微波
人工智能
登录
注册
创芯云服务 :
创芯大讲堂
|
创芯人才网 |
数字IC职业培训
EETOP诚邀线上IC培训讲师!
资讯
>
人工智能
>
内容
2018年以后的人工智能软硬件和应用将如何发展?
2018-01-15 17:32:01
来源:
未知
在2018年及其以后,深层神经网络和机器学习在更大的
人工智能
(
AI
)领域会如何发展?我们如何能开发出越来越复杂的机器以在日常生活中帮助人类?这些都是普渡大学机器学习硬件教授尤金尼奥·库鲁尔塞罗(Eugenio Culurciello)关注的问题。请注意,本文的重点并非有关
AI
的预测,而是对该领域发展轨迹、趋势以及技术需求的详细分析,以帮助创造更有用的
AI
。当然,并非所有的机器学习都是针对
AI
的,还有些其他容易实现的目标,下面我们就仔细审视下。
目标
AI
领域的目标是通过机器上实现人类和超人的能力,以便让它们在日常生活中帮助我们。自动驾驶车辆、智能家居、智能助理以及安全摄像头将是植入
AI
技术的首批目标,家庭烹饪和清洁机器人、无人侦察机和机器人则是第二批目标。其他目标还有移动设备上的助理,全职陪伴助理(可以听到和看到我们的生活经历)。而
AI
领域的终极目标是打造完全自主的合成实体,它可以在日常工作中以相当于人类或超越人类的水平行事。
软件
在这里,软件被定义为通过优化算法训练的神经网络构架以解决特定的任务。今天,神经网络是用来学习解决问题的实际工具,其中涉及通过大数据集进行分类学习。但这并不是全部
AI
,它要求在现实世界中,在没有监督的情况下学习,也要吸取以前从未见过的经验,常常需要把以前学到的知识结合起来以解决当前的挑战。
如何让目前的神经网络演变成
AI
?
神经网络架构:几年前,当神经网络架构发展起来的时候,我们经常认为从数据中自动学习算法的参数拥有巨大优势,而且这比手工编写的算法功能更强大。但我们忘了提到一个小细节,那就是作为“训练解决特定任务基础”的神经网络架构并未从数据中学习。事实上,它仍然是开发人员手工设计的。有鉴于此,目前它成为
AI
领域的主要限制之一。
然而,神经网络架构是学习算法的基本核心。即使我们的学习算法能够掌握新的技能,如果神经网络不正确,它们也无法得出正确结果。从数据中学习的神经网络架构存在的问题是,目前在一个大数据集上进行多架构实验花费的时间太长。我们必须尝试从头开始训练多个架构,并看看哪一个最有效。这就是我们今天使用的、非常耗时的试错过程!我们应该克服这一限制,并在这个非常重要的问题上多加思考。
无监督学习:我们不能总是干预神经网络,引导它们的每一次体验。我们不能在每个实例中都纠正它们,并提供它们的性能反馈。我们的生活也要持续下去!但这正是我们今天利用受监督神经网络所做的:我们为每个实例提供帮助,使它们能够正确执行。相反,人类只需从少数几个例子中学习,并且能够以连续的方式自我校正和学习更复杂的数据。
预测神经网络:目前神经网络的一个主要局限是它们没有人类大脑最重要的特征之一,即预测能力。关于人脑如何工作的一个主要理论是它能不断地预测,即拥有预测代码。如果你仔细想想,就会发现我们每天都在使用它。你提起一个自认为很轻的物体,但结果它却很重。这会让你感到惊讶,因为当你接近它的时候,你已经预测它将如何影响你和你的身体,或者你的整体环境。
预测不仅能让我们了解世界,还能知道我们什么时候不了解它,什么时候该学习。事实上,我们保存那些我们不知道并让我们感到吃惊的事情的信息,以便下次不会再犯同样的错误!认知能力绝对与我们大脑中的注意力机制有明显的联系:我们天生就有能力放弃99.9%的感官输入,只专注于对我们生存至关重要的数据,包括哪里存在威胁,哪里是我们逃避它的地方。或者,在现代世界里,当我们匆忙出门时,我的手机落在哪里。?构建预测神经网络是我们与现实世界互动的核心,并能在复杂的环境中发挥作用。因此,这是任何强化学习的核心网络。
当前神经网络的局限性:无法预测,无法解释理由,以及暂时的不稳定性,因此我们需要一种新的神经网络。神经网络胶囊(Neural Network Capsules)就是解决当前神经网络局限性的一种方法,但我们认为它必须有些额外的特点:
1)视频帧操作:这很简单,因为我们需要做的就是让胶囊路由查看最近时间的多个数据点。这相当于在最近的重要数据点上建立起关联内存。请注意,这些不是最近帧的最新表达,而是它们最新的不同表达。可以通过仅保存与预定义值不同的表达来获得不同内容的不同表达。这个重要的细节只允许保存最近历史上的相关信息,而不是一系列无用的相关数据点。
2)预测神经网络能力:这已经是动态路由的一部分,它迫使各层预测下一层表达。这是一种非常强大的自我学习技巧,在我们看来,它胜过了我们在社区中发展的所有其他非监督表现学习。胶囊现在需要能够预测长期的时空关系,但目前还没有实现。
持续学习:这是很重要的,因为神经网络需要不断地学习新的数据点来维持生存。目前的神经网络不能学习新的数据,而每次都需要从头开始重新训练。神经网络需要能够自我评估接受重新训练的必要性,以及它们确实知道某些事情的事实。这也需要在现实生活和强化学习任务中表现出来,我们想让机器在不忘记旧任务的情况下完成新任务。
转移学习:或者称我们如何让这些算法通过观看视频自学,就像我们学习如何烹饪新的东西一样。这是一种能力,需要我们上面列出的所有因素,而且对于加强学习也很重要。现在你可以通过举例子的方式来训练你的机器去做你想让它做的事情,就像我们人类一样。
强化学习:这是深神经网络研究的“圣杯”,即教机器如何在真实的世界环境中学习!这需要自学、持续学习、预测能力,还有很多我们不知道的东西。在强化学习领域有很多东西需要了解,但对作者们来说,这只触及到问题的表面。
强化学习通常被称为“蛋糕上的樱桃”,意思是它只是塑料合成大脑上微不足道的训练。但是,我们如何才能得到一个“通用”大脑轻松地解决所有的问题呢?这是个“先有鸡还是先有蛋”的问题!今天,要想一个个地解决强化学习的问题,我们需要使用标准神经网络:一个深度的神经网络,它接收大量的数据输入,如视频或音频,并将其压缩成表示;一个序列学习神经网络,如RNN,以便了解任务。
这两个部分都是问题的明显解决方案,目前显然是错误的,但这是每个人都在使用的,因为它们是当前可用的构建块。这样的结果并不令人印象深刻:我们可以从头开始学习玩视频游戏,并且掌握像国际象棋和围棋这样完全可观察的游戏,但无需多言,与在复杂的世界中解决问题相比,这些都是微不足道的。想象下,
AI
可以比人类更好地玩转《Horizon Zero Dawn》,对此我拭目以待!
但这恰是我们想要看到的,即能像我们人类这样运作的机器。我们对强化学习的建议是,使用可以连续操作的预测神经网络和联想存储器来存储最近的经验。
不要更多的递归神经网络(RNN):因为它们在并行化方面表现特别糟糕,甚至在特殊的定制机器上也很慢,因为它们的内存带宽使用率很高,内存带宽存在限制。基于注意力的神经网络更高效,可更快速地进行训练和部署,并且在训练和部署方面的可伸缩性更少。在神经网络中,注意力有可能使许多架构发生真正的改变,但它并没有得到应有的认可。联想记忆和注意力的结合是下一波神经网络发展的核心。我们认识到,基于注意力的神经网络将逐渐取代基于RNN的语音识别,并在强化学习构架和通用
人工智能
中找到它们的方法。
分类神经网络中信息的定位:实际上这是一个已经解决的问题,将被嵌入到未来的神经网络架构中。
硬件
深度学习
硬件才是进步的核心。现在让我们忘记2008-2012年
深度学习
的快速扩展,近年的进步主要取决于硬件:在社交媒体的帮助下,每部手机上的廉价图像传感器都可以收集巨大的数据集,但其只处于次级重要程度。
GPU
允许加速深层神经网络的训练。在过去2年里,机器学习硬件蓬勃发展,尤其是针对深度神经网络的硬件。
有几家公司正在这个领域努力,包括英伟达、
英特尔
、Nervana、Movidius、Bitmain、Cambricon、Cerebras、DeePhi、谷歌、Graphcore、Groq、华为、
ARM
以及Wave Computing等,他们都在开发定制的高性能微型
芯片
,能够训练和运行深层神经网络。关键是提供最低功耗和最高的可
测量
性能,同时计算最近有用的神经网络操作,而不是每秒钟的原始理论操作。但是在这个领域很少有人了解硬件是如何真正改变机器学习、神经网络和
AI
的,很少有人知道微型
芯片
的重要性以及如何开发它们。
训练或推理:许多公司都在制造能提供神经网络训练的微型
芯片
。这是为了获得英伟达市场的一部分,它是迄今为止事实上的培训硬件。但这种训练只占深层神经网络应用的很小部分。对于每个训练步骤,实际应用程序中都有上百万个部署。例如,你现在可以在云端使用的一个目标检测神经网络,它曾经被训练过一次,并且在很多图像上都是可以使用的。但是一旦经过训练,它就可以被数以百万计的计算机用于数十亿的数据。
我们在这里想说的是,训练硬件的重要性和你所使用的次数相比是微不足道的,而制作用于训练的
芯片
组需要额外的硬件和额外的技巧。这将导致相同性能却消耗更高的功率,因此不是当前部署的最佳状态。训练硬件是很重要的,而对推理硬件进行修改却很简单,但它并不像许多人认为的那样重要。
应用程序:能够更快、更低功率地提供培训的硬件在这个领域非常重要,因为它将允许更快地创建和
测试
新的模型和应用程序。但真正重要的一步是应用所需的硬件,主要是推理硬件。今天有许多应用之所以无法使用,主要是因为硬件而不是软件。例如,我们的手机可以是基于语音的助手,目前是次优的,因为它们不能一直运行。就连我们的家庭助理也离不开
电源
,除非我们在周围安装更多麦克风或设备,否则就不能跟着我们。但也许最大的应用是将手机屏幕从我们的生活中移除,并将其嵌入到我们的视觉系统中。如果没有超级高效的硬件,所有这些和更多的应用将是不可能的。
赢家和输家:在硬件方面,赢家将是那些能够以最低功耗发挥更高性能、并能将设备迅速投入市场的公司。想象用手机代替SoC,这种情况每年都会发生。现在想象下将神经网络加速器嵌入到内存中。这可能会更快地征服市场,并快速渗透,这就是我们所说的赢家。
应用程序
我们在上面的“目标”部分简要地讨论了应用程序,但是我们需要详细讨论一下。
AI
和神经网络将如何进入我们的日常生活?这是我们的名单:
分类图像和视频:已经存在于许多云服务中。下一步就是在智能摄像头领域做同样的事情,今天在这里也有许多供应商。神经网络硬件将允许移除云并在本地处理越来越多的数据,保护隐私和节省网络带宽将成为赢家。
语音助理:它们正在成为我们生活中的一部分,可以在我们的智能设备中播放音乐和控制基本设备。但是对话是一种基本的人类活动,我们常常认为它是理所当然的。你可以对话的小型设备是一场正在发生的革命。语音助理正变得越来越好,可以更好地服务于我们。但它们仍然与电网相连,我们想要的真正助理应该能随时伴在我们身侧。
手机怎么样?硬件在这里再次胜出,因为它将使上述期望成为可能。Alexa、Cortana以及Siri可以始终陪伴着你。手机很快就会成为你的智能家居设备,这又是智能手机的又一次胜利。但我们也希望它在我们的车里,并伴随我们在城市中移动。我们需要本地处理语音,减少云端支持。更多的隐私和更少的带宽成本。硬件有望在1-2年内提供给我们。
真正的智能助理:语音助理已经很棒,但我们真正想要的是能看到我们所看到东西的助理。当我们四处走动时,它能分析我们的环境。而神经网络硬件将会再次满足你的愿望,因为分析视频是非常昂贵的,而且目前在理论上限制了当前的硅硬件。换句话说,要做的事情比做语音助理要难得多。但这并不是不可能的,像AiPoly这样的许多智能初创公司已经拥有了类似软件,但是缺少强大的硬件来运行它。还要注意的是,用可穿戴的玻璃设备代替手机屏幕真的会让我们的助手成为我们的一部分!
烹饪机器人:下一个最大的设备将是烹饪和清洁机器人。在这里,我们可能很快就有硬件,但我们显然缺乏软件。我们需要转移学习、持续学习和强化学习。一切都像魔法那样,因为你知道:每个食谱都是不同的,每种烹饪成分看起来都不一样。我们不能硬编码所有这些选项。我们真的需要一个可以学习和推广的合成实体来做这个。我们离它还很远,但并非遥不可及。以目前的速度前进,可能只需要几年就能实现。正如我在过去几年所做的那样,我感肯定这些都能实现。
关键词:
EETOP 官方微信
创芯大讲堂 在线教育
创芯老字号 半导体快讯
相关文章
上一篇:
AI芯片新锐Gyrfalcon首秀CES 多款低耗
下一篇:
忘掉算法,人工智能的未来还要看硬件突
全部评论
最新资讯
最热资讯
美国要求禁止日韩荷为中企半导体设备提供维
噩耗!模拟集成电路大师Willy Sansen 逝世!
Syensqo加入全球半导体气候联盟(SCC)
思特威加速布局高端手机CIS,推动手机摄像
安霸携ADAS/自动驾驶全系解决方案亮相2024
贸泽电子新品推荐: 2024年第一季度推出超
ENNOVI推出一种用于电动汽车电池互连系统低
泰克创新实验室开放平台,正式启动!
美国禁止中国电信、中国联通和中国移动在美
黄教主亲自出马!全球首台DGX H200 送交 OpenAI
台积电虐待美国员工!
高性能与低功耗的融合,10uA单芯片“60G毫
高性能与低功耗的融合,10uA单芯片“60G毫米波雷达+多协议无线”智能传感器
东软睿驰与瑞萨电子达成合作伙伴关系, 强化汽车软硬件协同创新
贾跃亭:已偿还100多亿美元债务,争取早日回国
【与未来同行】来自是德科技创新技术峰会的10个要点解析
兆易创新与TASKING达成战略合作,进一步丰富GD32车规MCU软件开发工具链
逐点半导体助力iQOO Z9 Turbo带来身临其境的游戏和视频体验
让数字工厂成为现实:通过数字化转型走向成功
【对话前沿专家】基于忆阻器科研,展望系统和器件协同测试未来可能性
黄教主亲自出马!全球首台DGX H200 送交 OpenAI
台积电虐待美国员工!
摩尔斯微电子在中国台湾设立新办事处,拓展业务版图
你应该知道的关于电源芯片的PSRR测量 _____
业界最热文章
性能暴降92%:英特尔中国特供AI芯片曝光
蔡崇信:中国一定能制造出高端GPU!
浪潮信息发布企业大模型开发平台"元脑企
Arm 的使命是助力应对 AI 无止尽的能源需求
OpenAI宣布用户无需注册账号即可使用Chat
工信部:应大力发展基于AI大模型的智能装
消息称三星获英伟达AI芯 2.5D封装订单
黄教主亲自出马!全球首台DGX H200 送交 OpenAI
消息称马斯克的XAI人工智能公司寻求 30
美众议员提出新法案:AI公司应当披露受版
第四次工业革命大幕速起,实现伟大复兴要
黄教主亲自出马!全球首台DGX H200 送交 OpenAI
科大讯飞回应美国AI芯片管制:华为昇腾91
英国着手起草AI法规,确保其发展处于可控
数据中心需求大幅提升,消息称三星计划二
苹果研究人员称其设备端模型ReALM性能优G
【对话前沿专家】基于忆阻器科研,展望系
忆阻器,你了解吗?刷爆朋友圈的全球首颗
Digital Realty将人工智能驱动的能效平
英特尔携手生态伙伴打造掌静脉特征识别自
ET创芯网(EETOP)-电子设计论坛、博客、超人气的电子工程师资料分享平台
论坛
博客
大讲堂
人才网
直播课
关于我们
联系我们
隐私声明
@2003-2024 EETOP
京ICP备10050787号
京公网安备:11010502037710