关于生成式AI的 11 个误区

2023-12-12 11:45:16 来源:EETOP

1.任何计算引擎,无论是CPUGPUFPGA还是定制ASIC,都可以加速GenAI

不对。CPU 不具备完成任务的性能。GPU 具有标称性能,但效率较低,导致可交付速度仅为标称规格的一小部分。FPGA 不太适合这项工作。针对特定任务定制的定制 ASIC 是唯一可行的解决方案。

2. GenAI加速器可以处理训练和推理

原则上,可以使用相同的 GenAI 处理器来训练和推断模型。现实情况是,训练和推理是两项具有独特属性的不同任务。虽然模型训练和推理具有相同的性能要求,但它们在其他四个特征上有所不同:内存、延迟、功耗和成本(表 1)。

1.jpg

表 1:算法训练和推理具有一些但并非全部关键属性。

独特的属性集导致 GenAI 处理器具有相当不同的特性。通常,模型训练是在基于大量最先进 GPU 阵列构建的广泛计算场上进行的。它们运行数天,消耗大量电力,成本高达数千亿美元。

真正的问题在于边缘的推理。如今,Edge GenAI 处理器只能执行针对特定任务定制的模型。没有 GenAI 硬件能够对完整的 GPT-4 进行干扰。

3. 定制 GenAI 加速器会牺牲可编程性来换取性能

虽然这对于某些自定义实现来说可能是正确的,但对于实际解决方案来说却并非如此。理想的解决方案必须是可编程的,以允许现场升级。一般来说,人工智能,特别是 GenAI 都是不断进化的努力。今天的尖端人工智能算法明天就会过时。新的更大、更强大的算法将取代它们。昂贵的硬件解决方案必须能够在现场升级至少三年。

4. GenAI加速器比传统计算资源消耗更少的能源。

现实恰恰相反。数据处理比移动数据消耗更少的能量。斯坦福大学 Mark Horowitz 教授领导的一项研究以数字显示,CMOS IC 的功耗主要由数据移动而非数据处理决定(表 2).

图片

表 2:这些表比较了简单算术运算符与内存访问的能耗

存储器访问的功耗比基本数字逻辑消耗的能量多几个数量级。加法器和乘法器的功耗从使用整数运算时的不到一皮焦耳到处理浮点运算时的几皮焦耳。

相比之下,在 DRAM 中访问数据时,访问高速缓存中的数据所花费的能量会跃升一个数量级,达到 20-100 皮焦耳,并且会跃升三个数量级,达到超过 1,000 皮焦耳。AI 和 GenAI 处理器是以数据移动为主的设计示例。

5. 由于算法工程师学会了如何在不影响功能的前提下缩小模型的尺寸,大型语言模型(LLM)正在不断演进,更新的版本比前几代更小

其实不然。自几年前谷歌研究团队创建 LLM 以来,LLM 一直在不断改进,并在这个过程中变得越来越大。这一趋势仍在继续,并对计算硬件提出了挑战。为了减轻硬件设计团队的压力,软件建模团队设计了更小的模型,以解决狭小应用中的特定任务。

6. 创建 LLM 只是一种软件建模工作,并不需要特殊技能

在最近举行的 "2023 高效生成式人工智能峰会 "上,一位小组成员表示,世界上可能有 100 名软件设计师具备设计高效 LLM 的才能。从这位专家的观点来看,LLM 的开发既是一种艺术构思,也是一种工程设计,需要具备当今并不丰富的独特技能。

7. 单个 LLM 将定义所有用例

这可能是每个 LLM 开发团队的梦想,但事实上,这样的目标可能永远无法实现。如果一个 LLM 可以在金融、法律、医疗、科学、工业、商业、教育等领域的所有应用中用于文本生成和图像/视频/音乐创作,那么这个模型将是一个天文数字。要设计出这样的模型并不现实,而且几乎不可能训练和部署。

8. GenAI 对所有语言都有效

一般来说,GenAI 模型在特定语言上进行训练,然后在相同的语言环境中部署推理。迄今为止,开发语言一直是英语,但也有其他语言的版本,如主要的欧洲和亚洲语言。

原则上,总是可以用任何语言训练然后部署模型,但彻底训练模型所需的源数据可能不足。

9. GenAI 公正、客观

人工智能建立在统计基础上,而非确定性基础上。GenAI 的反应包含一定程度的不确定性。它们应该在“可能”正确的基础上被接受。他们通常是正确的;他们犯错的情况并不常见。忽视 GenAI 应用程序的人应该始终以批判性的心态评估响应。

10. GenAI 能否取代人类的创造力和创新力?

完全不能。正如在对误解 8 的回答中所述,GenAI 的反应必须由对 GenAI 应用的特定领域有深入了解的人类进行评估。忽视评估可能会带来麻烦,最终危及整个国家的机构,破坏教育,助长剽窃行为。

尽管如此,GenAI仍有提高人类生产力的潜力。麦肯锡在 2023 年 6 月发布的一份题为 "生成式人工智能的经济潜力 "的报告中指出,生成式人工智能每年可为全球经济增加高达 4.4 万亿美元的收入,涉及 63 个分析用例。如果再加上将生成式人工智能嵌入目前用于这些用例之外的其他任务的软件所产生的影响,估计值可能会翻倍。

11. GenAI 太新,风险太大

GenAI 的确很新,但风险不大。认为人类会因为 GenAI 偏离轨道而消失是一种误解。这种担忧源于博主、研究人员等报道的一些 "聊天机器人威胁要毁灭人类 "的消息。


  1. EETOP 官方微信

  2. 创芯大讲堂 在线教育

  3. 创芯老字号 半导体快讯

相关文章

全部评论

  • 最新资讯
  • 最热资讯
@2003-2024 EETOP