transformer芯片

_posts/2019-12-10-transformer.md

@@ -3,7 +3,7 @@ layout: post
 title:  Transformer知识点汇总
 date:   2019-12-10 16:52:00
 categories: 深度学习 
-tags: 深度学习 NLP Transformer BERT GPT Attention BeamSearch seq2seq 杨植麟 XLNet 循环智能 roformer rwkv 苏剑林 检索
+tags: 深度学习 NLP Transformer BERT GPT Attention BeamSearch seq2seq 杨植麟 XLNet 循环智能 roformer rwkv 苏剑林 检索 芯片
 excerpt: Attention is all you need!
 mathjax: true
 permalink: /transformer
@@ -1830,6 +1830,28 @@ dilated attention能够产生线性计算复杂度和token之间的对数依赖
 
 ### 推理加速
 
+
+#### 芯片
+
+【2023-12-19】美国芯片初创公司 [Etched AI](https://www.etched.ai/) 宣称开创了一项新的技术，将 Transformer 架构直接“烧录”到了芯片中😂，创造出了世界上最强大的专门用于Transformer推理的服务器。可以运行万亿参数的模型！🤔 甩英伟达icon几百条街🤓
+- ![](https://assets-global.website-files.com/6570a6bdf377183fb173431e/6570b5e6b0cd5f0189cf79b8_hero.webp)
+
+将 Transformer架构直接“烧录”到芯片中，这意味着Transformer模型的推理可以在专门的硬件上运行，而不需要依赖传统的CPU或GPU。这将大大提高推理速度，降低功耗，并提高模型的性能。
+- 解码速度远超 A100, H100: NVIDIA A100(1x) < NVIDIA H100(5x) < Etched Sohu(15+x)
+
+功能：
+- • **实时**语音代理：能够在毫秒内处理成千上万的词。
+- • 更好的编码与**树搜索**：可以并行比较数百个响应。
+- • 多播推测解码：实时生成新内容。
+- • 运行未来的万亿参数模型：只需一个核心，支持全开源软件栈，可扩展至100T参数模型。
+- • 高级解码技术：包括光束搜索和MCTS解码。
+- • 每个芯片144 GB HBM3E：支持MoE和转换器变体。
+
+这对于英伟达来说是巨大的挑战。英伟达一直是人工智能领域的领导者之一，其GPU被广泛应用于深度学习模型的训练和推理。然而，Etched AI的技术可能改变这一格局。
+
+详细：iconetched.ai
+
+
 ### 计算效率
 
 attention 存在 $n^2$ 的计算复杂度，如何实现更长文本的计算？