AI 芯片厂商 Cerebras 安排 DeepSeek 效劳爆单，下降本

IT之家 2 月 12 日新闻，据 ZDNET 2 月 10 日报道，AI 芯片厂商 Cerebras 的 CEO Andrew Feldman 接收采访时说，该公司曾经被运转 DeepSeek-R1 年夜言语模子的订单压垮。据IT之家此前报道，Cerebras 曾推出用于 AI 的晶圆级芯片，一块芯片就供给 125 PFLOPS 的峰值算力，搭配片外内存能够实现至高 1.2PB 的内存容量。DeepSeek-R1 的预练习本钱能够低到 GPTo1 等主流模子的非常之一，且后果邻近乃至更好，被一些人以为是 AI 的分水岭。Feldman 以为，DeepSeek 对人工智能的影响不只在当下，更在于将安慰出更年夜的 AI 体系。跟着本钱的下降，市场正在变得越来越年夜。Cerebras 在官网展现，Cerebras 的晶圆级 AI 芯片，安排 DeepSeek-R1 70B 能够到达 1508 tokens / s 的机能，比 GPU 快良多。用户在应用包含 DeepSeek-R1 等“推理模子”时，输入提醒词后须要时光等候是一年夜痛点。由于采取了名为 Chain-of-thought（CoT）的方式来加强模子的推理才能，将多步成绩剖析为旁边步调，容许模子在须要时履行额定的盘算。推理时逐字停止推理，对整段提醒词的推理须要停止屡次，须要大批算力。客户能够经由过程蒸馏将年夜模子的“常识”转移到小模子来缓解痛点，年夜模子平日被称为老师模子，较小的模子被称为先生模子。为了改良应用 DeepSeek 模子的休会，Cerebras 为客户供给的尺度做法是应用 DeepSeek 开源在 Hugging Face 的模子参数（权重）作为老师模子，蒸馏出一个较小的先生模子用于现实安排，Cerebras 在官网表现 DeepSeek R1 蒸馏到 Llama 70B 后精度多少乎不降落。Feldman 表现，DeepSeek 是第一个顶级的开源推理模子，是开源 AI 的严重成功。经由过程蒸馏技巧，开源模子只要要公然模子参数（权重），研讨职员不须要拜访源码也能够复制新 AI 模子的提高。他以为，DeepSeek 的经济性不只震动全部人工智能行业，更能够使尖端 AI 芯片跟收集技巧取得更多投资。有些人以为盘算本钱的降落将招致市场萎缩，但从前 50 年都表示出下降本钱反而扩展市场容量。无论是电脑仍是智妙手机，价钱的下降都推进了遍及。Cerebras 从客岁 8 月开端供给大众推理效劳，自称是“天下上最快的人工智能推理效劳供给商”。该公司现在只供给蒸馏后的 70B 模子，Feldman 表现，405B 的模子太贵了，客户更青眼价钱实惠的模子，固然也有一局部客户以为正确性的晋升值得更高的本钱而抉择更年夜的模子。