其实是有一点削弱英伟达互联的
这一块的一个重要性
他现在其实可以说
就是我不同的Expert放在不同的卡上
那我之间这个互联可以做的
不是有那么重要
而且有一些dormant的一些Expert
不用的时候
他就休息了
那这其实对英伟达的互联
这一块的需求
是有一点冲击
另一块就是对CUDA这一块
它其实是告诉大家
现在有这么一种可能
以前大家都没有觉得它可以绕过CUDA
现在来说哎
我们这个团队其实是可以绕过CUDA
直接去用PTX
然后做一些optimization
当然这不是说
以后所有团队都有这个能力
去做这件事情
但他至少提供了一种可能性就是
现在你有可能做这个事情
有可能做这个事情以后
就导致我有可能不需要买英伟达的卡
或者
我不需要买英伟达最先进的这个卡
或者我可以用更小一点的英伟达的卡
去跑这个模型
什么叫做绕过CUDA
他是真的绕过CUDA了吗
就是我听到一种说法
是说其实他用的不是那个CUDA
比较高层的API
但是他还是用了CUDA比较底层的这些API
用词不太准确啊
就是没有完全绕过CUDA的
这个ecosystem
就是它可以直接去调用CUDA
底下就不是刚你说那个很高层那个API
它可以直接去调用PTX
就是在这个instruction set上
头一层的这个instruction set
然后他在这一层直接做一些优化
但是这个也是挺大的一个工程
他并不是说
任何一个小公司
都有能力去做这件事情
对那如果DeepSeek它有这种能力了
业界其他公司会有这种能力吗
就比如说
如果大家现在假设
我买不到英伟达的GPU
我用AMD的GPU去做
那因为AMD跟英伟达
就是你刚刚讲的两个核心壁垒
一个是NV link
还有一个是CUDA
如果这两个都有
某种程度上受到冲击的话
你觉得现在对AMD这样的公司
它会是一个利好吗
呃我觉得短期来说对AMD是一个利好
因为AMD我记着它最近已经宣布
它把DeepSeek给弄过去了
但是长期来看也不好说吧
长期来看我觉得可能还是因为大
因为这毕竟只是DeepSeek这一个模型
酷大厉害的地方在于
它是一个通用的
这种GPU调用的一个软件系统
就是你什么软件过来都可以用酷的
但是DeepSeek这种做法是它只支持DeepSeek
所以你后头有别的模型
你还要再重新识配一次
那我们就是在赌
就是
以后是不是DeepSeek就真的是gold standard了
DeepSeek就真的是这个OpenAI了
所有的这个初创都在DeepSeek上见
那如果是这样的话
那对AMD挺好的
因为它已经移植过去了DeepSeek
但如果后面不是DeepSeek
就比如DeepSeek
其实它的伟大也是在于它对reinforcement learning
GRPO啊这些方法的一些改进
那后面的更多模型
如果都是用这种方法
你有可能来日方长
那不一定是DeepSeek
它如果再是别的模型的话
那别的模型它又要重新适配
那就还是挺麻烦
还不如用CUDA
嗯
所以你的核心观点是它动摇了
就是英伟达的这两大非常厉害的
NVlink跟CUDA
那从GPU的需求上来看呢
首先我没觉得它动摇的这两个壁垒
我觉得这两个壁垒
还是非常坚挺的壁垒
只是它对这个溢价有一些冲击
就是你可能收不了那么高的价格
但是也并不代表
其他的竞品能突然就进来
就是它是一个非常漫长的过程
就是其他竞品做的
跟这两个壁垒不太一样
就是你可以就像我刚刚说的
你针对这一个模型
你可以绕过这个东西
但是没有人做出
就是英伟达CUDA那种就是通用的
我全都可以绕过
所以在这个上面
其实是没有冲到英伟达的壁垒
只是DeepSeek提供了一个
就比如有个墙
现在有一个人
大家以前都觉得翻不过这个墙
现在这个人跳过去了
然后他说哎
你看我可以跳过去
你们也有可能跳过来
但如果这个人开远了
大家开始用他的模型了
但是不行
就是只能他跳过去
不是说就是他跳过去了
别人现在也都能跳过去
这就是这件事情
他为什么冲击了衣架
但是没有打倒壁的
就这个墙没有变低
但这个人现在告诉大家他可以过去了
他说it’s possible to go over
那你们其他人能不能过来呢
我只是提供了一个精神上的一个鼓励
啊就说这件事情是有可能的
嗯
对GPU的需求会减少吗
因为他们这次训练成本低
所以某种程度上
把这个股市的跌也理解成
是不是大家需要更少的GPU
就可以训练出更好的模型了
对就是
如果就是训练这一个模型的话
那是这样
但是DeepSeek出来真正的伟大的意义是在于
它重新激发了做AI这些人的热情
那这么来看的话
应该是会有更多的公司出来
他们会买更多的芯片
所以这件事情有可能是溢价降低
销售量变大这么一个事情
所以那他最后市值是变大还是变小
你就看你中间的这个比例是怎么样
你自己的观点呢
这个不好说吧
这个还是得看application
就是25年大家能玩出来什么花样
如果之前觉得
application出不来的一大阻力是GPU
价格的话
那应该因为大它的市值会涨
就等于现在这个价格变成1/10
甚至更低了
那这个阻力就不在了
但是如果它的阻力是别的的话
那就不好说了
所以其实就是越多的AI应用出来
DeepSeek把这个门槛降得越多
从GPU的需求上来说
整体上是对英伟达更利好的
对因为application出来的这些人
他不会自己雇一个团队
去把DeepSeek干这些事干一遍去
他绕过CUDA去搞什么PTX
就他出来都会是一些很小的这种公司
他只是想要拆箱就可以用的这种solution
所以这样的话它还是英伟达
所以英伟达应该最想看到的局面是
更多的AI公司出来
更多的AI公司出来
他们需要的是模型的GPU
还是更多的推理芯片
我其实个人感觉
推理芯片后面也会是英伟达
我不觉得这些小公司长期有一些优势
他短期肯定是大家都有优势
如果一直是用DeepSeek的话
那确实是有一些
但是长期我觉得推理可能也是因为打
训练也是因为打
嗯为什么推理是因为打啊
就是因为它还是CUDA
然后它还是这个行业的龙头
刚才说那两个壁垒其实也没有动摇
这些ASIC公司主要的是两个问题
一个是软件支持不够
另一个是硬件其实是没有壁垒的
就像我们看一些Groq啊
Cerebras啊这种公司
它们其实是一个大的Wafer上头
然后做这种芯片
当然其实就是在硬件上看来
它只是一个Cuda core
和Tensor core之间的一个比例
它并不是说我在某项上做到了
英伟达做不到的一个东西啊
你比如说TPU
TPU它其实100%都是Tensor core
但是你说英伟达要想做100% Tensor core
它做不了吗
也不是它只是觉得100%都是Tensor core
没有这个市场
所以他如果觉得
就是我哪天想做Groq这个比例
我觉得英伟达要做那个没有什么难度
就他其实硬件上
我身上没有看到很强硬的壁垒
大家其实基本有点趋同的趋势
然后软件上是它另一个大的问题
就这些ASIC的这种公司
软件的维护其实做的都不是特别好
就是连做到PTX那一层的维护
都不是特别好
就连TPU TPU用的也是英伟达的PTX对吧
它的instruction set
所以这两个就导致了
可能英伟达还是一直占有龙头地位
推理芯片对软件的要求也同样高吗
我其实是在想这样一个问题
就是比如说
在整个GPU跟训练的这个芯片上
英伟达有绝对的垄断地位
是因为它的整个的软件
你是离不开
或者很难绕过这一套系统的
但是推理上它方便绕过去吗
推测对软件要求也很高
你还是要去调用
底下的GPU的一些底层的instruction
所以像Groq
他们不是说自己性能很好吗
但是他的软件侧其实还是没有建起来
对
Groq软件侧
比英伟达软件侧还是差得非常远
所以你看他们现
在做的模式其实越来越重
他刚开始就做个芯片
现在他又做了自己数据中心
然后又做了自己的云
他就等于把这一套vertical全部在站着
但他资金跟英伟达比可差得很远
他凭什么能做的更好
那你觉得现在市场上
有非常值得关注的芯片公司吗
我觉AMD有一定可能吧
但是其他的ASIC我觉得可能还差一些
但是就看AMD来说
应该跟英伟达还是有很长一段距离
嗯如果从投资创业这一块来看
你觉得有公司在
芯片未来的推理策他是能成的吗
啊我个人感觉就是
如果要在芯片这块创新
可能更多聚焦在芯片的软件
这块的维护
可能会好一些
而不是去在硬件上做一些比如DDR啊
tensor core cuda core这之间比例的一些调配
我觉得这块其实是没有什么意义的
你等于只是在帮英伟达当一个大头兵
去看一下就这个比例有没有人要啊
但是其实你建立不了什么壁垒
但是软件这块
其实是有挺大的优化空间
就是
你要做出一套比CUDA更优的一个软件
可能这块会有很大机会
但也不是一件很简单的事情
嗯中国的公司有机会吗
华为所有人都有机会
哈哈哈
对我是在想这样的一个问题啊
就是因为美国对中国有芯片禁运嘛
那他们其实也更有动力
去在底层上去做一些研发
包括在软件侧去做一些研发
因为你刚刚提到了
其实芯片侧它的研发
硬件上大家都有一种趋同的趋势
那如果在这样的一种高压的环境下
比如说有一些公司像华为
他们也财大气粗对不对
他也可以在软件侧去做一些重的投入
然后把这个生态给逼成了
啊华为是有可能的
如果中国的话
它硬件上还是需要做出一些进步的
就硬件还是有门槛的
对因为中国连生产芯片的这一块
都被制裁了
它不是说英伟达一家在制裁它
它是从高速内存到芯片的组装
到packaging
到底下台积电这块生产芯片
到ASML卖给它光刻机
它是整条产业链全部在制裁中国
所以中国如果要出芯片
像华为那它不仅是一个软件的问题
它是整个制造的这一条链
全部要搞出来
然后再把软件搞出来
嗯懂了
解释的非常清晰
这次其实DeepSeek出来了以后
我其实反而觉得
对英伟达这样的公司是一个利好
之前的话
大家有一个想法
Transformer出来了以后
哎这七年之内
Transformer的这个架构它没有变化
那么如果以后一直是这样的话
那么对于英伟达来讲
是一个非常不利的消息
因为你像CUDA
它最擅长的一点就是说它是通用性
它支持很多不同的架构
然后所以在模型架构快速改进的时候
这个是对英伟达是最好的
假设一旦说我们从某一天开始
所有的模型的架构不在变了
那你就可以想象啊
那是不是我就可以做ASIC了
对吧
那我就可以专门优化这个Transformer
attention的
这个mechanism
等等的但是恰恰是
比如说像DeepSeek它用到了MOE
它用到了Laten Multi-head Attension
这些对layer进行改进
对这种计算进行改进了以后呢
又回到了一个哎
模型又要改进了
对吧
这个对于英伟达来讲是一个利好
可能会对OpenAI来讲不是非常利好
因为像Sam
他自己也出来说了
如果你能找到比Transformer更好的
这个架构
那我们很多的investment都会in trouble
我是觉得eventually这个架构还是会变
你像DeepSeek这次出来以后
它在推这些架构的改变
包括之前从MOE出来以后
推这种架构的改变
这可能对于OpenAI
这样的公司来讲的话
是一个冲击
嗯对
因为我注意到
其实大家这次说DeepSeek
R1做的特别好的是推理能力嘛
能不能给
就是我们普通不懂技术的听众
普及一下
什么叫做推理能力
就是为什么推理是很重要的
那如果不是推理
它的另一端是什么
推理的话
其实就可以认为是
我要做一个复杂的任务
我直接无法输出这个的结果
所以我可能要中间有些草稿纸
可能要做一些计算
依赖这些中间的过程
我可能输出结果
也可能要做更多的计算
所以基本上就可以认为
不管是推理也好
不管是plan也好
还有reason也好
都需要刚才我说的这样的一种能力
就是说我现在要解决一个问题
或者说我看到一件事情
它发生了
我想知道哎
它为什么会发生
然后你要往前倒在
我的定义里
我管这个叫做reasoning
就是反向的去思考
可不可以用现实的生活举一些例子
比如说数学式推理
代码式推理吗
代码的话
其实取决于这个任务的复杂性
它是否需要中间步
凡是需要中间步过程
我认为都属于一种推理的过程
不需要中间步的任务有哪些
能不能举几个例子
方便大家理解
咱们就以以这种language model agent的一个方式
来举个例子
对吧就是比如说今天的天气怎么样
那么这个任务的话
就相当于是一个非常直观的一个问题
对吧
就是说我现在想知道天气是什么样
然后这个语言模型
它可以直接调用天气的这个API
把天气给我拿过来
这个任务就结束了
它这不算推理
嗯对
不算推理
但是以下这个任务就算是推理
比如说我现在在加州
在Palo Alto
我现在要去纽约
能否给我找一个最快的一条路线
那么你这时候你会发现哎
有几种路线
可能是坐这几班飞机
这么着可以过来
然后也可以是说
我可以先开车到附近的一个机场
然后再去搭乘这样一班飞机
对吧有不同的这种选择
那他就需要一些中间部
调用API也好啊
自己的一些思考也好在里面
对所以发展大模型
最核心的是发展他们的推理能力吗
或者说一个大模型
我们去判断他的一些核心的能力
只有哪几部分是特别重要的
我觉得发展大模型在我看来
有几个非常重要的任务
不光是这种推理
和planning
为什么大家对推理和对规划的能力
非常的重视
因为很多听众可能都听过一个
就是有一篇非常著名的文章
是Rich Sutton写的
叫做The Bitter Lesson
然后我觉得这个写的非常非常好
就是他在2019年写这篇文章
我每年都会让所有的同学
全部重新读一遍
这个文章就是do not try to be too smart
这里边他提到了两种最general的能力
来自于一种是学习
一种是搜索
实际上是学习的过程
你大模型之前的
比如说在这种无监督学习啊也好
他的fine tuning
就是后边的监督的fine tuning也好呢
它其实你可以认为
规划到学习这个方面
那么现在的说的
这种推理和规划的能力
实际上它是一种搜索的能力
所以这两种它都反复出现
DeepMind就比如它冲在前面
其实是它很侧重的是后面的
搜索的这个能力
对吧他如果做这种Alpha Zero啊什么的
做这些Alpha go啊
他做了很多这样的工作
那么这两者结合起来
显然是应该结合的
然后这次DeepSeek R1他也做的是
说是先通过自我的启发式的搜索
然后再通过学习
用这样一个Rule Based的方法
其实把这两种能力结合起来
那么我觉得这是很重要的
但是在发展大模型的过程之中呢
我其实觉得还有一个至关重要的点
我认为如果你想通往AGI的话
发表回复