其实我刚才很同意Keith说的
其实Infra的一个很强的可能性
就是基础设施
是找到一个可以交钥匙的一个点
就是你成为一个小型的操作系统
可能在某一类的垂直场景里面
你变成一个操作系统
你不用说我一下变成个浏览器或者iOS
但是我可能是在某个垂类里面
可能能成为一个iOS
交钥匙意思说我上面的应用层
我拿过来还就能够实现它了
但是
你想做一个非常泛的一个操作系统
其实肯定是有难度的
就是一下
让所有的应用都能直接用你的
他就可以上了
直接就不用埃森哲了
这个其实确实是有难度的
但是我觉得可以探索这么一条道路
这样你跟底座的关系也比较容易切分
因为还是这个意思
底座都想通用
他们一定不会想
在任何一个特别垂类的一个里面
去深扎的
他总想把所有的这些行业
他就想做那个叫做AI+
他说我是AI
我要加所有的东西
所以这块儿是我觉得是有机会
对
其实我最近有跟一些创业者聊天啊
他们就觉得
其实如果是做ToC的应用的
话在硅谷融资没有太多的优势
就是因为他们普遍判断
硅谷是更加偏ToB的市场的
我不知道中国的情况怎么样
就你觉得中国这种做ToB的市场
跟Infra架构附近的事情成立吗
因为其实在过去的这么多年里面
我们看到硅谷的SAAS公司
发展的还是非常成功的
但是在中国
我觉得整体上下次没有起来
当然我觉得用户付费意愿是一个方面
还有中国的大公司
他其实把创业公司能做的事情都做了
应用一个方面
但是这次在基于大模型的这个创业
我不知道你们会不会看
中国的ToB市场
以及你觉得他的终局
他能不能起来这样的一批独角兽
对首先我们肯定两边都看ToC
to b其实是个非常复杂的问题
因为传统来讲
确实美国的ToB文化更强
归国的ToB文化更强
中国历史上都是比较
因为ToC的退出是最多的
就大的退出
这些巨头其实都是从ToC开始的
中国的ToB文化相对是偏弱了
那我们如果打破地域上呢
如果我们只是看
因为现在AI确实太早了
你很难说
我其实不是那么相信
就是一定会一下就分成一个
哪个国家的AI
因为现在大家都很早期嘛
从我个人的判断来看的话
我借用互联网的这个经验
其实还是应该ToC
你觉得中国是ToC先起来
然后美国我觉得应用ToC先起来
美国应用ToC先起来
对对我是说
做投资我从那个融资的角度来看
你是说哪种项目先起来吗还是
呃不是
我的意思是说就是对对
就是在中国
投资人你们会看ToB市场的这个赛道
会投ToB类的公司吗
确实在中国会
ToB会看的少
确实在中国看的ToC更多一点
哎对
中国的这个相对来说的习惯吧
惯性思维还是会偏ToC一些
对但是你在美国会看ToB
对美国ToB to c都会看
但是我觉得可能还是ToC会先跑出来
但是现在你看到的很多其实是toB
比如ChatGPT很多
其实它还是c端
其实还是ToC的流量
目前看起来会更大一些
那中国对ToB的这个
其实也有它的一些历史上的原因
但事实上你看到国内投的真正的量
投的多的
比如说这几个底座模
因为底座模型的核心其实它是ToB嘛
但是他们现在很多角色
其实可能也会有点像埃森哲
因为他是底座模型
但是一旦他要商业化的时候
就发现很多客户
其实是他需要定做模型
对没有能力去做这事了
是他就
所以这些底座的公司
就承担埃森哲的角色
这其实应用他的商业化的一个
那这个事情为什么让埃森哲去获利呢
还不如我自己就把团队放进去这样
当然实话说
他的这个人力成本是很高的
他也变得有一些劳力密集性的
但是这是它商业化的一个很好的
但它你从它的实质上的而言
它还是ToB的
所以它是也有点
割裂就说一方面
大家对ToB其实是有担忧的
但是真正融资最多的这些公司
其实你可以理解它还是ToB会多一些
因为它很多还是在做这些项目
埃森哲应用个ToB公司吗
是理解理解
最后一个问题就是
我们刚刚其实有不停的提到
Rag跟Fine Tune
你要不要简单的用一两句话解释一下
这两个名词是什么意思
RAG就要检索增强生成
Fine Tune就是微调
其实可以这么理解
就是说这两种都可以放在后训练里面
应该公平来说
OpenAI其实是做了努力的
就GPT这个路线
其实它是有一定的思考的
他们其实是说底座
就是基础设施跟应用层
希望以这种形式来分开
就是说我先做一个预训练
然后剩下的是
我可以把后训练交给应用层来做
后训练就包括RAG和微调
那还有一些公司说
他们是在Llama的基础上再加数据进去
跟原有的那个模型一起训练
这个叫什么
继续训练
我听完你说的这话
大哥里他们应用用微调和RAG
Llama其实就开源模型
他应用
但是Llama就你可以本地部署了
就比如你的私有数据
你用来做RAG和微调的
这些私有数据你可以部署在你的本地
但是如果你用地缘模型的话
大概率你就得放在云上面了
这个是它的一个好处
从这点角度来讲对
其实是是很类似的
就这个Fine tune
其实就很容易讲到一个刚才说的
一直假观点你
Fine tune之后
你可能是因为你的多了一点数据
然后呢看着确实比ChatGPT也好啊
或者是Gemini也等等啊什么
稍微好一点
但是当下一次
这些大模型在更新的一次的之后
多一点数据了
一下就把你这个全都给撵过去了
对这是个风险
这就是我刚才说
在设计这个GPT架构的时候
预训练加后训练的时候
它其实算是没有完全解决这个问题
但是呢这个后训练就rag和微调
一定是非常有价值的
不管你底座再怎么样更新
因为你毕竟有私有数据嘛
这个其实可以做个比喻
我一直喜欢做这样的一个比喻
也不是我发明的
其实在很多其他的地方
预训练很像是一个本科院校
它是做这种通用的一个教育
你一定要是有很多这种下游场景的
所以你会有很多这种研究生院
就是针对每个垂直场景
比如法律我会有法学院
金融我可以有个什么商学院对吧
医疗我可以有个医学院
让他们去继续对你进行教育
但现在大部分的后训练的这个能力呢
我个人是觉得他们还没有能做到这些
他们做的很多是什么
比如RAG RAG想做的什么事情呢
比如说我有一个本科生出来了
但是我想让他去做很多律师的事情
但是Rag的核心点
因为它叫检索增强生成嘛
它其实是什么意思
就是说你不一定能够去上完
法学院的所有的课
但是我把法学院所有的课的这个书本
都整理出来了
然后放在你面前
然后这个本科生呢
就是我在解决这些法律问题时候
我就随时去查这些书
他给你一个很强的一个查书的能力
就叫检索能力
这个大家都能理解
它实际上其实很像这么一个过程
对有人把它叫开卷考试
为什么叫开卷考试
就是我是没有学的
我没有学这些书本
我并没有上过这些
法学院的课
微小就更复杂
但是可以简单
就是说
我也没有办法把你全都送到法学院去
但是呢我给你做很多
有点像上岗培训
就有点像短期的一个
我用以前的监督数据嘛
其实就是说我以前的这些例子
我以前在法学院的这些例子告诉你
然后你按照这个去
一个一个的针对后面的这个事情
对吧但是我觉得它难点就在说
你用这两种方式
后训练的方式
今天其实就没有像我希望的那样
能够真正在后训练的过程中能够加速
这个事给你唠
就是我数据量大的时候
我怎么样真的能变成一个法学院
而不是只是一个一堆法学的书
放在桌上给我看
或者是一段时间的法学的培训
RAG其实现在是一个最火的一个商业
应用最多的
应用最多的
但是呢其实我也很同意
像Jonathan讲的
我们也非常认为现在的rag呢做法呢
应该是不对的
这个比喻非常好
我给你一本上课一本书
因为你很强
然后我问你
我给你出道题
然后你从中翻翻
翻翻你把这题告诉我了
说这个你看这题这么回答对吗
对没有问题
好我给你10本书
你去翻翻翻
又找着了
又告诉我这答案
没有问题
给你1万本书
我不告诉你这个一万本书是什么
我就给你一万本书
OK这一万本书你现在我给你一道题
你给我回答
这道题更难了
非常难的
但是就是按照Scaling Law
他本来应是应该更简单的
结果他越变越难了
因为对
所以我刚才的观点就是说
现在反而数据变成一个负面的
就是我数据越多
我如果用现在的这种后训练的方法
就后训练的人数据越多
反而对他来说
当他都可以放到RAG里面
但rag就说能不能使scale
就是这个
所以1万本书能不能实现我这个
我们一辈的这个能力
观点呢
就是说因为这个数据都是原始数据
就是非结构化的原始数据
在这里面
是大多数
现在都这样的
就我把整个篇文章全都扔进去
我也不告诉你哪个是作者
我也不告诉哪个是开头
哪几个是什么
就没有这种标注的
他是把整个一大段东西
全都扔到Vector DB里面去嘛
然后就结束了
基本上所有人都是这么做的
因为你去做标记这个成本是极高的
所以大家都这么做
就是像刚才Jonathan举的例子
我有给你1万本书了
你去说我现在要找找这个的作者
是这篇文章的作者是谁
他在哪天写的
这是一个就语言模型
几乎它是完成不了的事情
所以说它可能这把对
下把是错的
它没有一个连贯性
它可能从头到尾不仅没有连贯性都给你猜
说是3月7号
其实12月6号完全没有关系的
这是现在一个非常普遍的事情
就是因为整个数据
所以回到之前Jonathan一直讲的嘛
我感觉很有道理
用国内大厂的话讲
就是这个数据的对颗粒度的问题
现在的话Rag有很大的问题了
嗯对
但是我觉得啊
就是因为现在
其实有很多细分方向的应用
就是不管它难还是简单
事情我们还是得做
还是得给大家效果
感觉这些应用也会标配Rag
所以从大家的观点来看
就是说其实Rag是现在
我们没有办法去达到
细分垂直领域的这种精准度
我们暂时用的一个开卷考试
暂时用的一种解决方法
但是长远来看
这种解决方法它的数据并不是越多
然后它就效果越好
反而是相反的
所以它可以是一个过渡阶段的产物
但是它不是一个最终方向的产物
这个结论也不是那么容易做
但目前观察到的是这样
就是我们也希望
它能够持续的这样迭代下去
所以我还是刚才的观
就是你持续做RAG可能会有一些风险
但今天确实没有特别好的解决方案
因为你再往下做
继续训练也好
重新预训练也好
肯定成本都会很高
嗯好的好的
那我们今天的节目就先到这里
谢谢Jonathan和Keith
谢谢泓君
谢谢泓君
谢谢大家
好的这就是我们今天的节目
如果大家喜欢我们的节目
欢迎在你所收听的音频渠道来订阅
我们
中国的听众可以通过小宇宙苹果播客网易云音乐
QQ音乐荔枝FM
蜻蜓FM来订阅我们
海外的听众可以通过苹果播客Spotify
还有在YouTube上搜索硅谷101播客
来关注我们
感谢大家的收听
发表回复