欢迎收听硅谷101
我是泓君
从ChatGPT到特斯拉V12自动驾驶
神秘的大模型
一次又一次的在工程界
给人们带来惊喜
当人们输入一个数据
大模型就能直接输出一个答案
但整个中间过程是怎么样的
没有人知道
我们把这个过程称为黑盒
也正是因为黑盒的不可解释性
所以AI的安全问题
在当下受到了很多大佬的质疑
有一群科学家
他们在尝试去解开这些秘密
业内呢称之为白盒研究
今天我们邀请到了
加州大学戴维斯分校的助理教授
陈羽北
他博士师从加州大学伯克利分校
计算机神经科学家Bruno Olshausen
博士后呢
师从纽约大学的深度学习专家
Yann LeCun教授
也是2018年的图灵奖得主
被业内称为卷积网络之父
同时他也是Meta的首席科学家
今天我们就来和羽北聊一下
黑盒模型的拆箱进展
以及与之相对的白盒模型
也许不用所有的人都了解黑盒的秘密
但是总要有人打开它
hello羽北你好
你好
然后今天跟你聊这个话题呢
其实我主要是想聊一聊白盒模型
所以你现在是在研究这一块
这个方向
其实它的一个比较大的目标
就是把我们现在看到的这种深度学习
从一门纯经验性学科
向一个科学学科来推动
或者说工程变成科学
其实主要的一个动力
是来自于这种工程上的一些进展
而它的科学发展相对来讲又缓慢
嗯对
那在你自己做这个白盒模型研究的过程中
你有没有发现一些
我们怎么去解释GPT它的输入输出
它到底是怎么推动
已经出来的一些研究成果
我自己的工作呢
早期做过一些
以前有一个模型叫做词的嵌入吧
Embedding
他可以学到一些语言的一些表征
大家当时其实就有一个疑问说 哎
我们做任务的这些性能变好了
可是是什么导致这个性能变好了
所以我们当时做过了
一个非常早期的一个工作
就尝试打开词汇的这些表示
当你把它打开的时候
你会发现一些很有意思的现象
比如说苹果
苹果这个词
苹果这个词
它有一个机器学习出来的一个表示
当你把它打开的时候
你会发现
你可以找到里面的一些元意思
比如其中的一个意思
可能就是代表一个水果的一个意思
然后另外一个意思呢
它代表甜点的一个意思
然后你再往下挖下去
你会找到
哎 有一个意思是技术和产品
那当然
它就指的是现在这个苹果公司的
这些iPhone啊
这些产品
所以你会发现在所有的这些意思里边
你能找到这些元意思
那么顺着这条路呢
你就可以去把这样的方法
延伸到大语言模型里边
当我们学完一个大语言模型以后
我们也可以尝试
在这种大语言模型里面
去寻找它里面所带有的一些元意思
然后尝试去打开
当你做这些事情的时候
你会发现
哦一个大语言模型它有很多层嘛
在初级的这些层里面
它会出现一个现象
是说词语的消歧
比如说像在英文里面有个词叫做left
left这个词呢
它既有可以当做是向左转的这个意思
也可以说我离开的一个过去式
那么具体它是什么意思呢
在当前这个语境下呢
要取决于前后的这种上下文
所以它语言模型你会发现
它在初期的几层里面
它就把这个词语的消歧就做了
在中期呢
你会发现有一些新的意思也可以产生
当时我们觉得很好玩的一个意思是
它就做一件事情
它就做单位转换
一旦你说多少的公里变成英里
这个转换
然后一旦你说多少的温度
从f就是华氏变成摄氏度的时候
它就会被激活
就是这个意思会被打开
所以当时我们觉得这就很有意思
你可以顺着这个路
找到很多相似级别的这种元意思
然后你可以再往上走
再往上走的时候
你甚至会发现有一些这个元意思
它只检测一种规律
这种规律就是说
当你的这个上下文里面
出现了一个重复的一句话的时候
或者重复的一个意思的时候
他就会被激活
比如说在星空联盟的这个广播里面
当你说广播播放了两遍
你就发现这个意思他被激活了
然后或者说你说在歌词里边
我重复了一句歌词
他也会被激活
所以就说
你会用这样的方式
可以去打开大语言模型
以及小语言模型
对吧那么当然这些思路呢
也并不完全是新的
它在视觉的模型里边
其实已经有相当的历史了
就比如说从Matthew Zeiler开始
就是有一些这样的探索
那顺着这个思路
是不是
如果我们知道了它部分是怎么运作的
我们可以从工程上对它有很多的优化
对这个是一个非常非常好的问题
我其实觉得理解的比较高的标准
或者是说做任何的理论
它的一个比较高的要求
是可以指导实践
所以在我们当时做这种语言模型啊
还有词汇的表征的时候
其实当时也有一个目标
就是说当我们理解以后
我们能不能反过来优化这些模型
其实是可以的
就比如说举个例子
如果你在这种大语言模型里面
你找到的一个元意思
这个元意思
可能当它看到某一种元意思的时候
它就会激活那这个东西
它这一个神经元
它就可以被作为一个判别器
你就可以用这个东西来做一些任务
当你找到了这么多元意思以后呢
你可以通过对这些元意思的改变
改变之后呢
你就会说
我这个模型
以前他有一些这样的一个bias
或者说这样的一个偏见
然后
你可以通过对这些偏见的一些调整
如果我能发现它的话
那我可以调整它
最近Anthropic他们做了一个工作
他们能找到这种语言模型
里边的一些可能存在的一些偏见
然后对它进行一些改变
可能是可以使这个模型
变得更加的公平
更加的安全
然后我看到去年open AI
它还有一项研究
它的那项研究
就是用GPT-4去解释GPT-2
看GPT-2到底是怎么工作的
比如说GPT-2的神经元
在回答所有跟美国历史
1800年前后的事情的时候
是第5行的第12个神经元会被激活
再回答中文的时候
是第12行的第13个神经元会被激活
那如果说
我们把它回答中文的这个神经元
关闭的话
它对中文的那个理解能力
就会大幅的下降
包括我们去看
它说到跟加拿大有关的信息的时候
就是第21排的这个神经元
但是我们就看它越往后的这个神经元
比如说它的神经元
到了2,000排左右的时候
那它整个的可信度就已经下降了很多
你有没有观察到这样一篇论文
具体这些数字
我好像没有读到这篇文章
不过这个方法呢
我觉得
其实你如果要仔细想这件事情的话
它非常像是给大脑的神经元做手术
就是相当于
我现在如果有了一个神经的网络
如果这些网络的它的意思
从某种意义上
它能找到一个局部的一个存在的话
对吧它不是完全分散的
然后它是相对能够找到这个意思的话
那么我就可以相对来讲
对它进行一些操作
比如说我把这个神经元切掉了
那你就可以认为它这块的能力
相对来讲就损失掉了
就是人其实也是一样的
就比如说人如果是有癫痫
然后有的时候做完手术了以后
可能会出现某一些语言的一些障碍
对吧但是其他的功能不受损失多少
我觉得是从原理上看起来是相似的
嗯OK
那你觉得你的研究跟OpenAI
包括Anthropic它们
大家都在研究这个大模型的可解释性
它们之间有什么区别呢
就说白盒模型的研究呢
是否我们将来能成功
这件事情我不知道
因为在这件事情上
实际上我也跟我的导师
我们也都讨论过
大家一致的看法呢
是说这件事值得尝试
但是是否会成功
我们都不知道
如果我们回到这块的话
我们其实是想理解这个人工智能
并且通过我们的理解重构它
对吧
构建出来一些从根本上不一样的东西
那么观测就是说从解释性
这个我觉得只是一种手段
就说打开这种模型也好
我做这些实验也好
我尝试去根据我打开的这些东西
来对我的这些模型进行一些调整也好
我认为这都是我们在理解过程中
所谓的一些尝试的一些手段
但是我觉得真正重要的一个
白盒模型的
它的本质呢
实际上要回到这个信号的本身
因为不管是人脑也好
还是机器也好
他们学习的本质呢
是因为这种信号
我们这个世界中存在一些结构
他们也要通过这些结构来进行学习
学的也正是这些结构
那么我们是否可以找到这些结构
背后的规律
以及表示他们的一些数学工具
然后把这些东西进行重组
构建出来一个不一样的模型
如果这件事可以完成的话
我想可能可以带来的一个期望是说
我们可能会提高
我们的系统的鲁棒性也好
安全性也好
可信度也好
但是还有一点
其实我觉得是
如果我们看历史的话
最重要的一点可能它的efficiency
也就是说它的效率会提高
就是这个例子
多少有点像是一个
以前
我们一开始是这种蒸汽机先出来了
后来的才有了这些热力学
这种理论出来了
才能支撑
把它从一门完全的工匠的学科
变成了一门科学
同理到今天来讲的话
我们现在就好像我们第一次在数据上
有了我们的蒸汽机一样
我们从以前不理解我们的数据
终于可以开始做出来
一些AI的这些算法
把数据中的规律给抓出来
所以它会更节能
你要说到节能的话
我可以给你几个有意思的例子
第一个是说肯定是节能
因为大脑呢
它相当于一个
基本上20瓦功耗的一个灯泡
那我们现在的超级计算机呢
它可能要超过百万瓦
那它这样的一个功耗
首先这是节能对吧
第二点是说
如果我们看自然界的
各种各样的这种生物
大自然进行演化的时候
它演化出来的这个生物
它其实效率非常非常的高
比如说我们举个例子
像有一种生物叫做jumping Spider
它是一种特殊的蜘蛛
这个蜘蛛它只有几百万个神经元
但是你如果看它的
在世界中的这些行走的话
它其实是可以做出非常复杂的
三维的曲线
去捕捉它的猎物
比如你在一个很复杂的一个草丛
然后这边是它的猎物
它可能要分析整个的结构
然后它发现哦
我应该先从这下去
然后再走这块
走过来再上去
对吧它要能理解这种三维的结构的
然后到达它的猎物
那它有这么强的这个能力
还要控制自己的话
它只有几百万个神经元
那么我其实觉得最有意思
最有意思的一件事呢
实际上是人对于数据使用的效率
我觉得这个很有意思
你看我们现在AI
在过去其实不长的时间
对吧就是大概也就12年这个样子
12年是从哪一年开始的
呃 14年吧
我们就我觉得从ImageNet
我觉得可以作为一个分水岭
因为ImageNet
多少可以认为是一次对数据scaling
大范围的一次尝试
就是数据
对对对对
对是的
呃
很多人说把AI的发展的这个年
断到叫AlexNet
就是AlexNet出来那一年
也就是说ImageNet
它的性能提高上去了
但是我其实更倾向于看到的是说
在这之前
2010年的时候
这个数据其实从原来的小数据
变成大数据了
这个是一个分水岭
那么在这短短的十几年里面
它取得的进展其实是巨大的
到今天来讲
我们的这种大语言模型
比如说Llama3
我印象中
它现在可能也变得数据量更大了
这应该是13万亿的这个TOKEN
但是如果你想人在自己的一生当中
就在你成年之前
你到底能接受多少的数据呢
不管是图片也好
还是文字也好
我认为比较神奇的
这个数字呢
是10亿
就是你假想这样
我每秒钟都可以获得30帧图像
那么这30帧图像的话
你一个小时有3,600秒
你每天假设你这样做12个小时
然后你做20年
那你得到的大概就是10亿
同样的话
我可以不间断的在做阅读对吧
我每秒钟我可以阅读30个TOKEN
大概10个词这个样子
那我阅读也是像刚才那样
阅读20年的话
我得到的也是10个billing
那问题来了
就是说
人是如何通过如此少量的一个数据
看似少量的数据
跟大模型比是已经很少了
对吧
这样的一个数据
获得如此强的一个泛化的能力呢
我觉得这又是一个efficiency里面
最让我觉得神奇的一点
嗯那你觉得
我们去揭开大模型到底是怎么运作的
跟揭开人脑是怎么运作的
哪个更难
我听起来都很难
这两者他各有各的难法
我觉得他们方法上是相似的
对吧就是不管是人脑也好
大语言模型也好
我都是哎
我尝试去观测他
看他对什么产生了响应
这个方法我其实觉得从David Hubel和Torsten Wiesel就是
当时他们得诺贝尔生理学奖
他们是研究在视觉皮层里边的
这种叫做simple cell
就是人的这种视觉皮层
大概就是在后脑的时候这个地方
然后从眼睛过来
经过中间
然后再传到后边的这个颞叶
他们找到了这样的这种simple cell
并且尝试研究人看到什么东西的时候
这些神经元会产生冲动
然后他就可以分析
我让你看不同的东西
看你有的时候
完全不响应
有的时候呢
他非常高兴这个神经元
然后呢我就想知道
你看到什么东西能
让他兴奋
他们就找到了这个神经元的receptive field
那我们今天来研究
这种大语言模型的话
其实也是相似的
我们来找这种不同的输入
让我们的大语言模型
那我们尝试理解它内部的哪些神经元
是对哪些输入感兴趣
对吧其实是相似
只不过它有个区别
第一个区别呢
我认为是对于大语言模型
我们的优势是
我们其实所有东西我们都可以观测
并不是受限于我们的观测手段
对于人脑呢
你就有很多的受限手段
你以前是可以插一个电极
然后后来呢
你可以插一个电极
上面可变成12个电极
再后来呢
转到脑机接口的那一套是吧
对对对是的
然后现在你可以
比如插上几百个这样的
上千个的这种
但是你毕竟你的观测手段是受限的
不管你是用fMRI
还是用不同的这种Neuropixel啊
这种侵入式的
非侵入式的
他们各有各的局限
所以大语言模型给你一个天然的好处
就是说你的观测手段不再受限了
如果你有更好的方法
你就可以尝试去分析
甚至你还可以
整个模型还是可微的
对吧你可以通过一些微分的方法
进一步的分析
但他的缺点是大语言模型的能力呢
我认为还远远不及大脑
尤其是这种大语言模型
如果我们给他一个例子的话
他只从这种语言里面来学习这个世界
他的对世界是理解是不完整的
就好像是说一个人
他没有了其他的感官
只有语言
大脑处理的是更多维的信号 对不对
它除了语言还有嗅觉
非常多维
对
听觉
对
就是说它的这种感官的丰富的程度
它对世界的理解呢
很多的时候
甚至有的时候我们可能会想一个问题
就是说语言是否是完备的
如果没有其他感官的支撑的话
语言里边是不是所有的概念
都可以独立的存在
发表回复