在做这个事情
因为它不是我们平台的一个问题
它现在是整个社会性问题
其实我们本身在对风险的发现告知
和其他平台的联动
其实已经构成一个完整的体系
等能够让用户在soul里面
如果说遇到了这样的情况
我们能够第一时间触达到它
能够去告知它
去保护它
怎么反杀反骗
能不能举个具体的例子或者场景
其实我们有时候并不知道
比如说他是一个杀猪盘
通过我们的AI
能够去判断出这个用户是有风险的
这个用户他一注册进来
我判断他是有风险的
其实我应该是很快的能够把它处置掉
他不会去跟我们线上
其他的正常用户做连接
但一定也有楼放的
你怎么知道这个用户是有风险的
这是有信号的
是不是有信号的
对一个是有信号
这是我们自己在这块积累的
一些专家知识模型
然后其实我们也会跟其他的平台
去做这样的一个合作
在微信呐
或者其他的会有一些行业联盟
大家一起来把这个事情做的更好
所以是能拿到信号的
那其实有可能会漏掉
有些会新的出来了
一个是外部有信号的
这是已经发生过的
还有个是我们自己专家
某些能够识别的
还有些就是说我们没有识别到的
他就进入到我们正常的用户值
他会去影响我们的用户
这时候
其实用户的危险性其实就会发生
他跟用户的任何的行为
其实我们又有后验的模型去跟踪
一旦发现他有风险
他接触的所有的用户
我们都会要去做提示
要去做阻断
如果说风险性很高的
我们还要去做人工给用户的连接
我们运营和人工的连接啊
这风险性很高的
可能你们的运营会
直接比如说私信给用户
告诉他这样的一些特别的情况
对对对嗯
其实这个处置
我们的平台在这方面的处置
一直在行业内
不管是同行的评价
还是说相关的单位的评价
其实还是很不错的
刚才只是说举的一方面
是用户风险方面
第二个就是说
因为毕竟是一个社交社区
文明礼仪是很重要的
其实我们在对社区的用户教育也好
用户行为的监督也好
也是使用了非常多的有效的运营方式
确保用户
在用户之间
都能够有个欢快顺畅的沟通
就是一些不好的词语可能会屏蔽掉
对不让用户受到困扰
对不好的词那只是一方面
你在社交的环境中
你得做一个有礼貌的人
尊重别人的人
还有一些就是说反暴这一块
反歧视这一块
我们也做了大量的工作
另外还有一些未成年人呢
刚才女性也是一样的
其实我们主要希望是
还是能够构建一个健康向上的
风清气朗的这样的社交环境
能够让用户无顾虑的在上面进行交流
这个是很重要的一个事情
对然后这一块是社交平台的这一块
如果大家收到模型的话
模型的安全性也是需要考虑的吗
你们会怎么样
保证这个用户跟AI交互的时候
这个模型的安全性
比如说不会泄露隐私啊
在用户有不好的倾向的时候
你们会怎么处理呢
模型安全这一块的话
原来我们在做生态建设的时候
也投入了大量的工程师
大量的运营
同学我们现在模型
安全方面也同样投入了大量的这个人
首先第一个是说
大家都认为安全只是做过滤
其实安全它不仅仅只是做过滤
我们在原来的安全体系上面
在模型本身也做了很多工作
第一个在数据方面
其实我们真的是投入了大量的人力
去做一些数据序列
在数据层面
然后第二个是
我们在我们的主体模型在跑路上
我们也构建了这个安全模型
我们能够做一些对抗
然后第三个是说
当我们的生成的内容输出完过后呢
我们还要过我们刚才说的
我们的安全体系
最终才到达用户的交互界面上
嗯
假设有一个用户
在这个模型中提到了如何自杀什么的
你们会
如果提到如何自杀这个
首先他都不会到达我们的模型
就会触发我们
刚才的
我们站内有一些很善意的功能
我们希望当你有这些倾向的时候
我们站内会提供一些
比如说心理咨询呢
或者说可以跟我们的运营同学沟通哦
是真的有心理咨询对
你可以在我们站内搜自杀对
有自杀的关键词出来
其实是会触发我们的战役机制
哦所以
你们是专门为用户配过心理咨询师
或者连接到外面的
然后运营的同学也会关注到热线
即使我们是热线打电话
热线对哦
理解这点还是挺暖的
对因为当你想要这方面信息的时候
其实我们平台会认为
用户已经进入了一个不好的思维里面
他需要更加积极的引导
嗯
非常的精彩那谢谢
好谢谢谢谢
以上就是我们今天的节目
如果你也跟AI做朋友
或者是从跟AI的交流中获得了陪伴
体验感欢迎在评论区给我们分享
感谢大家的收听
中国的听众可以通过小宇宙苹果播客
网易云音乐
喜马拉雅
QQ音乐蜻蜓FM荔枝FM来关注我们
海外的听众
可以通过
苹果播客和Spotify来关注我们
或者在我们的YouTube上
搜索硅谷101播客来关注我们
当然我们录音的文字稿
也会发表在我们的公众号硅谷101上
我是泓君
感谢大家的收听
发表回复