大语言模型中的涌现现象是不是伪科学?
程序员客栈 2023-05-04 19:54:25

Datawhale干货

作者:平凡@知乎,诺桑比亚大学,在读博士


(资料图片仅供参考)

今天晚上,花了一点儿时间看了两篇文章:

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

这两篇讲的都是emergent behavior,即涌现现象。

大规模神经网络下的涌现现象

在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。

第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。

我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。

意想不到的效果

第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:

作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。

从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。

还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。

甚至可能把人类的生产力解放提前很多。

参考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

大语言模型中的涌现现象是不是伪科学?

2023-05-04 19:54:25

【兎老师】碧蓝航线舰娘强度榜第89期-新增DOA沙排联动舰娘_当前热文

2023-05-04 19:10:56

全球观速讯丨“五一”假期国内旅游收入1480.56亿元,同比增长128.90%

2023-05-04 18:32:52

新华都:当前公司合作的平台包括不限于京东、天猫、抖音、唯品会、拼多多等等,公司将根据市场及实际情况开展业务

2023-05-04 17:59:15

合肥启动“车窗抛物”专项整治行动-当前快播

2023-05-04 17:37:54

全球最新:黔西南州气象台继续发布干旱橙色预警信号【Ⅱ/严重】【2023-05-04】

2023-05-04 17:13:19

广州万隆:震荡分化,结构机会_焦点速讯

2023-05-04 16:53:46

美国投资人:监管失败致第一共和银行倒闭 区域性银行面临风险-聚焦

2023-05-04 16:12:09

与OpenAI不再甜蜜!微软将推私有版ChatGPT:价格是常规版10倍_焦点热门

2023-05-04 16:03:25

全国高考英语怎么说真题卷中

2023-05-04 15:36:28

丽江、桂林、黄山……“五一”节后多地景区股集体大跌,公司回应

2023-05-04 15:05:01

威宁农信联社第二、三、五党支部开展“金融知识进课堂,争做小小银行家”主题党日活动 全球资讯

2023-05-04 14:56:43

讯息:公安部:“五一”假期刑事警情同比下降5.6%,1417场大型活动安全顺利

2023-05-04 14:03:38

【焦点热闻】“五一档”电影总票房超15亿元 中国影史同期第三

2023-05-04 13:39:27

今日报丨人教版五年级下册数学教案百度文库_人教版五年级下册数学教案

2023-05-04 13:01:40

焦点热门:5月4日讯,Mysteel预估4月下旬粗钢产量降幅扩大

2023-05-04 12:20:34

当前热门:微信支付限制怎么解除 微信解除支付限制方法介绍_微信支付限额怎么解除

2023-05-04 12:00:47

重疾险一年多少钱?线上产品和线下产品为例来看

2023-05-04 11:34:49

环球播报:观刈麦拼音版正版 观刈麦拼音版

2023-05-04 11:16:49

【环球播资讯】国家移民管理局:“五一”假期日均125.3万人次出入境

2023-05-04 10:57:26

奥迪q4e-tron2023款纯电动能源类型紧凑型SUV定位 每日短讯

2023-05-04 10:25:37

全国游泳冠军赛:李冰洁追平女子400米自由泳亚洲纪录-世界热讯

2023-05-04 10:06:25

南开学子唱响“青春之歌”庆“五四”

2023-05-04 09:24:03

世界热文:当心AI圈“李鬼”!Meta:假冒ChatGPT的恶意软件正激增

2023-05-04 09:07:50

沪深股市交易提示(5月4日)

2023-05-04 08:35:04

全球新动态:消防灭火器的使用方法_消防灭火器

2023-05-04 08:03:48

【报资讯】岁月无影

2023-05-04 06:46:22

天天百事通!如果离婚彩礼怎么得回来

2023-05-04 06:05:27

德琪医药-B(06996.HK):5月3日南向资金减持5000股

2023-05-04 04:31:40

口组词有哪些呢一年级两字词语_口组词有哪些

2023-05-04 01:41:54

五一假期深圳交通数据三破历史记录|世界快资讯

2023-05-03 23:03:57

AI已让普通人“难辨真假”,白宫召集科技巨头高管探讨如何监管

2023-05-03 22:07:24

发送旅客数量同比增幅超150%:宜昌东站用优质服务迎送万千游客

2023-05-03 21:14:30

世界观热点:市场消息:今年3月,俄罗斯闲置油井的比例达到10个月来的最高水平。俄罗斯已经关闭了部分油井,并对生产数据保密

2023-05-03 20:12:11

复兴亚洲(00274.HK):孙瑞辞任公司秘书

2023-05-03 19:23:29

渤海新区黄骅市成全国第二批 创新型县(市)建设试点

2023-05-03 18:25:04

矿产资源潜力评价

2023-05-03 17:55:31

淄博楼市升温 烧烤流量发力?

2023-05-03 17:04:19

今日播报!交易异动!天沃科技:连续两个交易日收盘价格跌幅偏离值累计超过20%

2023-05-03 15:49:30

拉萨 不负春光添新绿

2023-05-03 15:12:40

对方重婚离婚怎么离

2023-05-03 14:09:36

环球快资讯丨采摘竹笋、下河摸鱼……“五一”假期乡村游备受青睐

2023-05-03 13:10:28

闯红灯交管12123可以处理吗

2023-05-03 12:14:36

标普将第一共和银行的评级从B+下调至CC,信用观察为负面

2023-05-03 11:19:30

沙尘暴在美国伊利诺伊州导致汽车追尾 至少6人死亡

2023-05-03 10:42:30

实时:施瓦茨:美联储下周加息25个基点可能性为85%

2023-05-03 09:59:14

来自星星的你国语版全集观看_来自星星的你国语版全集-世界速递

2023-05-03 08:58:11

天天动态:如何应对不同群体的利益诉求_怎样应对不同群体的利益诉求

2023-05-03 08:04:44

嫩江松花江黑龙江干流已全线开江_世界热点

2023-05-03 06:22:48

远得要命的爱情分集剧情介绍_远得要命的爱情

2023-05-03 05:03:07

专四作文范文200字背诵(通用31篇)

2023-05-03 02:04:54

北京现代菲斯塔,官方0—50Km/h加速时间3.5s,售价19.88万|天天新资讯

2023-05-02 22:52:59

每日热议!以军:加沙地带武装向以色列境内发射22枚火箭弹

2023-05-02 21:44:30

外国小哥早餐店打工记

2023-05-02 20:34:54

全球时讯:探访哈市私拆承重墙高楼:多层墙裂已搭架加固 居民称“胆真大”

2023-05-02 19:22:25

焦点消息!拳皇2000塞斯出招表

2023-05-02 18:17:31

今日17时30分起海口这些路段将适时实施交通管制[图]_世界快资讯

2023-05-02 17:22:21

布罗格登:过度包夹哈登让我们付出代价 他很会传球&他身边有射手_世界报资讯

2023-05-02 16:19:24

《DNF》刺客110级常规MP流装备搭配介绍 世界热点评

2023-05-02 14:54:05

超燃!19岁浙江小将在杭州打破亚洲纪录,8块腹肌引爆全场!

2023-05-02 14:13:49

宋金文学的交融与演进 精装_环球头条

2023-05-02 13:02:55

【天天快播报】广州:二孩及以上家庭公积金贷款计划上浮30% 最高可贷130万元

2023-05-02 12:13:48

【北京·导展】5.11 | 遇见勃鲁盖尔:16 17世纪欧洲画坛大师真迹展

2023-05-02 11:01:38

信义当头 守诺如金 天天新消息

2023-05-02 10:30:47

MotoGP赫雷兹季中测试:贝塞奇最快 本田集体摔车

2023-05-02 09:58:42

挑战压轴题·中考化学-强化训练篇 修订版

2023-05-02 08:47:41

假期不打烊项目加速“跑” 山东全省各地重点项目加紧施工_环球视讯

2023-05-02 07:47:30

美高梅中国(02282.HK):一季度收益净额6.18亿美元 同比增加130% 热点在线

2023-05-02 06:35:13

全球最新:餐饮商家请注意,这里有一份春日营销“秘籍”,请查收!

2023-05-02 04:57:57

全球观速讯丨九流分别是哪九流_九流是哪九流

2023-05-02 02:47:13

今日要闻!美国最新数据分析:美国4月Markit制造业PMI终值改善50.2

2023-05-01 23:58:09

全球球精选!洪九果品2023年一季度营收净利双增 核心单品榴莲维持163%高增长

2023-05-01 22:00:46

世界微资讯!今晚80后脱口秀爆笑集锦_今晚80后脱口秀

2023-05-01 21:02:54

当经济过热时宏观经济政策应_当经济过热时应该采取什么货币政策它对经济有什么影响_全球快讯

2023-05-01 19:45:39

韶关乳源:瑶乡绽放“志愿红”,游客畅游不“发蒙”

2023-05-01 18:14:56

打麻将过程中如何改变运气 打麻将前如何提升运气

2023-05-01 17:14:04

左侧肋骨下隐痛按压痛 左侧肋骨下方隐痛的原因_焦点日报

2023-05-01 16:09:01

【活跃度】5月1日商品期货活跃度排行榜:原油、纤维板、沪锡位列前三|天天观速讯

2023-05-01 15:23:34

颜宽恒不忍了!遭起诉后首露面,斥台检方政治追杀_今日热文

2023-05-01 14:19:21

【天天热闻】有朋自远方来不亦乐乎读音 有朋自远方来不亦乐乎

2023-05-01 13:10:09

鼠妇是什么动物(鼠妇)

2023-05-01 12:18:30

全球热文:弟弟结婚姐姐霸气随礼18.8万!网友:你还缺弟弟吗?

2023-05-01 11:27:30

“五一”小假期,赤壁羊楼洞古镇人气“旺”!|每日快报

2023-05-01 10:48:35

世界滚动:潭柘寺、戒台寺景区有序恢复宗教活动

2023-05-01 09:55:08

焦点报道:win7任务栏图标错误-(win7任务栏图标错误怎么办)

2023-05-01 09:08:02

个人该怎么去建设网站? 环球快资讯

2023-05-01 08:11:14

治疗妇科霉菌性炎症什么药最好(霉菌性阴道炎症状)|世界今头条

2023-05-01 06:14:12

焦点快播:一尺等于多少平方米换算_一尺等于多少平方米

2023-05-01 04:58:56

“五一出游”,安全出行小提示来喽! 全球今亮点

2023-05-01 00:58:21

天天观速讯丨利物浦vs热刺首发:萨拉赫、加克波登场,孙兴慜、凯恩先发

2023-04-30 23:17:23

理想服务区充电引热议!网友:只有正在充电的理想 没有排队的理想-世界快消息

2023-04-30 22:00:34

欧洲议会议员反问欧洲:我们想做美国附庸,还是对华保持独立关系?

2023-04-30 20:55:13

山东对京杭大运河集装箱船舶实施免费过闸优惠政策

2023-04-30 19:36:52

xrv怎么在仪表盘看胎压(20款xrv怎么看胎压)|全球看点

2023-04-30 18:25:53

世界焦点!高速“红马甲”让群众温馨出行

2023-04-30 17:28:14

国铁集团:严格控制列车超员-焦点热讯

2023-04-30 16:25:57

焦点滚动:隐形守护者结局红色芳华_隐形守护者结局

2023-04-30 14:51:51

压滤机破胶絮凝剂商品报价动态(2023-04-30) 环球短讯

2023-04-30 13:51:03

天天热资讯!列车运行图调整要多久放票_列车运行图调整要多久

2023-04-30 12:42:09

没有社保的人怎么养老_没有缴纳社保的人老了怎样养老

2023-04-30 11:50:16

虞书欣去香港玩了,这组随拍太美啦。美女假期快乐玩的开心呀

2023-04-30 10:54:25

全球关注:首月售2031台,官宣突破1万台,长安逸达销量成谜?

2023-04-30 10:15:45

外资突然买爆!200亿赛道巨头火了,直接买成第一大流通股东?银行股却被卖25亿 当前热门

2023-04-30 09:06:40

天天微动态丨波兰警方封锁俄使馆所属学校 俄称将严厉回应

2023-04-30 08:22:08

牟读姓氏读几声_牟读姓氏怎么读_资讯推荐

2023-04-30 07:51:27

天天微资讯!公安部交管局部署严查面包车超员违法

2023-04-30 07:02:26

一季度全社会用电量超2.1万亿千瓦时 同比增长3.6% 世界今日报

2023-04-30 05:46:51

为了健康应该避免食入哪种果蔬皮 为了健康应避免食入哪种果蔬皮 全球快讯

2023-04-30 03:07:39

夏天丸子头搞一搞,咱们也学袁冰妍一样,化身18岁

2023-04-30 00:45:52

一牛九锁打一生肖(一牛九锁指什么动物)

2023-04-29 22:44:36

【全球热闻】全国公路气象预报(4月29日20时至30日20时)

2023-04-29 21:29:47

男孩花1元买金戒指妈妈慌了 基本情况讲解|环球微资讯

2023-04-29 20:25:59

观热点:地质工程就业前景及工资_地质工程就业前景

2023-04-29 19:14:53

今日趣图:中国足囚笼之队火热引援,主打蹲牢战术,欢迎主动加盟

2023-04-29 18:17:45

“五一”假期,冷空气继续活跃!张家口最新预报来了-快播

2023-04-29 17:11:12

各部门优化措施 服务“最热‘五一’假期” 保障出行畅通有序

2023-04-29 16:37:22

枉凝眉一个是阆苑仙葩一个是美玉无瑕_一个是阆苑仙葩一个是美玉无瑕|当前通讯

2023-04-29 16:00:32

台称大陆无人机“几乎环岛飞行” 天天快资讯

2023-04-29 15:05:18

卡萨诺:米兰双雄都有无缘前四的可能,尤其国米风险更大 当前焦点

2023-04-29 14:16:15

英语如何快速提高成绩 窍门是什么

2023-04-29 13:11:55

环球简讯:AI医生、AI书法家、AI情绪识别设备……一起感受AI生活

2023-04-29 12:23:31

天天视点!博世热力技术更名博世舒适科技,发展可持续的生活方式 | AWE 2023

2023-04-29 11:35:35

人教版高中物理目录大全_人教版高中物理目录-当前短讯

2023-04-29 11:02:51

1亿1签,巴黎为留梅西拼了,造新组合冲欧冠,再见巴萨,姆总满意

2023-04-29 09:55:38

天天即时:艾迪药业:4月28日融资买入1173.43万元,融资融券余额1.44亿元

2023-04-29 09:23:31

风声主题曲一捧春风中文_风声主题曲

2023-04-29 08:18:34

曾豪言“中超要成世界第六”,退休的他也被查了 天天热闻

2023-04-29 06:58:04

建筑信息BIM应用工程师招聘,建筑信息bim应用工程师招聘信息_环球微头条

2023-04-29 06:14:39

东风股份(601515):4月28日北向资金增持6.13万股 当前观点

2023-04-29 05:31:26

孙幼军童话精选/蜗牛小书坊-当前最新

2023-04-29 03:46:52

十二生肖牛的由来_十二生肖牛的故事

2023-04-29 01:45:45

环球关注:大尺度爽片,看完我人傻了

2023-04-28 23:56:44

世体:布斯克茨正在等待,他的续约取决于梅西能否回归 每日资讯

2023-04-28 22:40:53

运河杭州上新:世界上单跨跨径最大反向芬克式桁架桥将亮相|焦点

2023-04-28 21:51:30

贵州完成7个国家级地下水污染防治试点项目|环球头条

2023-04-28 21:30:33

烟火气十足的五一又回来了!橙柿航拍,一组图告诉你今晚的杭州有多热闹

2023-04-28 20:37:55

大学生用“5.12地震”攻击成都球迷?校方通报 每日精选

2023-04-28 20:00:03

全球速读:年轻人的“心头好”!BRUNO携多款厨电重磅单品亮相AWE2023

2023-04-28 19:34:30

齐向东:以“零事故”为目标 守护人工智能时代数字政法安全底线 世界快资讯

2023-04-28 19:07:23

摩比发展4月28日回购9.20万股 耗资2.01万港币

2023-04-28 18:34:36

北京土拍揽金63.6亿 地产大鳄中建系再下一城 世界时快讯

2023-04-28 18:06:50

香河县气象台发布雷电黄色预警【Ⅲ级/较重】【2023-04-28】

2023-04-28 17:29:04

忍者武士拼图_全球热点评

2023-04-28 16:55:08

全球快播:热点题材Web 3.0概念是什么?热门概念股有哪些

2023-04-28 16:35:14

投诉南京站售票员性别歧视,差别对待 世界今头条

2023-04-28 16:10:50

报道:安信信托2022年营收同比下降13.27% 净利亏仍损超10亿元

2023-04-28 15:52:34

被抽中现场检查!海谱润斯闯关创业板:京东方贡献超九成收入,产能利用率较低仍募资扩产

2023-04-28 15:26:05

破案127起涉案金额5000余万 他们重拳打假

2023-04-28 14:55:28

公司股东资格确认纠纷的15个裁判要点(建议收藏)-全球观天下

2023-04-28 14:20:41

环球微速讯:靠出售资产实现盈利!天邦食品业绩下修、少赚6亿,行业仍未走出低谷

2023-04-28 13:40:11

小商品城4月28日盘中涨幅达5%_当前要闻

2023-04-28 12:58:28

孙家坡村

2023-04-28 12:26:50

全球观点:闲花野草逢春春生是啥_闲花野草蓬春生

2023-04-28 12:09:05

天天精选!“最近中虎跳部分沿江路线不让人进入了,因为前几天有人跳下去了”

2023-04-28 11:40:47

义乌跨境进口补贴再降 当前速读

2023-04-28 11:17:19

免耕作业保护性耕作模式 保护黑土地肥力和潜力 天天通讯

2023-04-28 10:59:50

国航加投运力 保障"五一"出行|天天观速讯

2023-04-28 10:34:43

当前讯息:2023年4月浙江宁波市北仑区图书馆编外招聘拟录用人员名单公示

2023-04-28 09:48:22

【金融之最】中国现存最早的股票发行企业|当前最新

2023-04-28 09:45:32

丝路软件城这栋建筑 在海外“出圈”!-当前动态

2023-04-28 09:02:50

环球视讯!中金:美国GDP放缓 “滞胀”风险上升

2023-04-28 08:45:35

integratedperipherals找不到_integrated peripherals

2023-04-28 07:48:20

第一共和银行股价反弹 警报解除了吗?

2023-04-28 07:08:18

每日看点!B费&卡塞米罗&埃里克森联袂首发的比赛,曼联15胜4平保持不败

2023-04-28 06:11:14

湖北宜化(000422):4月27日北向资金减持29.57万股|世界时快讯

2023-04-28 05:15:03

动词短语语文_动词短语-热门

2023-04-28 03:46:35

摩根士丹利预计标普500指数今年将收于4200点以上

2023-04-28 01:12:39

《追光少年》揭示现实中家长与孩子沟通瓶颈|天天快报

2023-04-27 23:18:30

买房用几年的收入比较合理 即时焦点

2023-04-27 22:28:17

【热闻】北京:全力做好“大人流”防范应对工作!

2023-04-27 22:00:06

鄠邑区气象台继续发布大风蓝色预警【Ⅳ级/一般】【2023-04-27】

2023-04-27 21:09:20

好未来(TAL.US)Q4净营收同比下降50.3% 净亏损同比收窄63.5% 世界今日讯

2023-04-27 20:16:44

律师称已将疑似“梅姨”照片上交具体详细内容是什么|今日报

2023-04-27 19:50:24

4月27日江苏新海石化石油焦价格平稳|热讯

2023-04-27 19:21:11

姐姐的秘密_姐姐的

2023-04-27 19:00:26

郑州乡村文旅专线怎么买票

2023-04-27 18:21:05

海南城乡居民养老保险怎么参保?中断是否可以补缴?

2023-04-27 17:53:00

打造“职业健康小屋” 赋能企业职工健康管理

2023-04-27 17:22:24

普联软件:截至2023年4月10日,公司股东总户数为6,368户|焦点短讯

2023-04-27 17:15:56

环球短讯!成都武侯区幼儿园招生报名日程时间表2023

2023-04-27 16:51:56

戴尔公司推出新一代商用笔记本电脑和台式机 世界信息

2023-04-27 16:15:14

速看:爱,就是一场接力!

2023-04-27 15:43:15

西安中宝达共有产权房小区一梯几户?|焦点热门

2023-04-27 15:17:27

每日速递:阿果吉曲_阿果吉曲怎么死的

2023-04-27 15:07:18

用耳朵“看”世界 中南大学“寻光计划”携视障儿童登台演出

2023-04-27 14:25:17

龟兔赛跑的道理50字_龟兔赛跑的道理 天天观点

2023-04-27 13:55:54

世界观焦点:有你的功劳!小佩顿贡献8分6板2断 下半场用拼抢和防守主导战局

2023-04-27 13:00:30

八旬老人乘坐“黑三轮”看病 交警发现后暖心送医

2023-04-27 12:58:54

沧州创业贷款的额度有多大?

2023-04-27 12:15:07

全球今日报丨弘扬伏羲文化 传承中华文明——天水打造伏羲始祖文化传承创新区透视

2023-04-27 11:44:40

天天即时:出现这些情况莫慌!点击收藏五一高铁出行实用问答

2023-04-27 11:11:06

电连技术2022年净利4.43亿同比增长19.27% 董事长陈育宣薪酬136.61万_全球即时看

2023-04-27 10:46:02

北京大兴机场“五一”假期预计迎送旅客61.5万人次

2023-04-27 10:38:16

如何进国外网站查资料_如何进国外网站_快资讯

2023-04-27 10:06:03

Django REST Framework-类视图(一)_世界关注

2023-04-27 09:40:11

环球报道:iPhone又中招!苹果App Store应用商店崩了:重启也没用

2023-04-27 09:15:25

2023年4月26日广东省聚合硫酸铁价格最新行情预测

2023-04-27 09:00:06

宁波银行股价低迷 业绩增长遇“瓶颈”

2023-04-27 08:14:32

宁波市人民政府令!5月起正式施行-当前最新

2023-04-27 07:21:58

天天百事通!竞业达(003005.SZ)拟定增募资不超7.905亿元 用于基于产教融合的实验实践教学产品研发及产业化项目等

2023-04-27 06:03:38