Datawhale干货
(资料图片)
作者：平凡@知乎，诺桑比亚大学，在读博士
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词：
大语言模型中的涌现现象是不是伪科学？
农文旅融合晒出新花样
我真的忘不掉你歌曲_忘了我忘不了你 吴昊歌曲
北京今有雷阵雨来扰局地伴有强对流天气 明日最高气温回升至30℃
为什么悲伤的音乐 听起来更有感觉？
【天天时快讯】无侣_关于无侣介绍
奥妮克希亚披风怎么获得_奥妮克希亚鳞片披风是怎做的 要什么材料 今日播报
52岁杨钰莹被传怀孕？穿绿色紧身裙小腹明显隆起，走路需多人搀扶
世界焦点！不是武汉户口在武汉上学私立需要什么证件（上私立初中需要挪户口吗）
今日视点：东北三省第一座光储充液冷超级充电站投入使用
三星正准备推出其下一代高端Chrome OS笔记本电脑Galaxy Chromebook2 全球观点
碧梧山馆词（关于碧梧山馆词介绍）
直播预告|乳腺癌如何选择手术方式？术后康复怎么做？医生划重点了 当前视点
因学习问题对10岁娃下狠手，深圳一母亲被判刑！
今头条！钢研纳克：公司仪器板块多款产品可用于半导体或者新能源行业
每日信息：双鱼女和金牛男配不_双鱼女和金牛男配
南方的梅雨季节是什么时候_梅雨季节是什么时候 环球观速讯
郑州市管城区城管局：深化窗口服务意识 优化营商环境_每日消息
108坊故事｜社区有架电钢琴 70岁老人“受邀”天天来弹|世界今热点
05月24日科鲁尔丙烯腈为11000元
ps简单作图教程_ps作图教程
天天最资讯丨扬诚信美德 树文明风尚丨王庄社区：诚信进社区 争做诚信人
三车高速追尾两人被困 ，消防员紧急破拆救助 环球热议
环球讯息：【生猪专题】生猪：从行业现金流角度看生猪行业去产能
源香河南4.0智造工厂投产，聚焦高端肠，发力全国市场，源香底气何在？
深圳能源：接受参与公司2022年度网上业绩说明会的投资者调研
7岁男童随简易筏漂至河中央，警察救援时他还很镇定
读书 | 一部具有先见之明的生态经典——《屠海》提醒人们应当如何与自然相处 天天看热讯
热威电热主板IPO审核状态更新为“已问询”-当前速递
太残忍！宠物猫被邻居高空扔下活活摔死，警方已调查
世界观焦点：粤水电：公司及控股（全资）子公司计划2023年向银行等金融机构申请不超过人民币1,720亿元综合授信额度（最终以各银行实际核准的授信为准）
动态焦点:韩国紧急“救市” 美国“分歧十分严重” 大限将至？
合肥远郊楼市上演“零首付”促销，效果有限|环球热消息
百事通！我国将于2025年底前基本实现垃圾分类全覆盖
建设银行北京分行行长辛-建行北京分行党委书记_环球快资讯
卖20家购物中心回笼现金？万达回应“不予置评”
相关新闻