Meta大模型成了“科学造假发动机”

2022-11-18 21:49:55 来源:网络

Meta最新大模型差点成了“科研造假发动机”,刚出3天就在争议中下架。

1200亿参数语言模型Galactica,在4800万篇学术论文和各式教科书、百科等数据上训练而来。

(与太空堡垒卡拉狄加同名)

其本意是想解决学术界信息过载,帮助研究人员做信息梳理、知识推理和写作辅助,一度被认为是“科研者的福音”,或者“写论文的Copilot”

But,一经开放使用,很快就被网友们发现了大问题。

它确实能为自己生成的内容引用文献,但有时这个文献并不存在,作者却是真实存在的人

它能生成看起来像模像样的科普文字,但内容却是完全错误的

真空中的光速和声速接近可还行?

著名的Gary·AI悲观主义者·Marcus也来吐槽,Galactica把他的出生日期、教育经历和研究领域等信息全搞错了。

对以上种种问题,马克斯普朗克智能系统研究所所长Michael Black总结道:

这将开启一个科学深度造假(deep scientific fakes)的时代。

会出现研究者从未写过的虚假论文,这些论文随后会被其他真实的论文引用,简直乱套了。

虽然他也注意到,Galactica的开发者在每个输出内容后都加了“内容可能不可靠”的警告,但“潘多拉的魔盒一旦开启,就关不上了”。

事实上他的担忧不无道理,AI生成内容的速度要比人类快的多,一旦大量被搜索引擎抓取就有可能出现在前排,甚至被当成正确答案展示在最上面,误导更多人。

这样的争议持续了两三天,团队只好无奈宣布Demo暂时下架,论文和源代码继续开放给相关领域研究者。

作为Meta首席科学家,LeCun对这个局面并不满意。

与他观点一致的网友认为,Galactica是有帮助且有趣的,只是被个别人滥用了。

本意是好的

Galactica由Meta AI与Papers with Code合作开发。

在论文引言部分,团队写到:

2022年5月,arXiv上每天平均新增516篇论文……科学数据的增长速度更是比人们的处理能力快……一个人已经不可能读完特定研究领域的论文。

搜索引擎不直接组织信息,维基百科这样的形式需要人力来维护,研究人员持续为信息过载感到不知所措。

因此他们提出,语言大模型可以更好的存储、组合和推理科学知识,并提出一个终极愿景:

神经网络将成为科学研究的下一代人机界面,就从这篇论文开始。

本意是好的,而且Galactica的表现也确实不错。

除了文本、数学公式、代码任务之外,它还可以执行化学式、蛋白质序列等多模态任务。

Galactica 1200亿参数版本在许多科学类任务上性能超越OpenAI的GPT-3、DeepMin的Chinchilla与Gopher、以及开源的BLOOM。

然鹅,测试基准毕竟是死的,一旦进入生产环境开放给用户,还是会出现开发时预料不到的情况。

问题出在哪?

在Hacker News上有人认为,语言模型终究是在“对语言建模”而不是对内容。

就像AI绘画模型一样,你让它画“骑马的宇航员”它就能画出来,虽然这不太可能发生,但是很有趣。

类似的讨论也发生在Twitter上。如果你让AI生成一篇关于“生活在太空的熊”的维基页面,AI也会试着生成。

有人认为,不,AI需要判断出这个要求不合理。

关键就在于,人们对图片和文字的要求是不一样的。

图片中的内容不合理,人们只会觉得有趣而接受。而文字的内容错了,那就不可接受。

LeCun则认为这种工具的用法应该是辅助驾驶,它不会帮你写好论文,只是帮你在过程中减轻认知负担。

以谷歌为代表的AI大厂,近年来对大模型特别是生成式模型的发布非常谨慎,像是对话模型LaMDA和AI绘画Imagen等都不开源、不给Demo或只给限定场景下的Demo。

另一方面,以Stable Diffusion为代表开源项目推动了整个领域的技术进步与应用普及,但也在版权和生成有害内容方面引发一些问题。

你更支持哪种做法?或者还有第三条路么?

,lg双子座大厦 Meta大模型成了“科学造假发动机”

相关:

京东物流2022年Q3与德邦并表 营收357.7亿元凤凰网科技讯 11月18日消息,京东物流发布2022年第三季度业绩。财报显示,三季度,京东物流首度与德邦并表,营收达357.7亿元,同比增长38.9%;其中,外部客户收入达到248.7亿元,同比增长67.8%。三季度京东物流净亏损2.873亿元;经调整后净利润达4.5亿元。有业内人士指出,京东物流在2022年实现连续两个季度盈利,盈利能力超出市场预期,又一次印证了“以柔韧应万变”的一体化供应链对企业抵御风险、快速响应市场、降本增效方面..

京东2022年Q3营收2435.4亿元 同比增长11.4%凤凰网科技讯 11月18日消息,京东集团(NASDAQ:JD,HK:9618)发布2022年第三季度财报。财报显示,京东集团第三季度营收2435.4亿元,同比增加11.4%;第三季度归属于普通股股东的净利润为人民币60亿元,去年同期为净损失人民币28亿元;非公认会计准则下归属于普通股股东的净利润为人民币100亿元,去年同期为人民币50亿元。用户数据来看,截至三季度末,京东集团的年度活跃用户数达到5.883亿,环比净增超过750万。财报显示,截至..

被误解的亚马逊:它正在走向另外一条道路相比国内,近一年的老牌硅谷玩家日子过得也不太顺遂。前有扎克伯格押注元宇宙在Meta内部进行大裁员,后有马斯克入主Twitter后开始清退运动,就连一度被外界认为最稳定的亚马逊,也于近日被爆出裁员消息:Insider报道称,被裁员的员工收到了神秘的邀请,要求他们和领导举行强制性会议。种种迹象,似乎在宣告着一个时代的结束。当然,这是有一些征兆的,从今年上半年亚马逊给资本市场交出的成绩单中可以一窥端倪:根据亚马逊2022年..

10多亿买世界杯转播权,抖音能回本吗?四年一度的世界杯即将在卡塔尔开幕,球迷黄维在社交平台发了一个帖子:“抖音竟然可以看世界杯了!”他告诉时代财经,在手机上看球更方便,“这是梅西的最后一场世界杯,我已经在抖音预约了阿根廷场的直播。”11月16日,中央广播电视总台发布关于世界杯版权保护的声明,声明显示,除了中国移动咪咕、抖音、上海五星体育频道、广东体育频道、广州南国都市频道和广州竞赛频道已获得总台授权外,其他任何机构均未获授权传播卡塔尔世..

供过于求?三星、LG等厂商全面减产LCD面板:需求暴跌11月18日消息,近日,研究机构Omdia的最新报告显示,由于韩国液晶面板(LCD)产能进一步重组,2023年三星显示和LG显示两家面板厂商的液晶电视面板供应量将同比下降1400万片。(图片来源:Omdia微信公众号)随着各大面板厂商开始“内卷”,现在的液晶面板市场竞争过于激烈,价格也在不断下跌,但是产能却在持续增长,这也导致面板厂商的日子并不好过,所以三星、LG等韩国面板厂商不得不转变产能战略。事实上,除了韩国面板厂商以..

美光揭秘最先进1β内存:13nm工艺、无需EUV光刻机全球DRAM内存芯片主要垄断在三星、SK海力士及美光手里,三家的份额高达95%,同时技术也是领先的,美光前不久更是抢先宣布量产1β内存芯片,这是当前最先进的内存芯片。内存工艺进入20nm节点之后,厂商的命名已经发生了变化,都被称为10nm级内存,但有更细节的划分,之前是1x、1y 和 1z三代,后面是1α,1β,1γ。在1α,1β,1γ这三代中,三星在1α上就开始用EUV光刻工艺,但是代价就是成本高,美光现在量产的1β工艺就是最..

WiFi7路由器虽已发布 但如今却还不是“完全体”在本文开始前,大家不妨先来想想这样的一个场景。在面对一个四车道、已经很拥堵的高速公路的情况下,如果你是它的规划者,请问会作何种选择来缓解拥堵?A.增加到八车道B.把最高限速翻一倍从纯粹理想的角度来说,这两种做法所能达成的效果,乍看之下似乎是一样的。但仔细想想就会发现,真正到了实践中,一方面并非所有车辆都有可能跑满限速,另一方面高速公路的收费站本身就是个“堵点”,而它显然不怎么受提高限速的影响。也就是..

光伏租赁骗局,让光伏下乡从“脱贫”成“困局”?“我从来没有贷过款,怎么可能名下已经有16万的贷款?”一位农户疑问地表示,他只是跟一家公司签了份合同,把自己的房顶租出去安装了“绿色光伏”,不明白为什么出租屋顶突然变成了承租公司的光伏设备,而且还莫名其妙背了好几份贷款。这是前几日凤凰网财经报道的一个案例。这几年受政策驱动,光伏下乡如火如荼地在全国各地的农村展开,可不少金融公司却“巧妙”地利用合同把光伏安装之后的风险转嫁到签署了融资租赁合同的农户身..

花一亿元买楼的抖音顶级流量被打假,会步辛巴后尘吗?网红带货打假漩涡最近半个月,抖音网红@疯狂小杨哥很忙,还总和 1 个亿扯上关系。11 月 2 日,小杨哥抖音粉丝破 1 亿,成为短视频领域第一个单平台粉丝破亿的个人网红。相比之下,李佳琦在淘宝直播的粉丝数为 7171.6 万。11 月 3 日,一家前身是光学企业的厂房以 1.03 亿元完成拍卖,网传购楼者为小杨哥。有人感叹「网红干倒了高科技公司」。小杨哥直播回应,楼是公司买的,买楼是为了扩大规模。11 月 12 日,..

国产显卡兼容NV CUDA 网友神评:成立2年的公司比AMD做得更好前不久摩尔线程发布了发布了新一代游戏卡S80及加速卡S3000,不仅规格诱人,而且有几个地方很关键,那就是兼容CUDA计算。用过计算卡的都知道CUDA意味着什么,NVIDIA的加速卡能够在AI及HPC计算领域大杀四方,核心优势就是CUDA,而AMD的加速卡不那么受欢迎,也不全是性能或者架构的问题,也是缺少类似CUDA这样的生态支持。摩尔线程是如何做到支持CUDA的呢?官方之前简单介绍了一下,他们开发了CUDA ON MUSA兼容方案,用户可以将CU..