消息称，文心大模型4.0进展比预期快很多，将是基础模型的大升级，理解、生成、逻辑、记忆核心能力都将提升，特别是在逻辑推理、代码和数学等方面提升最明显。
根据我们获得的最新消息，上述消息基本属实。目前了解到，文心大模型4.0实际上已经在小流量测试。
根据我们拿到的消息，文心大模型4.0的参数规模要大于目前所有公开发布参数的LLM，也是国内首次使用万卡集群训练的大模型。这意味着文心大模型4.0的参数规模预计能突破万亿级别。
万卡集群什么概念？国内之前只有华为、阿里透露已建成万卡AI集群，但我们都没看到基于它推出的具体模型。万卡集群就不容易建了，如果用起来发挥最大化作用则更难了。
据分析，正是因为飞桨的深度联合，才能高效地基于万卡集群训练起如此规模的模型。
不仅训练成本在增加，文心4.0的推理成本比3.5增加很多，我们还没拿到具体每千token的推理成本，但据传大概是此前的8-10倍，这还是在高利用率（MFU）的情况下。如果利用率更低，估计成本还会继续增加。
不得不说，大模型真的很费钱。可见，打造领先的底层基础打模型，就是一场巨头的游戏。
根据IDC发布的首个大模型评估报告——《AI大模型技术能力评估报告，2023》，百度文心大模型3.5拿下12项指标的7个满分，综合评分第一，算法模型第一，行业覆盖第一，综合能力在众多国产大模型中遥遥领先。
经过全面升级后，文心大模型4.0的训练速度、推理速度等将进一步提升，能否与GPT-4一战甚至超越后者的表现，我们拭目以待。
相关：
武铁单日旅客发送量超百万人次创历史新高 中新网武汉9月29日电 (秦涛 卢琪)据中国铁路武汉局集团有限公司(以下简称“武铁”)29日消息，当日武铁共开行旅客列车634列，发送旅客近108万人次，创单日旅客发送量历史新高。 今年中秋国庆假期合并，..
总投资141.26亿元 金上一体化示范基地昌波水电站建设开工 中新网拉萨9月29日电(记者 江飞波)西藏自治区昌都市官方29日介绍，近日，随着第一台挖掘机鸣笛启动开挖，金沙江上游川藏段一体化示范基地第五个核准水电站——昌波水电站正式进入工程建设阶段。 图为开工..