全球顶级AI科学家李飞飞领衔的具身智能项目到底长啥样?

2023-07-12 07:58:34 来源:网络

《科创板日报》7月11日讯(记者 张洋洋)美国国家工程院院士、斯坦福大学教授李飞飞团队于近日发布了具身智能的最新研究成果,大模型接入机器人,可将复杂指令转化成具体行动规划,人类可以很随意地用自然语言给机器人下达指令,机器人也无需额外数据和训练。

该项目名为“VoxPoser”,相比传统方法需要进行额外的预训练,该项目用大模型指导机器人如何与环境进行交互,所以直接解决了机器人训练数据稀缺的问题。

《科创板日报》记者从官网到采访多位业内人士,一探这位全球顶尖AI科学家具身智能项目“VoxPoser”的真面目。

具身智能=?

《科创板日报》记者在VoxPoser官网看到,大模型接入机器人后,人类可以随意用自然语言给机器人下达指令,就像这样:

image

大语言模型+视觉语言模型,可以在3D空间中分析出目标和需要绕过的障碍,帮助机器人做行动规划,就像这样:

image

更重要的是,真实世界中的机器人在未经“培训”的情况下,可以直接执行任务,就像这样:

image

接入大模型后,机器人是如何“听懂人话”的呢?根据李飞飞团队阐述的工作原理:

首先,给定环境信息(用相机采集RGB-D图像)和人类要执行的自然语言指令。

随后,LLM(大语言模型)根据这些内容编写代码,所生成代码与VLM(视觉语言模型)进行交互,指导系统生成相应的操作指示地图,即3D Value Map(包括在哪里行动,怎么行动)。

最后,运动规划器合成6-DoF动作(上下、左右、前后,6自由度)。

对于VoxPoser项目,北京智谱华章科技有限公司AMiner项目团队在官方微博表示,他们指出了机器人操作中的一个主要瓶颈,即大多数模型仍依赖预定义的运动原语来进行与环境的物理交互。

机器人要灵活运动,依赖预先输入的数据来训练,但后者稀缺且昂贵,所以直到目前为止,机器人也只能实现工程师们预先定义的有限功能。

根据李飞飞团队成员Wenlong Huang在社交媒体的阐述,VoxPoser的原理是不需要对机器人进行预训练,即可有效解决原本的数据难题。

李飞飞团队的研究成果,在国内外社交媒体上引起了广泛的讨论。《科创板日报》记者注意到,一名前微软研究员和亚马逊云专家评价称,“这项研究走在了人工智能系统最重要、最复杂的前沿”,私募大佬但斌也在微博上转发了相关文章。

image

更智能的机器人,AI能力是关键

由于AI的加持,打开了人们对于机器人技术发展和应用场景的想象空间,近期机器人板块热度再次袭来,涨势明显。

一名机械行业券商研究员告诉《科创板日报》记者,近期他们正在密集调研机器人公司,尤其是人形机器人企业,并组织交流,要求是“调研50家机器人企业,交流100场”。

该研究员表示,但市场目前还是在炒作零部件供应商,AI+机器人,现在核心矛盾是AI能力,也即大模型、算法、操作系统等软件层面的构建方案,而真正具备这些能力的机器人企业并不多。

中国通信工业协会两化融合委员会副会长吴高斌接受《科创板日报》记者采访时表示,接入大模型,对整个机器人软件和硬件系统提出了许多新要求。一方面,大模型需要更强大的计算和存储能力。机器人厂商需要投入更多的资源来提升硬件设备的性能,以满足大模型的需求。

另一方面,大模型对软件系统的要求也更高。机器人厂商需要开发更加复杂和高效的算法和软件架构,以支持大模型的训练和应用。此外,大模型的使用还需要更多的数据集和标注,机器人厂商需要建立更完善的数据采集和管理系统。

因此,不同量级的公司对大模型的需求也存在一定的差异。吴高斌告诉记者,大型机器人厂商通常具有强大的研发实力和资源,对于他们而言,接入大模型几乎是必选项,小型机器人厂商的市场需求相对较小,可能更注重成本和性能的平衡,则并不一定要接入大模型。

前述研究员也告诉记者,AI+机器人方向,他们现在最关注的是特斯拉、小米、达闼、优必选这些头部企业的最新动向。

在刚刚结束的2023年世界人工智能大会上,特斯拉、达闼是位数不多展出人形机器人实物的厂商,在两个展区,挤满了前来观展的人员。

image

在AI+机器人的概念下,产业链上哪种类型的公司将更具竞争力也成为了一个关注的焦点。

吴高斌认为,从整个产业链来看,与大模型相关的公司可能更具竞争力。这包括大型机器人厂商、人工智能技术提供商、数据服务提供商等。这些公司能够提供更先进的技术和更完善的解决方案,从而在市场上占据更有竞争力的地位。

,全球顶级AI科学家无线ap是什么 李飞飞领衔的具身智能项目到底长啥样?

相关:

注意警惕!GPT检测器也会造假生成式人工智能的发展像极了脱缰的野马,若光顾着跑,迟早会把马术不精的人狠狠地摔下来。2022 年 11 月 30 日,人工智能对话聊天机器人 ChatGPT 正式推出,迅速在社交媒体上走红,短短 5 天,注册用户数就超过 100 万,两个月,ChatGPT 的月活用户已突破 1 亿,成为史上增长最快的消费者用户。面对生成式人工智能的来势汹汹,显然并不是所有人都已经准备好了。今年 1 月初,纽约市教育部就宣布禁止学生在其学校..

富士康“印度大撤退”,小米呢?文 | 佘宗明压力来到了小米这边。「跨国公司坟场」印度打了一张「万箭齐发」,富士康来了一个「闪」,小米却一个措手不及,直接愣在原地。不得不说,在及时止损方面,富士康不知道比那些A股玩家高到哪里去了。一看到风向不对劲,立马「风紧,扯呼」,然后遁走。原定跟印度矿业公司韦丹塔(Vedanta)共同推进的的195亿美元工厂建厂行动,说终止就终止了——即便这是富士康母公司鸿海在海外的最大项目之一,即便这是双方共同努力..

只有比亚迪,才能救奥迪?作者|李文博编辑|周到头图|微博1988 年,当德国奥迪与中国一汽在长春签署“关于在一汽生产奥迪的技术转让许可证合同”时,这家总部位于德国英戈尔斯塔特的汽车公司一定不会想到,在中国躺着“数”了三十五年钞票后,竟然要开始从自己口袋里掏钱,倒付给中国品牌了。据德国媒体 Automobilwoche 报道,在纯电车领域始终无法找到突破口的奥迪正在努力寻求外部帮助,以缩短其车型开发时间并提升产品竞争力,其中被认为最有效的..

绍伊古宣布:俄军发起反攻在北约峰会召开之际,俄罗斯国防部长绍伊古宣布俄军在前线发起了反攻。俄新社7月11日报道,绍伊古表示,在红利曼基方向,中央集团军第15和第21摩托化步兵旅的突击分队击退了乌克兰武装部队摩托化步兵连在卡尔马济诺夫卡地区的攻势。俄军在对其进行火力打击后发起了反攻,纵向推进1.5公里,沿战线横向推进2公里。此外,绍伊古还表示,俄军已经摧毁了1200多辆敌方装甲车,其中包括17辆德国豹式坦克和12辆美国布拉德利步兵战车。202..

老人当街遗弃双胞胎孙女被行拘!这样处罚太轻了吗?罪刑法定,不能凭想象据媒体报道,近日,南充市一男子因家庭矛盾激烈,将还是婴儿的双胞胎孙女放在绿化带和人行道上。现场视频中,男子将从家中抱出的儿媳衣物抛向马路,转身离开。警方通报,目前该男子因“以其他方法威胁他人人身安全”被行政拘留。对于老人的行为,不少网友认为:行政拘留的结果过轻了。对该男子的处罚是否太轻?网友们热议的“遗弃罪”,为什么不能成立?律师作出了专业解读。遗弃罪为什么不成立?北京市京师..

北大党委书记将率5所高校36名师生赴台交流,国台办回应今天,国台办发言人陈斌华答记者问。问:据悉,北京大学党委书记郝平近期将率团赴台交流,请介绍有关情况。答:今年3月底4月初,马英九先生率团来大陆祭祖参访,在与武汉大学、湖南大学、复旦大学等 3所高校师生交流座谈期间,多次表示希望大陆高校师生也能够赴台交流。应马英九文教基金会邀请,北京大学党委书记郝平同志拟于7月15日至23日率北京大学、清华大学、复旦大学、武汉大学、湖南大学等5所大陆高校36名师生赴台交流。..

国航航班遇晴空颠簸2人受伤,如何应对飞机颠簸?光明网 图7月10日,国航CA1524航班在飞行过程中突遇“晴空颠簸”,国航随后发出回应,颠簸致2人受伤,伤者已送往医院治疗。什么是晴空颠簸?遇到了晴空颠簸,机组人员和乘客该怎么办?7月11日下午,澎湃新闻(www.thepaper.cn)采访了多位民航领域的业内人士进行介绍。11日,中国国际航空在其官方微博发文称,2023年7月10日,国航CA1524航班(上海-北京),机型A330-300,在飞行过程中突遇晴空颠簸,机组和乘务组按程序处置,全..

私建浮桥风波背后的罪与困黄德义在洮儿河边几轮降雨后,洮儿河的水涨了。在吉林洮南市瓦房镇镇林村河段,7月11日,岸边有挖掘机在作业,几个月后这里将架起一座便民桥。洮儿河的这座“桥”最近备受关注。三年前,洮南市人民法院认定黄德义伙同其兄弟,在洮儿河一段河道修建一座浮桥,拦截车辆赚取过桥费,以寻衅滋事罪判处黄德义有期徒刑二年,缓刑二年;另有17名亲属被判缓刑。不过,法院判决后,黄德义并未上诉,直到今年,他开始申诉。目前,白城市中..

长沙发生银行抢劫案?警方通报

最热暑期,带娃涌入39度的北京看医生过去几年,儿科医疗资源紧张、失衡现象受到极大关注,包括北京儿童医院在内的多家机构也在着力推动资源向更平衡的方向分配。作者:张英封图:经济观察网导读壹 || 在北京儿童医院门诊楼,随处可见拎着行李箱的家长,在他们的手腕上,常能看到印有各地医院名字的检查袋。贰 || 一些常见病,其他医院也能解决,但家长们往往希望到顶级医院找知名专家看看。叁 || 与很多医院儿科患儿少、就诊环境舒适相比,刘晓对北京儿童医院..