麻省理工学院的新模拟突触比人脑中的突触快100万倍

2022-08-01 09:39:29 来源:网络

访问:

阿里云服务器精选特惠:1核1G云服务器低至0.9元/月

Analog-Deep-Learning-Processor.jpg

可编程电阻器是模拟深度学习的关键构件,就像晶体管是构建数字处理器的核心元素一样。通过在复杂的层中重复排列可编程电阻器,科学家可以创建一个模拟人造 “神经元”和 “突触 ”网络,就像数字神经网络一样执行计算。然后这个网络可以被训练来实现复杂的人工智能任务,如自然语言处理和图像识别。

来自麻省理工学院的一个多学科研究小组着手挑战他们之前开发的一种人类制造的模拟突触的速度极限。他们在制造过程中采用了一种实用的无机材料,使他们的设备运行速度比以前的版本快100万倍,这也比人脑中的突触快约100万倍。

此外,这种无机材料还使电阻的能效高得惊人。与他们早期版本的设备中使用的材料不同,新材料与硅制造技术兼容。这一变化使得在纳米尺度上制造器件成为可能,并可能为整合到深度学习应用的商业计算硬件中铺平道路。

高级作者、麻省理工学院电气工程和计算机科学系(EECS)的唐纳教授Jesús A. del Alamo说:“凭借这一关键见解,以及我们在MIT.nano拥有的非常强大的纳米制造技术,我们已经能够把这些碎片放在一起,并证明这些设备本质上是非常快的,并在合理的电压下运行。这项工作确实把这些设备放在了一个点上,它们现在看起来真的很有希望在未来应用。”

“该设备的工作机制是将最小的离子,即质子,电化学地插入到绝缘氧化物中,以调节其电子传导性。因为我们正在使用非常薄的设备,所以我们可以通过使用强电场来加速这个离子的运动,并将这些离子设备推向纳秒级的操作制度,”资深作者、核科学与工程系和材料科学与工程系的Breene M. Kerr教授Bilge Yildiz解释说。

高级作者、巴特尔能源联盟核科学与工程系教授和材料科学与工程系教授Ju Li说:“生物细胞中的动作电位以毫秒的时间尺度上升和下降,因为大约0.1伏的电压差受制于水的稳定性。在这里,我们在一个特殊的纳米级厚度的固体玻璃薄膜上施加高达10伏的电压,该薄膜可以传导质子,而不会永久损坏它。而电场越强,离子设备就越快。”

这些可编程的电阻器极大地提高了神经网络的训练速度,同时极大地降低了进行这种训练的成本和能量。这可以帮助研究人员更快地开发深度学习模型,然后将其应用于自动驾驶汽车、欺诈检测或医学图像分析等用途。

“一旦你拥有一个模拟处理器,你将不再是在训练其他人正在研究的网络。你将训练具有前所未有的复杂度的网络,而这些网络是其他人无法承担的,因此大大超过了他们所有人。换句话说,这不是一辆更快的汽车,而是一艘航天器。”主要作者、麻省理工学院博士后Murat Onen 补充说。

共同作者包括材料科学与工程系的Ellen Swallow Richards教授Frances M. Ross;博士后Nicolas Emond和Baoming Wang;以及EECS的研究生Difei Zhang。这项研究于7月28日发表在《科学》杂志上。

模拟深度学习比其数字同行更快、更节能,主要有两个原因。“首先,计算是在内存中进行的,所以巨大的数据负载不会从内存中来回传输到处理器中。"模拟处理器还可以并行地进行操作。如果矩阵大小扩大,模拟处理器不需要更多时间来完成新的操作,因为所有的计算都是同时进行的。”

麻省理工学院新的模拟处理器技术的关键元素被称为质子可编程电阻。这些电阻器以纳米为单位,排列成一个阵列,就像一个棋盘。

在人脑中,学习的发生是由于神经元之间连接的加强和减弱,称为突触。深度神经网络长期以来一直采用这种策略,即通过训练算法对网络权重进行编程。在这个新的处理器的情况下,增加和减少质子电阻的电导率可以实现模拟机器学习。

电导是由质子的运动控制的。为了增加电导率,更多的质子被推入电阻的一个通道,而为了减少电导率,质子被取出来。这是用一种电解质(类似于电池)来完成的,它可以传导质子,但阻止电子。

为了开发一种超快速和高能效的可编程质子电阻,科学家们寻找了不同的电解质材料。当其他设备使用有机化合物时,Onen专注于无机的磷硅酸盐玻璃(PSG)。

PSG基本上是二氧化硅,它是一种粉状的干燥剂材料,在新家具包装盒中的小袋子中发现,用于去除水分。它被研究为燃料电池在湿润条件下的质子导体。它也是用于硅加工的最著名的氧化物。为了制造PSG,在硅中加入极少量的磷,使其具有质子传导的特殊特性。

Onen假设,经过优化的PSG可以在室温下具有很高的质子传导性,而不需要水,这将使它成为这种应用的理想固体电解质。他是对的。

PSG能够实现超快的质子运动,因为它含有大量的纳米级孔隙,其表面为质子扩散提供了路径。它还可以承受非常强大的脉冲电场。Onen解释说,这一点很关键,因为向该设备施加更多的电压能使质子以惊人的速度移动。

“这个速度当然令人惊讶。通常情况下,我们不会在设备上施加如此极端的电场,以避免将它们变成灰烬。但相反,质子最终以巨大的速度在设备堆栈中穿梭,特别是与我们之前的速度相比,快了一百万倍。由于质子的体积小、质量低,这种运动不会损害任何东西。”他说:“这几乎就像远距离传输。”

Li补充说:“纳秒级的时间尺度意味着我们在如此极端的场下,接近质子的弹道甚至量子隧道系统。”

由于质子不会损坏材料,该电阻可以运行数百万次而不发生故障。这种新的电解质实现了可编程质子电阻,比他们以前的设备快一百万倍,并能在室温下有效运行,这对于将其纳入计算硬件非常重要。

由于PSG的绝缘性能,当质子移动时几乎没有电流通过该材料。Onen补充说,这使得该设备非常节能。del Alamo说,既然他们已经证明了这些可编程电阻器的有效性,科学家们计划重新设计它们以进行大批量的生产。然后,他们可以研究电阻器阵列的特性,并扩大其规模,以便将其嵌入系统中。

同时,他们计划研究这些材料,以消除限制有效地将质子转移到电解质、通过电解质和从电解质中转移出来所需电压的瓶颈。

“这些离子设备可以实现的另一个令人兴奋的方向是高能效的硬件,以模拟神经科学中推导出的神经回路和突触可塑性规则,超越模拟深度神经网络。”Yildiz补充说:“我们已经开始了与神经科学的这种合作,得到了麻省理工学院探索智能的支持。”

“我们的合作对于未来的创新将是至关重要的。前进的道路仍将是非常具有挑战性的,但同时也是非常令人兴奋的,” del Alamo说。

“嵌入反应,如在锂离子电池中发现的那些反应,已经被广泛地探索用于存储设备。”斯坦福大学材料科学与工程系副教授William Chueh说:“这项工作表明,基于质子的存储器件提供了令人印象深刻和令人惊讶的开关速度和持久性。它为一类新的存储器件奠定了基础,为深度学习算法提供动力。”他没有参与这项研究。”

“这项工作表明,在生物启发的电阻记忆装置方面取得了重大突破。这些全固态质子设备基于质子的精致原子级控制,类似于生物突触,但速率快了几个数量级,”没有参与这项工作的卡内基梅隆大学泰迪和威尔顿-霍金斯特聘教授兼材料科学和工程系主任Elizabeth Dickey说。“我赞扬麻省理工学院的跨学科团队的这一令人兴奋的发展,它将使未来一代的计算设备成为可能。”

,麻省理工学院的模版下载 新模拟突触比人脑中的突触快100万倍

相关:

外层空间深处的中微子“工厂”:来自宇宙深处的基本粒子访问:阿里云服务器精选特惠:1核1G云服务器低至0.9元/月 我们星球的大气层不断受到宇宙射线的轰击。这些由能量极高的带电粒子组成。作为参考,这比世界上最强大的粒子加速器--日内瓦附近的欧洲核子研究中心的大型强子对撞机--所达到的能量多一百万倍。这些令人难以置信的高能粒子来自外太空深处,并已旅行了数十亿光年。它们起源于哪里,是什么让它们以如此巨大的力量穿过宇宙..

科学家对超大质量黑洞的生命周期有了最清楚的了解访问:阿里云服务器精选特惠:1核1G云服务器低至0.9元/月 这项研究为一个令人困扰的空间之谜提供了答案,并应允许研究人员创建有关宇宙演变和黑洞如何发展的更精确的模型。它于7月15日发表在《天体物理学杂志》上。这篇论文的主要作者、达特茅斯学院的博士后研究助理Tonima Tasnim Ananna说:“这些天体在半个多世纪以来一直让研究人员感到神秘。随着时间的推移,我们对这些天..

酒后开特斯拉撞路灯:我坐在副驾,是自动驾驶干的据杭州电视台报道,7月29日晚10点左右,杭州西溪湿地景区福堤附近突然传来一声巨响,一辆白色特斯拉撞倒路边的路灯杆,并开到路边的休息椅上。令人感到不解的是,该特斯拉车主自称,当时自己并没有开车,而是坐在副驾驶位上。距事故现场不远,是西溪消防救援站营区。当晚10点多,副站长黄宗炎听到一声巨响,于是跟几名队员一起前往查看,随后发现一辆白色特斯拉冲出路面并撞倒路灯,倾斜在路边的休息椅上,车主已经自行下车前往..

意外!他是武汉三镇本赛季唯一没登场的新援,未来或有望首次亮相武汉三镇是本赛季中超公认的大黑马,球队能以升班马身份在中超第一阶段联赛取得9胜1平的好成绩,让很多球迷和媒体都刮目相看。武汉三镇高层也没想到球队表现会这么出色,原本他们觉得球队能先立足中超保级,已经是非常不容易的事情。没想到,武汉三镇新援个个都发挥出色,尤其是中场核心斯坦丘在多场比赛都有传射俱佳的高光时刻。所以,武汉三镇在这些新援的帮助下,就高居联赛积分榜第一。武汉三镇主力阵容没有明显软肋,三条线..

C罗「回来」了!可曼联竟然没赢球,这出大戏算是落幕了吧…北京时间7月31日23点,一场本没有多大关注度的友谊赛,却因为有了C罗的出现变得焦点十足。曼联和巴列卡诺的一场季前赛,C罗的名字久违地出现在了首发名单。此前曼联好几场热身赛,都没有看到C罗的身影。大家都知道总裁正因为转会的事情忙得不开交...但这一轮操作之后,C罗还是在原地没有走。这场比赛回到首发,有不少曼联球迷用了「回归」这个词来形容:在他们的心里,C罗在这个夏天的操作仿佛好像已经离队了一样。这场比赛,曼..

孙准浩或无缘中超第二阶段,为何郝伟一点不慌?三大替身浮出水面日前,泰山队正在主帅郝伟的带领下,为即将开打的中超第二阶段联赛做最后冲刺。泰山队踢中超第二阶段比赛,最大的困扰还是球员的伤病。尤其是主力核心孙准浩伤停,给泰山队带来的影响不言而喻。孙准浩上赛季加盟泰山队之后,他就靠着出色的表现,成为了球队的王牌指挥官。这位韩国外援以毫无争议的表现,帮助球队拿到了中超和足协杯双冠王。本赛季,孙准浩虽然为了实现代表韩国队踢卡塔尔世界杯的梦想,在中超联赛表现有所保留。..

扎哈罗娃评佩洛西亚洲行:危险的军事政治冒险行为【环球网报道 记者 张江平】美国国会众议院议长佩洛西当地时间7月29日开启亚洲行。综合《俄罗斯商业咨询日报》、塔斯社等媒体报道,俄外交部发言人扎哈罗娃30日在社交平台Telegram上发文,称佩洛西此行是“危险的军事政治冒险主义行为”。扎哈罗娃当天在Telegram上先是写道:“一方面,(我)想说佩洛西的出行是危险的军事政治冒险主义行为。另一方面,这次出行是‘混淆了梦境与现实’,发生的与这位美国政客有关的一切是如此..

并非无偿 波兰再向乌克兰提供8门“蟹”式自行榴弹炮据波兰媒体31日报道,波兰将向乌克兰移交8门“蟹”式自行榴弹炮。此前在5月份,波兰曾无偿向乌克兰提供了18门该武器装备。报道称,这次向乌提供的8门“蟹”式自行榴弹炮并不是无偿的,而是在履行双方6月初签署的政府间合同。据称,根据合同,波兰将为乌克兰生产60门“蟹”式自行榴弹炮。今年以来,以美国为首的西方国家不断给乌克兰提供武器装备。俄罗斯方面多次批评称,这是在利用乌克兰发起“代理人战争”,推动局势升级。当地..

吹糖人儿,耍毛猴儿,老北京的小玩意儿“味儿”这个字,添上了儿化韵,便不仅仅是香辣咸甜的味道之意,更有一种风格,一种气质,一种人文韵味。所谓“京味儿”,正是北京这座城市独有的城市气质与人文韵味。豆汁、麻豆腐、熬白菜,这是京味儿;四合院、大杂院、黄狗水缸胖丫头,这也是京味儿。估衣街的叫卖声声入耳,胡同里抖空竹的嗡嗡声直上天际,悠长绵远,不是京味儿又是什么呢?京味儿固然发端于传统,但京味儿绝不等于怀旧。时代有殊异,风俗有变革。京味儿文化..

关于精神内耗,梭罗早就开出了药方最近,短视频《回村三天,二舅治好了我的精神内耗》火遍全网,关于当代人精神内耗的解药为何,有人专注于讨论“二舅”的庄敬自强,也有人特别注意到故事的背景板——山村。回到山村去,似乎带有着某种暗示。回到山村,回归自然,在我们心目中仿佛是一种解决现代精神困境的诗意的选择。然而,就像视频创作者也仅仅是“回村三天”,在现实的选择中,我们往往并不会在“山村”逗留太久,一转身,大部分人还是会投入到滚滚红尘中。但..