Pytorch 0.3.0 发布,实现多方面提速,增加对ONNX支持

2017-12-07 14:02:02 来源:网络

原标题:Pytorch 0.3.0 发布,实现多方面提速,增加对ONNX支持

雷锋网 AI 科技评论按,2017 年初,Facebook 在机器学习和科学计算工具 Torch 的基础上,针对 Python 语言发布了一个全新的机器学习工具包 PyTorch。一经发布,这款开源工具包就受到广泛关注和讨论,经过几个月的发展,目前 PyTorch 已经成为从业者最重要的研发工具之一。经过将近一年的发展,日前,迎来了 PyTorch 0.3.0 版本。

根据官方文档的介绍,此次增加了多个函数和功能,多方面的性能均实现提升。

重大变更

0.3 版本中删掉了 Variable.reinforce() 等随机函数,因为它们的功能有限,并且会影响到性能。设置随机函数的初衷是为了避免采样值的 book-keeping,在实际中,由于各种各样的原因,用户的代码中仍然会包括 book-keeping。他们引入了 torch.distributions 包来代替随机函数。

之前的代码如下:

probs = policy_network(state)

action = probs.multinomial()

next_state, reward = env.step(action)

action.reinforce(reward)

action.backward()

现在的代码如下:

probs = policy_network(state)

# NOTE: categorical is equivalent to what used to be called multinomial

m = torch.distributions.Categorical(probs)

action = m.sample()

next_state, reward = env.step(action)

loss = -m.log_prob(action) * reward

loss.backward()

新的功能

1、目前,有些损失函数能直接计算 mini-batch 中每个 sample 的损失值。

2、构建了一个 in-built Profiler,能对模型进行瓶颈分析,这个 Profiler 同时支持 CPU 和 CUDA 模型。

3、增加 Higher order gradients 模块,支持如下层:

  • ConvTranspose, AvgPool1d, AvgPool2d, LPPool2d, AvgPool3d, MaxPool1d, MaxPool2d, AdaptiveMaxPool, AdaptiveAvgPool, FractionalMaxPool2d, MaxUnpool1d, MaxUnpool2d, nn.Upsample, ReplicationPad2d, ReplicationPad3d, ReflectionPad2d

  • PReLU, HardTanh, L1Loss, SoftSign, ELU, RReLU, Hardshrink, Softplus, SoftShrink, LogSigmoid, Softmin, GLU

  • MSELoss, SmoothL1Loss, KLDivLoss, HingeEmbeddingLoss, SoftMarginLoss, MarginRankingLoss, CrossEntropyLoss

  • DataParallel

4、优化器

  • optim.SparseAdam:能实现适用于稀疏张量的简单亚当算法

  • 优化器中增加了 add_param_group 函数,能在构建好的优化器中增加新的参数组。

除此之外,还增加了新的张量函数和功能,在新版本中,能通过 ONNX 将模型迁移到其他框架上。另外,在加速方面,重写 gpu kernel 之后,softmax 和 log_softmax 的速度能实现 4-256 倍的提升;在分布式 AllReduce 中,能实现 2.5-3 倍的性能提升;torch.norm 函数的 backward 能实现 1.5 倍的加速;pack_padded_sequence 的性能也有提升。

雷锋网 AI 科技评论后续也将持续关注PyTorch的更新。

,Pytorch 0.3.0 发布联众云 ,实现多方面提速,增加对ONNX支持

相关:

高通公布骁龙845详细参数:重点支持AI和AR原标题:高通公布骁龙845详细参数:重点支持AI和AR 【中关村在线新闻资讯】12月7日消息,高通发布了旗下的最新移动处理器骁龙845后,终于在夏威夷时间12月6日正式公布骁龙845的具体技术信息。 高通公布骁龙845详细参数(图片来自新浪) 高通称,骁龙845采用了三星第二代10nmLPP工艺,八核架构,四个Kryo385大核心+四个小核心,大核2.8GHz,性能提升25%~30%,小核1.8GHz,性能提升15%,带有2ML3缓存。 GPU升级为Adreno63..

X-T2与GFX混血? 富士X-H1三面稿线曝光原标题:X-T2与GFX混血? 富士X-H1三面稿线曝光 富士X-H1又有了新的外观图曝光,继昨天曝光了相机机身的正面素描图后,今天还又曝光了新相机的机顶草稿图与机身背面草稿图。从草稿图来判断,新相机将加入机顶肩屏。而很明显这台新相机很大程度上借鉴了GFX的机身设计,几乎可以说是X-T2与GFX的混血合体。 富士X-H1的机顶草稿线图,可以看到增加了肩屏 机身正面模拟线稿,能看出军舰部也有造型变化 从曝光照片来看,相机..

《北平以北》公开幕后花絮 制作班底阵容豪华原标题:《北平以北》公开幕后花絮 制作班底阵容豪华 今日,由北京智赢时代广告有限公司出品,北京市新闻出版广电局、中共北京市延庆区委联合摄制,合肥康乾文化传播有限公司发行的鸿篇巨制纪录电影《北平以北》,曝光了一段拍摄花絮。 花絮展现了《北平以北》剧组团队拍摄中,艰苦的“作战”环境,剧组沿着革命先烈的足迹,重走了一遍“长征路”。据艾导介绍,在雪地取景时,雪基本都是齐腰深,而且恶劣的低温天气下,大家..

【求是手机报|理论速递】2017.12.7 星期四 【习近平谈治国理政金句】 ?中美两国关系好,不仅对两国和两国人民有利,对世界也有利。 ?我们有一千条理由把中美关系搞好,没有一条理由把中美关系搞坏。 ?中美关系今后45年如何发展?需要我们深思,也需要两国领导人作出政治决断,拿出历史担当。 ?合作是中美两国唯一正确的选择,我们两国完全能够成为很好的合作伙伴。 ——2017年4月6日,有一千条理由把中美关系搞好 (以上摘编自《习近平谈治国理政》第二卷..

福建省纪委通报5起“为官不为”典型问题最新通报12月5日,福建省纪委通报5起“为官不为”典型问题,进一步严明纪律要求,坚决纠正一些党员干部中存在的“不会为”“不想为”“不敢为”等“为官不为”现象,持之以恒正风肃纪,推进全面从严治党向纵深发展。来看看都有谁被通报了?省公安厅出入境管理局出国室副调研员张秀珍不作为问题2016年8月,张秀珍在受理行政审批事项申请材料时,未按照规定程序出具收件告知单,且对下级单位在审核中存在的不符合程序规定的问题未..

空军新闻发言人回应“空军飞到哪去了”原标题:空军新闻发言人回应“空军飞到哪去了”12月6日,以弘扬强军兴军网上主旋律为主旨的“微博2017军事影响力峰会”在国家会议中心举行,空军新闻发言人申进科大校作了《优化信息供给引领网络舆论》的主题发言,介绍了@空军发布运行情况,回应了网友关注的一些问题。这几天,空军官方微博@空军发布传播的两句话,迅速成为网上热频词:飞了过去没有飞过的航线,到了过去没有到过的区域。广大网友点赞新时代、新气象、新作为的..

《不负如来不负卿》定档 蓉卓回归之作引期待蓉卓卿见版海报蓉卓剧照演员蓉卓近日,由梦想者电影与企鹅影视联合出品,李云亮执导,蓉卓、牛子藩等主演的网剧《不负如来不负卿》正式官宣定档。该剧讲述了来自未来世界的女孩艾晴遇见了僧人罗坻,用自己的善良与勇敢帮助罗坻踏上了赴汤蹈火的追求信念之旅。实力派演员蓉卓在剧中饰演善良勇敢的穿越女孩艾晴,令人期待值满分。演技派蓉卓之艾晴服化精致眼前一亮《不负如来不负卿》改编自拥有超高人气的同名网络小说,使其在开拍..

重磅!川藏铁路拉萨至林芝段传来好消息!记者从中国铁路总公司获悉,川藏铁路拉萨至林芝段路基主体工程近日顺利完工。川藏铁路拉萨至林芝段自西藏自治区拉萨市起,经贡嘎、扎囊、泽当、桑日、加查、朗县、米林至林芝市,新建正线全长402公里,全线共设昌果、贡嘎、扎囊、泽当、林芝等34座车站。川藏铁路拉萨至林芝段,是中长期铁路网规划中川藏铁路和滇藏铁路的重要组成部分,是西藏地区与川渝黔、华中、华东等地客货运输的主要通道。铁路建成后,将进一步完善区域铁路..

中国平安成为汇丰控股重要股东 持股比例5.01%新闻配图12月7日,中国平安首次披露在国际银行巨头汇丰控股中持股5.01%,并由此成为汇丰控股重要股东之一。凸显出这家中资保险商尝试用增加财务投资的方法提高回报水平。中国平安保险(集团)股份有限公司(Ping An Insurance (Group) Co. of China Ltd., 2318.HK, 601318.SH,简称:中国平安)首次披露在国际银行巨头汇丰控股有限公司(HSBC Holdings PLC, 0005.HK, HSBC, 简称:汇丰控股)中持股5.01%,凸显这家中资保..

【国际财经要闻】黑田东彦:宽松政策仍有必要   日本央行行长黑田东彦今日(12月7日)表示,日央行将推进货币宽松以实现经济改善和物价稳定,继续以2%通胀率作为目标,有利于长期汇率稳定。宽松政策是有效的,极大地改善了经济,就日本经济、物价和金融形势而言,当前的收益率曲线形态合适。日央行将与市场就货币政策密切沟通,以稳定市场预期,实现金融和物价稳定。由于基本工资上升,薪资形势正在发生改变,黑田东彦认为,日..