微软开源深度学习工具包CNTK更新2.3版,带来多重性能改进

2017-12-01 19:02:47 来源:网络

原标题:微软开源深度学习工具包CNTK更新2.3版,带来多重性能改进

雷锋网 AI 科技评论消息,近日微软更新了自家开源深度学习工具包CNTK,新的版本号为2.3,带来了多项性能改进。

CNTK全名为Computational Network Toolkit,与谷歌的TensorFlow、Facebook的Caffe/Caffe2一样是开源的计算平台/工具包,意在服务更多深度学习、人工智能的研究人员和开发者们。从2016年开源起,微软就宣传CNTK的性能明显高于Caffe、Theano、TensoFlow等其它的一些热门工具,当然也提供了基于英伟达cuDNN的一到多GPU加速支持。

CNTK在2.0的多个Beta和RC版本中逐步更新了面向Python、C++、C#、Java等语言的API支持,对Keras的后端支持,Python示例和教程、自动安装等等一大堆新功能,接着在2.1中把cuDNN版本升级到了6.0、支持Universal Windows Platform,在2.2中做了许多模型支持相关的改进之后,近日CNTK也发布了2.3版本。雷锋网 AI 科技评论把更新内容简单介绍如下:

CNTK 2.3 更新重点

  • 对ONNX标准的更好支持(关于ONNX看这里)

  • 分布式训练支持切换到NCCL2,带来更好的性能(NCCL是英伟达官方的多卡训练库,详细解读看这里)

  • 改进了C# API 的支持

  • (2.2版本中必须安装OpenCV库)现在OpenCV不是必须安装的,只有当用到TensorBoard Image功能和图像读取功能时才需要安装它

  • 多重性能改进

  • 增加了网络优化API

  • 更快的稀疏Adadelta

性能改进的相关项目包含

  • 改进 C# API,提升训练和预测性能

  • 通过自由动态轴的支持,提升带有卷积操作的网络的训练速度。对于某些模型,训练速度可以提升5倍以上;

  • 提升验证性能,移除了许多不需要的验证检查;

  • CPU 卷积中更多地使用MKL-ML,AlexNet的训练速度可以提升4倍;

  • Linux的正式版CNTK-GPU会默认使用NCCL2,可以降低分布式训练中的聚合开销。对于Python用户来说没有什么影响,Linux的Python自己就带有NCCL支持。BrainScript版本的用户需要先自己手工安装NCCL库作为CNTK的运行环境,就像CUDA和CUDNN一样。CPU版本和Windows版本都不受影响,因为目前NCCL只支持Linux。

  • 提升了梯度稀疏时Adadelta的更新速度。现在每次更新的运行时间和梯度中不为零的元素的数量成正比。对于在单个GPU上运行的带有高维稀疏输入(大约2百万特征)的前馈模型,性能可以提升5倍。内存需求稍有增加,每一个稀疏的输入特征会需要额外的四个字节空间(对前面提到的模型来说一共增加8MB左右的内存需求)

其它值得注意的项目

  • 2.3版本是最后一个支持Python3.4的版本,未来版本的CNTK将不再支持Python3.4。

  • ONNX方面,优化标准支持的同时,ONNX标准也更新到了最新版本;目前已经覆盖了ResNet、Inception、VGG在内的多数计算机视觉模型

  • 增加了GPU上分组卷积的支持

CNTK2.3版本此次发布了运行在Windows下的CPU、GPU、GPU+1bit-SGD、UWP等多个版本以及运行在Linux下的CPU、GPU、GPU+1bit-SGD三个版本,都支持64位系统。有需要的研究人员和开发者请到CNTK的 github 马上更新吧。

,微软开源深度学习工具包C卖东西 NTK更新2.3版,带来多重性能改进

相关:

方星海:有序推进中国资本市场双向开放   据证监会12月1日消息,证监会副主席方星海在第四届中法金融论坛上致辞称,有序推进中国资本市场双向开放。未来一个时期,中国经济要实现从“高速增长”向“高质量发展”阶段的重要转变,必须坚定不移地全面深化改革和加快推进开放,包括资本市场领域的改革开放。   方星海指出,近年来,我国资本市场双向开放稳中求进,取得很多积极进展,外国投资者进入中国资本市场的渠..

上交所开展党的十九大精神青年员工宣讲活动   近日,上交所学习十九大精神的热情持续升温。一场以“风起扬帆正当时青春建功新时代”为主题的党的十九大精神青年员工宣讲活动在上交所开展。   根据中国证监会刘士余主席日前在证监系统部分单位学习贯彻党的十九大精神座谈会上提出的要“把年轻人的积极性调动起来,用年轻人的思维来理解十九大,用年轻人的语言、年轻人的剧本来宣传十九大”的指示精神。   上交所在..

12月1日晚间上市公司利好消息一览(附名单)   沪深两市多家上市公司12月1日晚间发布重要公告,以下为利好的消息汇总:    (责任编辑:DF062)

天津高楼火灾致10人死 起火公寓曾因消防隐患被举报原标题:天津高楼38层起火致10人死,起火公寓曾因消防隐患被举报附近一位居民称,曾多次举报起火楼层装修时存在消防安全隐患,“现场消防设施被损坏,烟感器被塑料袋包裹,电线、石块、铁条裸露在头顶,装修施工时火星四射。”全文1653字,阅读约需5分钟▲金尊府(左)顶部有明显着火痕迹。新京报记者王嘉宁摄12月1日凌晨4时许,天津河西区平江道盛捷友谊服务公寓第38层起火,过火面积约为300平方米。12月1日12点整,据@天津发布消..

阿里合伙人IPO后集体亮相 宣布启动100亿脱贫基金原标题:阿里合伙人IPO后集体亮相宣布启动100亿脱贫基金中新网杭州12月1日电(赵小燕)12月1日,阿里巴巴的合伙人集体公开亮相,阿里巴巴集团董事局主席马云在会上宣布:脱贫工作已成为阿里巴巴的战略性业务,这项业务的行动宗旨是乡村振兴计划。未来5年,将投入100亿元到这项业务中,探索出“互联网+脱贫”的新模式。阿里对脱贫攻坚的重视显而易见:上一次,阿里合伙人公开集体亮相是2014年阿里巴巴在纽约上市。阿里巴巴全力投入..

西蒙斯三秒区外0出手 投篮缺乏自信或成最佳新秀隐患本-西蒙斯北京时间12月1日,费城76人客场挑战凯尔特人,此役本-西蒙斯出战40分钟,14投6中得到15分,外加6个篮板7次助攻和5个抢断。另外他全场送出5次失误,这样的表现没能为球队带来一场胜利。缺少恩比德的76人最终以97比108不敌对手。西蒙斯从伤病中走出来之后,他的表现被外界一直看好,并且成为本赛季最佳新秀的大热。但是上一场他获得了29次罚球,但命中率只有51.7%。本赛季西蒙斯尽管数据亮眼,但赛季罚球命中率只有55.4%..

天津市委书记李鸿忠:火灾事故教训深刻惨痛原标题:李鸿忠赴城市大厦火灾现场组织善后处置并主持召开专题会议部署全市安全生产工作本报讯(记者魏彧于春沣)今日凌晨4时07分,位于河西区友谊路与平江道交口的城市大厦B座38层发生火灾。接报后,市委书记李鸿忠立即作出批示,对火灾扑救、人员救治、善后处理提出明确要求。上午,李鸿忠赶赴现场组织火灾处置,并就地召开专题会议部署全市安全生产工作。在察看灾情后,李鸿忠主持召开专题会议,听取有关情况汇报,就全市安全..

四川达州500多出租车列队2公里 送别去世交警徐文原标题:震撼!达州500多出租车自发列队两公里,泪别因病去世的交警徐文交警徐文走了,28日下葬。听闻这一消息,11月28日凌晨一点多,达州的出租车司机们口口相传,自发开车前往殡仪馆的方向,逐渐在通川区凤凰大道熙河湾沿线聚集。“今晚上给人民的好交警徐文同志告别送行活动,是我见到的,达州市有史以来最为壮观和庞大的一次,场面之壮观,让人震撼!”一位驾驶员在当地网上论坛留言。 司机们三声喇叭“送别徐大队”凌晨三点..

足协宣布补充征调廖力生进国足 备战东亚杯比赛廖力生北京时间12月1日消息,今天下午,足协官方发布通知,补充征调恒大中场球员廖力生赴国家队报道,备战东亚杯比赛。以下为足协官方通知:广州恒大淘宝足球俱乐部:为备战参加2017年日本东京东亚足联杯决赛阶段的比赛,经国家队教练组研究、中国足球协会批准,中国国家男子足球队定于2017年12月1日至17日期间赴深圳市、日本东京组织集训并参加东亚足联杯决赛阶段的比赛。现补充征调运动员参加本次集训,有关事宜如下:一、运动..

陆股通今日净流入逾32亿元 为近期较高水平摘要 【陆股通今日净流入逾32亿元 为近期较高水平】港交所12月1日消息,沪股通当日成交84.05亿元,净买入11.73亿元,深股通当日成交64.71亿元,净买入20.7亿元;陆股通合计净买入32.43亿元,为近期较高水平。个股方面,贵州茅台、中国平安、京东方A净买入额居前,分别获净买入2.51亿元、2.17亿元、2.07亿元;宝钢股份、海螺水泥、保利地产净卖出额居前,分别遭净卖出1.89亿元、0.91亿元、0.59亿元。(..