微软开源 repo 1.0 ,旨在创造深度学习框架通用语言

2018-03-25 23:57:34 来源:网络

原标题:微软开源 repo 1.0 ,旨在创造深度学习框架通用语言

雷锋网 AI 研习社按,日前,微软提出深度学习框架的通用语言——repo1.0,号称希望通过构建这一深度学习框架「Rosetta Stone(罗塞塔石碑)」,让研究者们能够在不同框架之间轻松运用专业知识。他们在博客中讲解了基准深度学习框架的训练结果和相应的经验教训,雷锋网 AI 研习社编译整理如下。

大家好,很高兴发布 repo 1.0 版本,目前我们已经将其在 GitHub 开源,地址如下:

https://github.com/ilkarman/DeepLearningFrameworks

我们相信深度学习框架就像语言一样,就像很多人说英语,但每种语言都有各自的使用人群,都有其特定的用法。

我们已经为几个不同的网络结构创建了通用代码,并将代码在许多不同的框架中执行。

我们的想法是创建一个深度学习框架的「Rosetta Stone(罗塞塔石碑)」——只需要了解一个框架就能延伸到任何框架,并帮助其他人。之后,可能出现这种情况:一篇论文中的代码是用其他框架,或者整个流程都能使用另一种语言。与其利用你最喜欢的框架中从头开始编写模型,还不如直接使用「其他」语言。

再次感谢 CNTK、Pytorch、Chainer、Caffe2 和 Knet 团队,以及过去几个月在开源社区中为 repo 做出贡献的人员。

这次我们发布的目标是如下几点:

一个深度学习框架的罗塞塔石牌,能让数据科学家轻松在不同框架间利用其专业知识

  • 使用最新最高级别 API 的最优 GPU 代码

  • 比较不同 GPU 的常见设置(可能是 CUDA 版本和精度)

  • 比较不同语言的常见设置(Python、Julia、R)

  • 验证安装之后的性能

  • 不同开源社群之间的协作

基准深度学习框架的训练结果

下面,我们将带来一类 CNN 模型(从预训练过的 ResNet50 中提取特征)和一类 RNN 模型的训练时间。

  • 训练时间(s):CNN(VGG-style,32bit)在 CIFAR-10 上进行图像识别

该模型的输入是标准 CIFAR-10 数据集,数据集中包含 5 万张训练图像和 1 万张测试图像,均匀地分为 10 类。每张 32×32 的图像看成 (3, 32, 32) 的张量,像素值从 0-255 调整至 0-1。

处理 1000 张图片的平均时间(ResNet-50——特征提取)

加载预训练的 ResNet50 模型,在最后(7、7)的 avg_pooling 截断,输出 2048D 向量。可以将其插入 softmax 层或其他分类器如增强树来执行迁移学习。考虑到 warm start,这种仅前向传播到 avg_pool 层是定时的。(注意:批次大小是常量,增加 GPU 内存可带来性能提升(GPU 内存越大性能越好)。

训练时间(s):在 IMDB 上,用 RNN (GRU) 执行情感分析

该模型的输入为标准 IMDB 电影评论数据集,包含二万五千个训练评论和两万五千个测试评论,数据被均匀分成两类 (正/负)。我们遵循 Keras(https://github.com/fchollet/keras/blob/master/keras/datasets/imdb.py)上的方法,将 start-character 设置为 1, out-of-vocab (使用三万大小的 vocab) 表示为 2,单词索引从 3 开始。

希望大家都能来尝试,增加更多更丰富的数据。

以下是一些经验教训

  • 使用自动调参:

    大多数框架使用 cuDNN 中的 cudnnFindConvolutionForwardAlgorithm() 进行穷举搜索,优化算在固定大小的图像上的前向卷积算法。这通常是默认的,但一些框架可能需要诸如「torch.backends.cudnn.benchmark = True」的标记。

  • 多用 cuDNN:

    对于普通的 RNNs(如基本 GRUs/LSTMs),通常可以调用 cuDNN 封装器来提速,例如用 cudnn_rnn.CudnnGRU() 取代 rnn.GRUCell()。这样做的缺点是接下来在 CPU 上进行推理可能会更具挑战。

  • 形状匹配:

    在 cuDNN 上运行时,匹配 CNNs 中 NCHW 和 RNNs 中 TNC 的原始 channel-ordering,避免在重塑上浪费时间,直接进行矩阵乘法。

  • 原始生成器:

    使用框架的原始生成器,这样可以通过多线程异步来进行增强和预处理(例如 shuffling),从而加速。

  • 针对推断:

    要确保指定 flag 来避免计算的不必要的梯度,确保 batch-norm 和 drop-out 等层得到合理使用。

当我们最初创建 repo 时,需要使用许多小技巧来确保框架之间使用的是相同的模型,并且是以最佳的方式运行。在过去的几个月里,这些框架的改良速度快得令人难以置信。2017 年末的许多经验教训在现在已经过时了,因为这些框架已经更新。

通过在不同的框架中完成端到端解决方案,可以以多种方式比较框架。由于每个框架中使用的都是相同的模型结构和数据,所以框架间的准确度非常相似。此外,我们开发的目的是使框架之间的对比更简单,而不是为了加速。

当然,我们是为了比较不同框架之间的速度和推理,而不是为了展示框架的整体性能,因为这里忽略了一些重要的对比,例如帮助和支持、可用的预训练模型、自定义层和架构、数据加载器、调试、不同的平台支持、分布式训练等等。我们开源 repo 只是为了展示如何在不同的框架上创建相同的网络,并评估在一些特定案例上的性能。

via:https://blogs.technet.microsoft.com

雷锋网 AI 研习社编译整理

,微软开源 repo 1小度app下载 .0 ,旨在创造深度学习框架通用语言

相关:

用户数据泄密事件不断,是时候发挥区块链技术的价值原标题:用户数据泄密事件不断,是时候发挥区块链技术的价值 近日,Facebook被爆出史上最大个人数据泄露事件,引发全球科技界震动。这一拥有20亿活跃用户的社交媒体巨头被指控泄露个人信息并遭到数据分析公司滥用。 竟然还有这操作? 美国人真是城会玩:一家以“分析选民”为主业的政治数据公司(剑桥分析),在2014年合作剑桥大学心理测试学中心的一位教授在Facebook上发布人格测试小实验,获取了5000万份的个人信息数据..

俄末日武器可掀起百米高海啸 一颗就能毁一座城市原标题:俄罗斯末日武器可掀起5百米高海啸:一颗就能摧毁一座城市俄罗斯普京日前向全世界大秀新型武器,其中一种相对低调、神秘,普京在影片中着墨甚少的俄罗斯尖端武器,是一种新型的无人潜舰──核鱼雷。它的速度比潜艇、鱼雷还快,还可以携带武器和核弹,威力强大,只要1枚就可以瘫痪敌港或沿岸大城。它还可以攻击敌军的航空母舰群,堪称杀人不眨眼的利器!根据美国《国家利益》网站报导,普京在国情咨文中轻描淡写地介绍核鱼..

中美贸易战正酣 苹果掌门人宣布斥巨资在中国扶贫原标题:中美贸易战正酣,苹果掌门人宣布斥巨资在中国扶贫中美贸易争端持续发酵,但在北京的一场重量级会议上,美国苹果公司掌门人库克宣布在中国进行开展扶贫工作,并批评,拒绝开放、拒绝贸易的国家会失败。北京时间3月23日,美国总统特朗普正式签署对华贸易备忘录,依据“301调查”结果,将对从中国进口的商品大规模征收关税。7小时后,中国宣布反制措施。 3月24日,中国发展高层论坛经济峰会在北京召开。美国苹果公..

原油期货今日上市 最新最全交易手册!第一天该怎么玩?摘要 【原油期货今日上市 最新最全交易手册!第一天该怎么玩?】3月26日,我国首个国际化期货品种——原油期货在上海期货交易所子公司上海国际能源交易中心挂牌交易。   3月26日,我国首个国际化期货品种——原油期货在上海期货交易所子公司上海国际能源交易中心挂牌交易。   在交易制度和合约设计层面,原油期货的交割月份、最后..

北京证监局召开辖区上市公司监管工作会摘要 3月22日,北京证监局召开2018年辖区上市公司监管工作会,辖区内309家上市公司的600余名高管人员参加会议。   3月22日,北京证监局召开2018年辖区上市公司监管工作会,辖区内309家上市公司的600余名高管人员参加会议。  北京证监局党委书记、局长王建平指出,北京证监局将坚持以服务供给侧结构性改革为主线,以保护投资者合法权..

Facebook还有更过分的:数年来一直收集用户通话记录Facebook CEO马克·扎克伯格凤凰网科技讯 据《财富》北京时间3月26日报道,有媒体报道称,数年来Facebook一直在收集Android手机用户详细的通话记录,其中包括通话时间、被叫方姓名/电话号码和通话时长。Facebook还收集短信元数据,例如接收方和发送时间。Facebook收集用户短信、通话记录的行为上周早些时候被一名Twitter用户发现,这名用户从Facebook下载了自己的资料,发现了2016、2017两年的通话记录。ArsTechnica通过调查证..

信中利王维嘉:投资人对特殊股权的担忧在于透明度信中利王维嘉凤凰网科技 二维马2018年IT领袖峰会于3月25日在深圳举行,凤凰网科技独家专访了信中利美国创投公司创始管理合伙人王维嘉。他是全球第一个无线互联网终端的发明者,2016年加入信中利,负责北美投资业务,主投人工智能技术创新公司。由于工作的特殊性,王维嘉对中美两地的创投市场比较有着独特的观点。他认为,两地投资者的思维基本一致,没有本质区别。但两边的项目区别很大。在硅谷能看到很多纯技术的创业项目,在..

一文看尽IT领袖峰会凤凰网科技 管艺雯深圳的IT领袖峰会已经走到了第10个年头,作为中国互联网巨头汇集深圳的年度节目,深圳及其明星企业腾讯都在竭力招待那些远道而来的大佬们。在媒体和公众眼中,深圳的IT领袖峰会某种程度上就等同于“BAT的罕见碰头”这样的标签,但今年的这届峰会恐怕要让大家失望了——相比较去年BAT的同台合影,前年马化腾、李彦宏、杨元庆以及如今风口浪尖的贾跃亭四个男人的同台大戏——2018年的深圳IT领袖峰会,前两年的这..

图灵机器人俞志晨:真正有创新的公司该去挑战巨头凤凰网科技 管艺雯在刚刚过去的深圳IT领袖峰会上,图灵机器人创始人兼CEO俞志晨在接受凤凰网科技专访时表示,“在AI行业里,光有技术肯定是不够的,需要三架马车同时在走——技术、产品化、业务模式,需要这三块东西更好地结合在一起,才能够确保在一个大场景里边做得足够好。”图灵机器人生产的并非实体机器人,目前的主要产品包括免费开放的个性化智能机器人平台,和面向机器人厂商的操作系统,并将重点放在了面向儿童的机器..

汉能投资陈宏:中国独角兽一半与阿里腾讯有关凤凰网科技 管艺雯陈宏,改革开放后赴美中国留学生中第一个将创办公司带到纳斯达克的人,陈宏15岁读完初中跳级大学,35岁创立GRIC通信公司,37岁将GRIC送到纳斯达克上市。2003年,陈宏41岁,他成立了汉能投资,取名意为“中国人也能做到”的意思,立志为中国贡献一家像高盛、摩根那样的国际化投资银行。陈宏表示2017年的投资有两大看点:一个是70%以上的资金都投到了C轮以后的公司,就是往头部企业靠拢;第二是战略投资者占到了..