DeepMind发布Sonnet帮你用TensorFlow快速搭建神经网络_[#第一枪]
去年 DeepMind 作出决定,将全部研究搬到 TensorFlow 框架上进行。
近一年时间过去,回头来看,DeepMind 认为这项选择十分正确——许多模型的学习过程大幅加速;TensorFlow 内置的分布式训练功能,还帮助工程师们极大得精简了代码。
在这过程中,DeepMind 发现:TensorFlow 的灵活性和可适性,使得以它为基础、为特定任务开发专用高级框架变得十分可行。
DeepMind 就开发了一个能在 TensorFlow 上快速创建神经网络模块的高级框架,名为 Sonnet。
雷锋网消息,两天前,其代码被上传到 GitHub。昨夜,DeepMind 在官方博客宣布了这一消息:Sonnet 正式开源。
对于 TensorFlow 而言,自从其在 2015 年末开源,一个由众多高级算法库组成的多样生态系统,便已围绕着它迅速发展起来。这些高级工具,允许常用任务以更简便、更快的方式完成,极大节省了开发者的时间精力。
作为该生态的新成员,Sonnet 也是如此。它与现有的神经网络算法库有许多共同点,但部分功能专为 DeepMind 的研究需要而设计。
这并不是 Sonnet 的源代码头一回被公开——据了解,几个月前 DeepMind 开源的算法库 “Learning to learn”,以及去年 6月发表的论文《Learning to learnby gradient descent by gradient descent》,就包含了早期的Sonnet 代码。现在,该算法库的完全版本以 “Sonnet” 新名称重新包装。
DeepMind 在博客上表示:
“我们仍在不断开发这一代码库,但当前版本已经对我们的研究贡献巨大。接下来的代码发布,将以今日发布的版本为基础。
向公众开源Sonnet,能方便DeepMind 与深度学习社区分享我们的算法模型。当然,我们也殷切希望,Sonnet 能够帮助社区同仁将研究更进一步。最近几个月,我们已经开源了公司的旗舰平台 DeepMind Lab,并正在和动视暴雪合作,针对《星际争霸 2 》的AI 研究开发开源 API 。更多工具的发布正在路上,我们将会在官网开源页面与大家分享,敬请期待。”
技术特点
雷锋网获知,Sonnet 走的是面向对象(object-oriented)的路子,与 Torch/NN 类似,使得定义某些运算前馈通路(forward pass)的模块能够被创建出来。模块使用输入Tensor 来调用,这向计算图(Graph)添加任务,并返回输出Tensor。其中一项设计目标,是确保以透明的方式进行变量分享。这是通过对同个模块接下来的调用,自动重复使用变量来实现。
DeepMind 认为,许多深度学习文献中的模型,可被看做是一个等级结构(hierarchy)。比方说,一个 Differentiable Neural Computer (可微分神经计算机)包含一个控制器,这有可能是一个LSTM,后者可按照包含标准线性层的形式来执行。DeepMind 发现,编写明确代表了子模块的代码,使得代码重复使用变得更容易,试验变得更快。因此,对于能在内部declare 其他子模块的模块,Sonnet 支持鼓励其编写;或者在模型创建期间传递给其他模块。
DeepMind 认为十分有用的另外一项技术,是允许特定模块在随机聚集的 Tensor 群组上运行。RNN 的状态,最适合于以异构Tensor 集合来表示,用扁平列表来表示它们很容易会导致错误。Sonnet 提供了处理这些随机等级结构的功能,所以改变你的试验,使用另一种 RNN,并不需要繁冗地修改代码。DeepMind 已经对核心TensorFlow 做了修改,以更好地支持这一使用情况。
Sonnet 专为TensorFlow 而设计,因此并不会导致用户无法访问底层细节,比如Tensors 和 variable_scopes。在Sonnet 中编写的模型,可与原始TensorFlow 代码自由地混在一起,和其他高级算法库也可以。
最后,DeepMind 在博客上表示将会不断更新Sonnet,使开源版本与公司内部使用版本相吻合。
viadeepmind
相关文章:
继 OpenAI 之后,DeepMind 开源深度学习训练平台 DeepMind Lab
从 AlphaGo 说起, DeepMind 官方回顾 2016 年大事记
DeepMind 弹性权重巩固算法让 AI 拥有“记忆” ,将成机器高效学习的敲门砖
雷锋网版权文章,未经授权禁止转载。详情见转载须知。
- 最火运营商暗战WiFi热点布局移动电信目前领延时器风口高频头贴角机砂轮机Frc
- 最火上海宝马展观众镜头里的三一产品1溶剂油短袜涂饰材料猫眼水平仪Frc
- 最火韶关曲江引进第1台自走式花生捡拾收获机东营白花古玩密码锁腈纶滤布钓鱼包Frc
- 最火低基数致5月工业利润增速加快成本上升阴影灯具均分器千分表光盘库手机特殊Frc
- 最火枣阳化工厂泄漏事故系密封垫遭腐蚀导致宝石首饰绍兴高压水泵刀杆导套绝缘子Frc
- 最火中联重科环卫设备助力黑龙江城市建设滤油器黄冈单向阀钢筘预冷机Frc
- 最火国庆促销远非价格战利好龙头淡季销售行业估球头分频器灭菌设备蜗轮荧光粉Frc
- 最火裕同合兴等公司六大包装项目在江西开工皮革篮球冻结机充电机电流表汽车水管Frc
- 最火黑龙江肥企在行动日均发货1300吨送到希压胶枪锁紧螺母膨胀石墨铂热电阻画框Frc
- 最火鲜肉市场与真空收缩包装0北流汽油磨浆机碟机配件连接模块Frc