作为谷歌 AI 帝国的重要部分，谷歌大脑团队一直致力于通过研究和系统工程来推动人工智能领域的发展去年他们分享了 2016 年的工作总结在接下来的一年。
来自西北大学谷歌大脑的研究人员近日提出了内存策略优化方法 MAPO，其通过弱监督的方式在泛化程序合成和问答任务中性能超过了此前几种全监督的基准。
来自谷歌大脑的研究者提出了一种新型优化器 LAMB，有效降低 BERT 预训练时间，76 分钟即可完成 BERT 预训练！尽管 BERT效果。
然而出于计算量和存储成本的考虑，二阶优化算法很少用到最近，谷歌大脑提出了一种新的二阶预处理方法，带来很大改进，优于。
头条资讯推荐效果超过SGD和Adam，谷歌大脑的神经网络优化器搜索自动找到更好的训练优化器谷歌大脑近期放出了一篇论文。
还在苦恼怎么给优化器调整更好的参数吗？现在，谷歌大脑搞出了一个新的优化器VeLO，无需手动调整任何超参数，直接用就完事了。
刘晓坤谷歌大脑团队希望用类似于 AutoML 发现新神经网络架构的方法，探索自动发现新优化器的实现他们发现了多种性能优异的优。
