近日，NeurIPS 2020（Neural Information Processing Systems Annual Meeting，神经信息处理系统年会）落下帷幕，作为人工智能和机器学习领域的国际顶级会议，NeurIPS旨在促进有关神经信息处理系统的研究交流，在同行会议上介绍和讨论新颖的研究。此次大会中，百度研究院参会并发表了多篇高质量论文，论文聚焦大规模稀疏学习的加速求解、新发现物种数量预测、随机非凸优化、高维数据判别分析等问题，分别提出了创新算法及理论，突破原有算法在实际应用中泛化效果差、优化效率低等限制，有效提升AI技术在自然生态学、统计学习理论等领域中的应用价值，同时也彰显出百度在人工智能与机器学习领域的持续技术创新力。
（百度研究院多篇论文入选NeurIPS 2020）
首先，论文《Thunder: a Fast Coordinate Selection Solver for Sparse Learning》就大规模稀疏学习提出新方法。大规模稀疏学习是机器学习中的重要方法之一，但大规模稀疏学习的高效训练却是极具挑战性的问题。虽然人们借助凸目标函数和模型的稀疏性，已经提出很多优化方法来加速求解大规模稀疏学习问题，但当模型的稀疏度比较低或求解精度需求很高时，大多数优化提速方法便会失效，对此，本文提出了一种新颖的方法(Thunder)。
该方法尽可能地避免了在冗余特征上的计算，并可以保证算法选取特征的安全性。目前，已在一系列大数据集上的实验结果证明了方法的有效性。如下图所示，在Finance数据集上，百度提出的新方法比现有最佳方法在效率优化上有巨大的提升。
其次，论文《Optimal Prediction of the Number of Unseen Species with Multiplicity》对自然生态学中新发现物种数量预测做出梳理。论文首先提出了更一般化的版本，即对新样本中出现的未知元素依据数量划分，从而实现更精确细致的稳定预测。再通过信息论下界的构造，证明所提出的算法同时实现了最优时间和样本复杂度。这一新的理论完整复现了此前七十年间的诸多研究成果，并在未知参数领域实现了非平凡的拓展，对自然生态学领域具有重要的现实意义。该工作已被机器学习旗舰会议NeurIPS 2020所接受并遴选为Spotlight报告文章。
论文《Towards Better Generalization of Adaptive Gradient Methods》则对统计学习理论中的重要问题“随机非凸优化”给出新方案。为优化当前流行的动态梯度下降算法的泛化效果，百度提出稳定动态梯度下降算法，将差分隐私与梯度下降相结合，并巧妙利用差分隐私防止过拟合的这个优势来提高算法的泛化性能。该算法已被证明可以减小泛化误差，且具备一定优越性，为随机非凸化问题带去创新性解决方案。
最后，《Ratio Trace Formulation of Wasserstein Discriminant Analysis》一文，则针对高维数据的判别分析给出新算法。百度研究了维数约简（DR）技术Wasserstein判别分析，提出用较少计算成本获得可比或更好的结果的公式。同时从电子结构计算角度分析，将该判别分析技术转化为一个比值迹问题，提出基于特征解算器的判别分析技术判别子空间计算算法，依托于比值迹公式封闭形式的解，一旦正则化的最优输运问题得到解决，就可以通过广义特征值分解得到。百度这一算法平均收敛时间更短，对初始化合参数的敏感性也更低。通过在实际数据集上的数值实验表明，该算法在分类和聚类任务中都有很好的应用前景。
据悉，此次入选NeurIPS 2020的多篇优质论文来自百度研究院西雅图研究院和百度认知计算实验室，上述实验室研究员一直是NIPS/NeurIPS会议的常客，2019年共有6篇论文入选NeurIPS，也曾经获得过NIPS 2014的最佳论文奖；2020年，其在更具难度与深度的顶级机器学习算法和理论会议COLT（Conference on Learning Theory）中发表两篇百度统一单位的论文，论文针对求解稀疏约束优化问题，提出了可以显著降低计算复杂度的算法，为高维数据稀疏学习带来算法与理论的新突破，这也是中国互联网公司罕见的一次在COLT发表论文；另外，值得一提的是在2019年深度学习顶会ICLR上，实验室研究员的理论论文解决了深度神经网络的一个基础问题，也是那年ICLR 2019的最高评分论文之一。
上述研究成果与百度研究院的发展布局紧密相连。今年八月，百度研究院宣布架构新升级，新增生物计算实验室和安全实验室。至此，百度研究院已囊括了从底层基础技术到感知、认知技术的 AI 全领域研究，汇聚数十位 AI 领域的世界级专家，共同推动百度研究院的 AI 基础性研究和前瞻性洞察，助力 AI 技术加速落地。
如今，百度研究院结合自身AI优势，升级新架构，深入展开跨领域合作，取得的基础性研究创新有目共睹；未来，百度研究院还将不断推动百度AI技术的创新发展，夯实其在国际人工智能领域的影响力，促使AI深入行业落地应用，为全球科技发展出一份力。