近期，国际知名星光直播
期刊“SIAM Journal on Optimization”发表了星光直播-在线直播-美女直播
应用数学系胡潇尹副教授与新加坡国立大学Kim-Chuan Toh教授、新加坡国立大学王石玮博士和香港中文大学（深圳）肖纳川助理教授合作的星光直播
论文“A Minimization Approach for Minimax Optimization with Coupled Constraints”。
随着对抗训练、生成对抗网络、双层优化和资源分配等问题的发展，极小极大优化问题已成为机器学习与运筹优化中的重要模型。然而，极小极大问题通常需要专门设计下降-上升型算法，其收敛理论也往往需要重新建立。进一步的，当内层极大化问题进一步含有与外层变量耦合的约束时，问题结构更加复杂，现有方法在理论保证和算法实现上都面临较大挑战。针对这一难题，本文提出了一种将非凸-强凸极小极大问题转化为极小化问题的新方法。首先通过拉格朗日对偶思想，将带耦合凸约束的非凸-强凸极小极大问题等价转化为无耦合约束的非凸-强凸极小极大问题。随后基于前向-后向包络，构造出一个显式的罚函数极小化问题，并证明该极小化问题的一阶稳定点与原极小极大问题的一阶极小极大点完全对应。由此，求解非凸-强凸极小极大问题可以转化为极小化问题的求解，进而使得 L-BFGS-B、TNC 等成熟高效的极小化优化算法及其收敛理论能够被直接应用于非凸-强凸极小极大问题的求解。进一步地，本文还证明了经典梯度下降-上升方法可被解释为该极小化问题上的下降方法，从而为其全局收敛性提供了新的分析视角。数值实验验证了所提算法的高效。
全文链接：
//epubs.siam.org/doi/abs/10.1137/24M1689727?af=R
国际知名星光直播
期刊"Mathematics of Operations Research"在线发表了星光直播-在线直播-美女直播
胡潇尹副教授与香港中文大学（深圳）的肖纳川助理教授、普渡大学的丁匡宇博士、以及新加坡国立大学的Kimchuan Toh教授合作完成的研究论文“Developing Lagrangian-Based Methods for Nonsmooth Nonconvex Optimization” 。
非凸非光滑约束优化是运筹优化与机器学习中的重要研究问题，广泛出现于深度神经网络训练、信号处理及工程优化等场景。特别地，深度神经网络往往采用ReLU作为激活函数的神经网络，其目标函数通常非光滑且非Clarke正则。同时，实际问题中对决策变量的约束又会为非光滑优化问题引入复杂的约束。已有拉格朗日类方法的收敛性理论多依赖于目标函数与约束映射的光滑性或弱凸性等结构条件。当目标函数与约束缺乏Clarke正则性时，如何设计具有收敛性保证的拉格朗日类方法极具挑战性。
针对这一问题，论文提出了一个统一的拉格朗日类方法框架，用于将随机次梯度方法嵌入约束优化算法中。该框架在每次迭代中仅对原变量执行一步随机次梯度类更新，并通过修正的对偶更新处理约束信息。因此，近端随机梯度法、近端动量随机梯度法、近端ADAM等常用随机优化方法可以作为黑盒模块嵌入拉格朗日类方法。在理论分析上，论文证明适当条件下，所提出框架能够继承被嵌入的随机次梯度方法在无约束情形下的全局收敛性质，并可推广至含非光滑期望约束的随机优化问题。该结果拓展了拉格朗日类方法在非凸非光滑优化中的适用范围，也为理解现代随机优化算法在复杂约束问题中的收敛行为提供了新的分析路径。论文还在带约束的深度学习任务上开展了初步数值实验，比较了嵌入近端动量随机梯度法和近端ADAM后的拉格朗日类方法与相关随机增广拉格朗日方法的表现。结果表明，所提框架能够结合已有近段次梯度方法高效求解非凸非光滑约束优化问题。
全文链接：
//doi.org/10.1287/moor.2024.0479
个人简介：
胡潇尹，星光直播-在线直播-美女直播
副教授，本科毕业于浙江大学，博士毕业于中国科星光直播
数学与系统科学研究院。长期从事非凸优化、非光滑优化与流形优化等方向的理论与应用研究。主持国家自然科学基金、省自然科学基金多项。主要星光直播
成果发表于SIOPT，MOR，IMAJNA，JMLR，MPC等优化领域权威期刊上。
