Entity

MuonOptimizer

NanoChat中使用的自定义优化器，与AdamW结合用于训练：矩阵参数使用MuonOptimizer，而embedding和LMhead参数使用AdamW，以提升训练效率和模型性能。