Entity

MoE

混合专家模型，一种稀疏激活的架构，通过动态选择专家子集提升模型效率。