Entity

MoE（Mixture-of-Experts）

混合专家架构，一种神经网络设计模式，模型包含多个专家子网络，每个输入仅激活部分专家，实现参数高效利用。