Các nhà nghiên cứu phát triển mô hình Pangu của Huawei đã giới thiệu khái niệm "Mixture of Grouped Experts" (MoGE), một phiên bản nâng cấp của kỹ thuật MoE mà DeepSeek đã sử dụng thành công. Huawei khẳng định phương pháp mới giúp cân bằng tải tốt hơn và đạt hiệu suất vượt trội trên các bài kiểm...
