研究背景與問題
資源受限環境需要減少可訓練參數，同時維持複雜任務的適應能力。LoRA-MoE 讓多個低秩專家針對不同輸入分工，再由路由機制選擇專家。
模型設計與核心創新
研究比較 LoRA-MoE 與 QLoRA-MoE，以及單一專家和四專家配置。除數學與常識推理外，也整合 AutoTimes 框架，評估 ETTh1、ECL、Traffic 與 Solar 等長期序列資料集。
Parameter-efficient
透過 LoRA 減少需要更新的模型參數。
Expert Routing
多個低秩專家依輸入特徵分工。
Cross-domain Evaluation
同時評估推理任務與長期時間序列預測。
研究結果
四專家 LoRA-MoE 在 AQuA 與 MathQA 分別提升 18.11% 與 13.97%。研究亦觀察到量化誤差可能使 MoE 路由不穩定，提供後續模型設計的重要依據。
AQuA +18.11%Reported improvement
MathQA +13.97%Reported improvement
4 ExpertsModel configuration
研究架構圖
