外部MoE

TorchV AI试用平台目前接入了多个大模型API，在使用过程中会根据各模型针对各类问题的使用效果进行分析和设定。然后使用IC（幂等分类器）进行路由，为特定问题选择特定大模型。常见的外部MoE场景是：

• 输入prompt文本长度和大模型最小context长度过滤；
• 数学计算类任务的模型选择；
• 公文写作类任务的模型选择；
• 成本经济考虑的模型选择等。