Skip to main content

关于TorchV产品私有化

一、私有化交付物

私有化业务主要分为三种交付物:

  • 实际落地方案;
  • 高质量LLM应用产品;
  • POC流程。

1.1 关于更新升级

一般整体产品免费更新一年,包括主程序、应用和大模型的更新,第二年起,更新维护费按项目总额的10%收取。

1.2 关于硬件

交付全部流程不包括硬件费用,只给配置清单和建议。

1.3 关于价格

请进行单独业务咨询

二、关于POC

1.POC计划制定和确认

时间周期:两周

根据双方进一步交流确定需求,整理出详细的POC计划,主要包括:

  • 客户价值目标:确定客户价值是什么,除了总体描述之外,具体目标尽量使用指标进行确认;
  • 具体功能项:详细功能清单设计和确认,包括底层平台和业务功能的详细清单,附简易效果图;
  • 资源安排:根据具体功能项,给出资源需求,由甲方进行资源掉配,此处默认1-3天,如有超出,会影响第二环节(部署安装)的启动时间;
  • POC实施周期:包括整体工期和起止时间、多阶段内容、上线试用时间计划、POC评测时间计划等;
  • 干系人和评测内容:梳理POC涉及的所有甲方干系人,包括总负责人、分项负责人、具体使用者和评测者等,包括各干系人的评测项,以及客观评价的非功能性指标。

2.部署安装

  • 时间周期:一周(原系统对接时间另计)

  • LLM环境部署:根据不同环境会有不同,如NVIDIA卡,或910b/920的环境部署会有不同,一般最多按三天计算,且需要甲方协调技术支持人员进行支持。主要安装pytorch、数据库、docker等主要中间件和依赖。

  • 模型安装:包括大语言模型(LLM)安装、embedding模型安装、rerank模型安装、NER模型安装和MLLM安装(多模态模型看具体显卡资源决定)。原则上LLM的选型参照业务来决定,但实际情况中往往甲方的GPU服务器资源并非不限量,所以会进行综合考虑,选型范围从GLM3-6B到Qwen1.5-72B。

  • 主程序安装:安装AI业务系统,完成测试,并完成培训工作。

  • 定制化内容:根据实际情况增加。

3.评测结果

时间周期:一周

由评测者对各干系人进行评测执行,以及对POC系统进行客观评测(非功能性指标),收集材料,进行综合打分,给出最终评测结果(可能包含整改意见)。

由总负责人评定POC最终效果。