关于TorchV产品私有化
一、私有化交付物
私有化业务主要分为三种交付物:
- 实际落地方案;
- 高质量LLM应用产品;
- POC流程。
1.1 关于更新升级
一般整体产品免费更新一年,包括主程序、应用和大模型的更新,第二年起,更新维护费按项目总额的10%收取。
1.2 关于硬件
交付全部流程不包括硬件费用,只给配置清单和建议。
1.3 关于价格
请进行单独业务咨询。
二、关于POC
1.POC计划制定和确认
时间周期:两周
根据双方进一步交流确定需求,整理出详细的POC计划,主要包括:
- 客户价值目标:确定客户价值是什么,除了总体描述之外,具体目标尽量使用指标进行确认;
- 具体功能项:详细功能清单设计和确认,包括底层平台和业务功能的详细清单,附简易效果图;
- 资源安排:根据具体功能项,给出资源需求,由甲方进行资源掉配,此处默认1-3天,如有超出,会影响第二环节(部署安装)的启动时间;
- POC实施周期:包括整体工期和起止时间、多阶段内容、上线试用时间计划、POC评测时间计划等;
- 干系人和评测内容:梳理POC涉及的所有甲方干系人,包括总负责人、分项负责人、具体使用者和评测者等,包括各干系人的评测项,以及客观评价的非功能性指标。
2.部署安装
时间周期:一周(原系统对接时间另计)
LLM环境部署:根据不同环境会有不同,如NVIDIA卡,或910b/920的环境部署会有不同,一般最多按三天计算,且需要甲方协调技术支持人员进行支持。主要安装pytorch、数据库、docker等主要中间件和依赖。
模型安装:包括大语言模型(LLM)安装、embedding模型安装、rerank模型安装、NER模型安装和MLLM安装(多模态模型看具体显卡资源决定)。原则上LLM的选型参照业务来决定,但实际情况中往往甲方的GPU服务器资源并非不限量,所以会进行综合考虑,选型范围从GLM3-6B到Qwen1.5-72B。
主程序安装:安装AI业务系统,完成测试,并完成培训工作。
定制化内容:根据实际情况增加。
3.评测结果
时间周期:一周
由评测者对各干系人进行评测执行,以及对POC系统进行客观评测(非功能性指标),收集材料,进行综合打分,给出最终评测结果(可能包含整改意见)。
由总负责人评定POC最终效果。