本手册旨在介绍TorchV Bot用户端的业务及操作流程，以便用户能更有效地进行业务处理和操作。

使用TorchV Bot产品的运营及技术人员

浏览器：Chrome 100+/火狐(FireFox)/Microsoft Edge

正式环境：https://bot.torchv.com

演示环境：https://demo.torchv.com

根据自己的平台，在浏览器输入上面的地址访问TorchV Bot系统，输入用户名&密码登录

让我们先排除各种理论知识，快速上手。在您登录成功后，请先点击“知识管理”->“知识维护”，您将看到如下界面。

也许您的账号登录之后看到的内容会有一些差异，比如还没有任何文件，那需要您点击右上角的“新建”先创建一个知识库，文档内容可以稍后上传。在Beta 2版本，知识库是可以进行管理的，可以选择失效和生效，在知识库灰度升级时将会非常有帮助。

TorchV Bot平台目前对于知识库包含两大类：

• 问答QA对：针对业务诉求非常明确的QA对，可以快速导入到平台中，TorchV Bot的问答体系有优先召回处理，响应QA对的内容。
• 文档知识：提供对文本文档的知识导入，支持PDF、Word、Txt、Markdown、Excel、CSV和html格式。

QA问答库就是传统NLP问答

QA问答库的作用是对常用标准问答的前置预设，比如对于你好/您好之类的提问，可以设置一个固定的答案，而不是每次交给RAG和LLM来回答。作用是可以设置您自己的信息，如用户问“你是谁？”，可以回复给您的用户：“我是[您的企业名称]AI助手，有什么可以帮到您？”

问答库所代表的就是传统的NLP语料库，需要人工去设置这些问答对，价值在于回答很稳定，甚至可以说是幂等的。也就是说，问一万遍这个问题，回答的内容都是恒定的。而在LLM里面，问一万遍的结果可能会不同。所以大家看自己的业务场景中是否需要非常恒定的内容来判断是否需要维护该功能。

另外，问答库的回复顺位是最高的，当用户的提问已经被问答库的标准问答回复掉了，那么将不再会进入RAG和LLM环节。

⚠️注意

1、QA对导入包含标准问题、相似问题、答案三个核心字段，对于答案的内容，系统不会做Embedding向量化处理，只会对标准问题、相似问题做Embedding向量化，供平台问答是向量相似度计算召回。

2、批量导入QA对会在版本Beta 1.5中开放出来

在建设一个新的知识库后，点击右上角的“知识导入”-> “QA对”功能菜单，即可打开该功能进行QA的问答填写，如下图：

对于文档结构的知识，那么您可以选择不同的文件上传到平台。步骤如下：

新建知识库之后您可以点击右上角的“快捷导入”来上传您的文档（支持pdf、txt、markdown、word、excel和html格式）。

这里的“知识导入”按钮会一个下拉菜单，里面包括本地文件、WEB网页、纯文本和更多。“新建文件夹”是用来做文件分类的，当然也会在高级版本中具备权限功能。

默认文件的有效时间是“永久有效”，当然您也可以对其进行设定，指定失效时间。

文件上传过程中可以设置失效时间，以及文件内容提取的解析预览（前10页）。

⚠️ 注意： 如果在文件上传预览时，预览内容为空，或者系统接口出现异常，那么可能该文档存在特殊情况，导致系统组件无法提取文档结构内容，需要运营者对文档进行处理后再上传平台，否则会导致知识库无法导入的情况发生。

在Beta 2版本中会增加元数据标记功能，让用户具备元数据填写功能，如文件内容的发生时间、所属部门等等，另外也可以进行预览内容的修订。

这里选择确定，进入文件处理过程。

文件上传限制大小为30MB，上传速度会比较快。但是请耐心等待一会儿，因为系统需要对文件进行处理，状态一栏会显示处理状态，如“待处理”、“处理中”和“处理成功”。处理大概在会持续1-3分钟。

平台的大模型Prompt模版功能&个性化参数配置功能，包括大模型调度、知识库召回策略权重、个性化回复设置等功能都在这里进行设置，会影响整个问答的效果。

这是RAG（检索增强生成）最后一步，就是把内容提交给LLM（大语言模型）处理。

默认情况下，不建议大家调整该部分内容。对于绝大多数用户，这里推荐的仅仅是最上面的指令内容（Instruction）的修改。比如您可以设置大模型的角色，以及给大模型提一些对齐（Alignment）的要求。而已知内容：${context}和问题：${question}等内容，不建议非技术人员擅自改动。

以上参数可以分为4个组，分别是：

• 大模型调度：大模型底层的调度策略，智能调度代表的是系统的智能调度算法,根据意图、行为等选择最优模型。自定义则表示用户在大模型调用链的过程中，强指定使用固定的模型
• QA问答库参数：查询QA问答知识库最小的阈值范围，取值在[0,1]之间，分值越高，则和QA问答对的问题越相关，分值越低，则和QA问答对的问题越不相关。
• 知识库（RAG）参数：包含了知识库的最小分值以及检索方式的权重配置
• 兜底回复方式：对于没有召回知识库的内容，是否设置需要大模型来进行兜底回复
• 多轮对话参数：在RAG召回过程的多轮对话的查询重写参数配置，一般建议0.6以上

参数的基本含义可以查看每个参数的tips（问号标识）和上图的示意。

对于绝大多数用户，需要按不同情况调整的仅仅是“根据已上传知识库无法回复时”的回复模式：自定义回复，还是大模型兜底？

• 自定义回复：可以自定义下方的“回复内容”，一般作用是当根据已上传知识库无法回复时，选择据实回答——不知道；
• LLM辅助回答：当根据已上传知识库无法回复时，把用户提问直接给到大模型进行回复。
• *注意..：大模型回复有可能出现幻觉，有一定的几率会误导观众，请不要在严肃场景使用。*

这里的根据已上传知识库无法回复时，指的是根据用户的提问，所有召回的索引置信度均低于kms值。

反之，如果召回的索引置信度有≥kms值的，则下面的回复方式、回复内容不生效。

当我们完成了知识库的导入工作时，就可以使用平台的问答对话功能进行调试

选择功能菜单“知识运营”-> “问答对话”功能

这里面需要强调的是新建聊天（会话），同一个会话里面会有上下文记录（实现多轮问答）。如果您需要提上下文无关的新问题，可以新建聊天进行提问。

查看完整的对话记录，不过多赘述。可以按用户ID查询所有对话，按时间段查询对话。

用户对回复的评价。

对于TorchV标准版功能的客户，有定制开发的需求，需要使用到平台开放的API接口，那么可以在API Keys功能中新建开发接口密钥，接口开发文档请联系TorchV的技术人员获取。

请注意：

1、API接口密钥新建后，平台不再显示key信息，请妥善保管

2、API接口密钥新建后，可以绑定创建的知识库(支持多个，最多10个)，一旦绑定知识库，那么通过API接口调用问答功能，回答的内容仅限绑定的知识库范围。

选择知识库进行绑定

在账号管理中，可以新建账号&角色功能

可以创建不同的角色，勾选功能菜单权限，如下图：

新增账号，选择角色、密码确定即可

⚠️ 注意： 账号名称需全局唯一，推荐用邮箱或手机号

财务总览让用户可以查看自己的TorchV Bot账号的概览，主要内容包括：

• 版本和生效时间：分别为试用版、专业版和企业版，另外展示账号的生效时间和失效时间；
• 账户状态：生效中、冻结、已停用等，也会在文字上用颜色进行显示；
• 余额/总消费：余额代表账号目前的还剩余可用的金额，单位是元，总消费是目前账号历史总消费额；
• 累计充值：是用户通过在线充值或对公打款充值的金额，如在账号使用周期结束后，该金额仍未使用完，可转下一周期或原路退还；
• 赠送金额：一旦开账号之后系统就会赠送金额，目前暂行标准包括试用版10元、专业版6000元，以及企业版18000元。该金额会在大语言模型调用费用消耗中优先消耗，如在账号使用周期结束后，该金额仍未使用完，将不转入下一周期或不原路退还；
• 剩余上传流量：指用户在该账号下上传的各类文档消耗的上行流量，各版本会有不同的上传流量上限，如试用版用户的上限是50MB；
• 剩余金额和剩余上传流量进度条：图形化展示金额和上传流量；
• 昨日消费：昨日的消费金额和tokens，环形图展示；
• 本月消费：本月的消费合计，环形图展示，且会对各个LLM占比进行展示；
• 每月金额/tokens消耗：折线图展示。

费用明细功能展示该账号的大模型调用明细。

每一个消息id指的是通过问答界面/API产生的一次问答，包括输入和输出的过程。点击展开记录，可看到内部的详细tokens消耗数量和金额情况。

这里需要说明的是行为：

• 检索生成：一般指系统经过检索召回之后，送入大语言模型进行归纳生成，并通过SSE（流式）逐字返回给用户的行为；
• 意图生成：在一次对话过程中，可能存在多种中间处理，常见的处理如必须结合多轮对话才能回答的问题，会产生额外Tokens消耗，该类情况也会被单独列出来，您可以根据消息id了解属于哪一个对话。

目前可支持的最大日期跨度查询为一周（7天），用户还可以对调用模型进行过滤查询。

资源包是一种官方出售或赠送的各类消费资源的组合，包括大模型调用费、上传流量等。

资源包在价格上会比直接购买更加优惠，且适合特定用户购买。