本手册旨在介绍TorchV AI用户端的业务及操作流程，以便用户能更有效地进行业务处理和操作。

使用TorchV AI产品的使用人员

浏览器：Chrome 100+/火狐(FireFox)/Microsoft Edge

本文不展示具体产品架构，如您需要查看TorchV产品架构，请点击TorchV产品架构查看。

2.快速开始

TorchV AI简介

TorchV AI是基于大语言模型（LLM）之上的一整套AI应用能力平台，与纯粹的大语言模型不同的是，TorchV AI更关注与企业业务融合，帮助企业可以更好地将大语言模型能力应用于自身业务工作中。主要特点包括：

• 用户体验：提供可视化功能帮助用户完成知识创建、问答和应用发布等重要工作，且面向开发者提供完整API和文档中心；
• 可私有化：提供私有化部署方案，帮助企业用户充分发掘本地私有知识数据的价值；
• 高准确率：高于91.5%的通用问答准确率，以及在特定优化场景接近100%的问答准确率；
• 能力延伸：将AI能力从问答延伸到报告撰写、精准匹配、预审核、培训与实战演练、推荐等多类型企业应用能力。

本手册主要内容

如果您想快速体验TorchV AI的主要功能，只需三步即可：

• 第一步：知识库：创建知识库，然后上传测试文件，支持pdf、word、markdown、txt、excel、ppt、图片、epub和其他文件类型，也可以引用网页链接，知识会被自动创建成索引；
• 第二步：问答对话：在问答对话模块对已上传的知识进行问答测试，该模块仅测试时使用；
• 第三步：发布应用：在应用中心创建应用（包含Bot、Agent和Assistant三类应用），可将应用发布给其他人使用。

图2-0：试用平台主要的三个功能。

好，接下来我们一起用5分钟了解如何快速使用。

Path：点击左侧菜单的“知识库”

图2-1：知识库主界面

在知识库板块，您可以创建多个知识库，比如“财务知识库”、“销售知识库”、“人力资源知识库”等等。区分知识库的目的是为了在后面提到的应用中能为每个应用绑定不同（一个或多个，最大10个）的知识库，让不同的应用可以服务不同类型的用户群体。

注：*在TorchV KB发布之后会提供知识库空间，相对于当前的知识库，空间在协作、编辑和权限方面都有更丰富的功能，可满足大型企业对知识管理的复杂需求。*

分类与标签介绍

分类：是按树形结构分布的，从上下关联的角度去区分知识库的类型。用户可以在左侧的树形结构中选择分类，目前支持“大分类-小分类-知识库”的分类组织方式；

标签：是按知识库的特点进行标记，与分类树形结构无关，相较于分类的纵向树形结构，标签可认为是从横向进行打标，形式上更加灵活，是分类之外的一种补充。

图2-2：知识库的分类与标签，(v1.7.3) 增加知识库分类与标签，方便对知识库进行分类、查询等管理。

您可在“知识库”界面点击右上角的+新建新建知识库。

图2-3：创建知识库

目前我们已经开放了通用知识库和关系型数据库两种知识库类型，后续会增加另外两种知识库的创建：

• Web站点同步：未来可支持Web定向源（一个网站列表页、单个网页或某API的endpoint）的定期或同步爬取。目前暂时支持单个网页URL方式导入，关于URL导入详见关于web页面导入；
• NoSQL数据库：添加更多NoSQL数据库的数据抽取。

下面先来看看创建了知识库之后的内容，这里我们先关注通用知识库和关系型数据库的创建。创建的过程非常简单，只需要填写知识库名称即可，当然为了后续管理和使用上更加方便，您可以在创建时将分类和标签也一起完成创建。

创建好知识库之后，我们点击进入，接下来开始维护知识了。

这里您应该看到我们刚刚创建的知识库的界面，空空如也。如果您想上传一个PDF先试试手，这时候您可以从桌面直接拖拽一个文件到当前页面，我们一起来看看会发生什么？

图2-4：将文件拖拽到知识库页面即可上传文件。

下一步您将看到的就是刚才被拖拽的文件被分解（预览），在该界面我们首先可以查看文件是否被系统正常分块处理预览，一般提供TOP10页的预览。另外您也可以为文件设置生效时间，如让特定文件在次月1日生效，次月30日失效（不再提供该内容的对话、检索），默认是永久生效，既从文件处理完成开始一直有效。

图2-5：文件分块处理预览

一旦点击“确认”按钮，文件将进入处理队列，接下来的一些处理流程如下：

• 等待调度程序（scheduler）从waitlist中将文件处理的任务激活，一般在两分钟内会启动处理任务；
• 文件元数据处理和记录；
• 根据文件类型、内容疏密程度等多种因素对文件进行分块（chunking）；
• 将分块之后的内容进行embedding处理；
• 建立索引，包括向量索引和BM25类型的倒排索引；
• 界面提示，已经处理完成，可开始问答测试。

从下图2-4中也可以看到一般文件处理的状态更新过程，页面会进行自动刷新。

图2-6：处理过程的三个状态，如遇到大文件，处理中的状态持续时间会更长一些。

好了，我们在快速开始环节中的知识库创建就算完成了。对于原始知识类型，TorchV AI提供了丰富的文件支持，包括：

• 多类型文件：包括pdf、ppt、pptx、doc、docx、xls、xlsx、csv、txt、md、html、png、jpg、epub等；

• Web导入：直接复制目标网页的url，注意，这里只支持单页面内容的获取，不支持页面上出现的链接的自动扩散爬虫；

• 纯文本：可以认为是用户自行创建一篇文章，而我们也将继续升级该板块，升级为类似Confluence、Notion和语雀等类似的文章编辑功能，带附件📎上传（附件类似于上面的多类型文件）。此外，如果您有知识管理、协作和复杂权限等的需要，推荐使用TorchV KB；

• QA对：问答对，用于维护那些常见问题的解答，如“你是谁？”、“你好”等，QA的优势是回复幂等（连续问1万次，回复都是一样的）。另外还需要说明的是，QA的问答处理顺位是最高的，一旦用户的问题被QA处理，那么排在后面的处理顺位（RAG、LLM等）都将不再启用。

• QA对批量：提供了批量上传的模板，内容包括知识标题、相似问法、开始日期、截止日期和答案，用户可以根据模板进行内容维护，然后一次性批量上传。

图2-7：除了文件之外，我们还支持更多其他方式的知识维护。

图2-8:在纯文本编辑中有流程图功能

纯文本编辑器采用所见即所得形式，且包含了制作流程图的功能，如图红框所示。

图2-9:流程图功能

可在流程图工具上制作企业内部的流程图，最关键的是，完成的流程图也会被系统自动处理，变成可以问答的知识，如下图所示：

图2-10:流程图问答

知识库维护其实就这么简单，总结一下：

• 创建知识库
• 维护（上传、导入）知识，以及流程图工具

Path：点击左侧菜单的“问答对话”

在2.1 "知识库"章节中我们已经完成了第一个知识库的创建，接下来让我们来对它进行测试，请点击“问答对话”进入问答功能。

图2-11：TorchV AI内置的Chatbot界面，主要提供用户测试使用。

完整的界面功能分为三大块：

• 会话导航区：在左侧可以看到“新建会话”和删除会话（icon）等功能。这里需要讲一下会话（Session）的作用，单个会话是存在上下文关联的，多轮对话的作用范围仅限于同一会话中。同理，如果您已经调整了参数或上传了新的知识内容之后，尽量开启新的会话进行操作，避免被上文干扰；
• 问答区：在问答区的顶部可以选择使用哪个大语言模型进行回答，在图2-9中可以看到，可选择的大语言模型可参见支持的大模型。中间部分的主要区域均为问答区，最下面是输入框，用户可以在这里输入想要对话的内容，点击“发送”与系统对话。输入框顶部是各种参数配置的工具栏（toolbar），点击会在屏幕右侧弹出配置页面，详情可查看参数设置工具栏。上面的部分是对话交互区，包括用户的提问和系统回答。每个答案底部会保护引用、使用的大模型以及整体的回答输出时间。当您点击引用文件时，右侧原文引用区会展开，显示被引用的内容原文（如图2-9所示）；
• 原文引用区：默认会在回答内容中显示引用的页面位置，如【1】【2】等，展示被引用文件的具体页面内容，如存在多个来源，会通过选项卡的方式展示在最顶部，如上图所示。

当您对前面上传的资料进行了充分问答测试之后，我们2/3的流程其实已经完成了，是不是非常简单易用。

在绝大多数使用场景中，当前系统已经可以很好地满足用户需求，但也存在一些场景需要进行特定优化才能获得90%以上的准确率。

下面的2.2.1和2.2.2就是一些调试和反馈的具体方法。

图2-6中我们可以看到在提问区的上方有各类参数调整的工具栏（Toolbar），下面我们来讲述如何在不同场景对参数做调整。

图2-12:参数调整工具栏

图2-13: 检索配置的参数截图，这是全局检索配置，各个应用中可配置各自的参数。

• 创造性：控制生成文本的随机性，值越高输出越多样化，值越低输出越保守；

• 多样性：控制模型只从前p%概率的词汇中选择，值越高输出越多样化，值越低输出越保守；

• QA对qms：TorchV AI支持用户设置QA对，比如“你是谁？”这些常用语的回答，直接用QA对来回复的好处是准确、幂等，它的优先级也是最高的，如果QA对已经被触发，系统不会继续经过RAG管道和大模型处理。所以我们对qms的分值要求也会比较高，比如0.95（满分1）；

• 知识库alpha：我们使用了混合检索，也就是BM25+相似度匹配，用户输入的问题非常书面化的情况下，BM25是非常有优势的，分值可以降低一些；如果用户输入的问题比较口语化或者比较模糊的时候，相似度匹配会更优秀，分值可以提高一些。所以，我们可以在不同的场景调整相应的比例；

• 知识库kms：kms就是knowledge-min-score（知识库chunks召回分值的阈值）的意思，当用户提了一个问题：

  • 系统检索之后召回的所有chunks分值有高于当前kms（如当前的0.61），那么系统会将这些召回的chunks和问题送入大模型进行生成处理；
  • 如果所有召回的chunks分值都小于当前kms，那么就需要结合下面的“回复方式”来进行具体操作了。
    • 如果在“回复方式”里面选择“自定义回复”：那么用户将得到的回答是“抱歉，知识库里面暂时没有改问题的答案！”，这种方式回答会比较严肃，也是一种对抗大模型幻觉的有效方法。
    • 如果在“回复方式”里面选择“LLM辅助回答”：那么系统就会将用户问题直接送入大模型进行生成回复，这种方式的幻觉产生几率相对较高。具体如何选择，可以看实际的使用场景做决定。

• 多轮对话：首先我们可以选择“对话方式”，默认是多轮对话，当然，如果你不想上下文可能的干扰，也可以选择单轮对话。在多轮对话模式下，多轮对话修正rms的分值表示的是对于用户的当前提问，如果和上文高度相关（如相关度得分高于0.60），那么可以引用上文的问答内容对当前问题进行补齐，如上文问了“杭州有什么好玩的”，现在的问“有什么好吃的？”，会被补齐为“杭州有什么好吃的？”。多轮对话轮次则表示最多可以往上引用几轮的对话内容。

这应该算是TorchV AI中最复杂的配置功能了。

这是全局的prompt管理，默认情况下可以不做改动，但如果您对prompt知识较为熟悉，可以进行修改。

其中：

${content}，是RAG召回的chunks内容；

${question}，是客户端用户提问的原始问题。

知识库选项卡在默认情况下是“全部知识库”，也就是全选状态。当您需要选择特定知识库时，可以点击“部分知识库”，可根据需要选择多个知识库，可选择的知识库最多是10个。

右侧还有两个开关按钮，第一个是知识库检索，选择开，则表示本次问答经过知识库；选择关，则直接与当前选择的大模型进行对话。

第二个是Turbo开关，默认选择关；如果选择开，则用户的问题将会先被进行详细拆分，分析出里面的意图和多种实体关系等，然后再进行多路检索和召回。Turbo打开的情况下，会比平时更加消耗Tokens，也会更加消耗时间。

根据您的实际使用场景进行参数调整，将会有助于您提升使用效果，主要的调整项包括：

• 大模型选择：如果业务逻辑和计算较多，请选择大参数模型；
• 检索配置：讲述了QA的使用场景，用户输入内容的不同对混合检索的影响，如何对抗幻觉，如何使用多轮对话，prompt编写，知识库选择，Turbo开关的用途等；
• 作用域：在本节中提到的参数调整试用于全局，如果您在后续创建应用的时候，可以为专门的应用配置自己的作用域。

反馈最主要的来源是终端应用的用户评价，比如他们觉得回答不满意，就会对问题就是反馈。

图2-14：在回答下面的反馈按钮。

如果是不满意的反馈，会要求终端用户输入更多详情（如下图所示），便于运营人员更快定位到问题。

图2-15：对于不满意反馈，可以说明不满意的主要原因。

在运营人员侧，在“运营中心-反馈处理”里面可以看到刚刚反馈的这条信息：

图2-16：在后台可以看到反馈结果。

对于不满意的回答应该如何修复？

这里我们可以进行快速的内容更新，点击上图中看到的“处理”链接，会打开处理弹窗。

图2-17：处理弹窗。

这里的主要处理思路是追加新的内容，可以选择两种处理方式：“新增文本”，以及“增加相似问法”。

• 新增文本：默认推荐该方法。先选择想要追加的知识库，然后就会出现一个富文本编辑弹窗供运营者进行内容补充，见图2-18；
• 增加相似问法：这个选项稍微有些特殊，解决思路是在已有QA对中增加相似问法。如果您没有创建过相关问题的QA对，或者不想用QA对解决该问题，那么请不要继续使用该功能。如果您有创建过该问题的QA对，那么除了选择知识库之外，还需要选择QA文件，然后再追加相似问法。

图2-18：新增文本的处理界面

就像开头讲的，如果您只是测试TorchV AI的问答能力，基本上到此为止就差不多了。但是如果您想让TorchV AI的能力对外发布，帮助您的业务AI化，那么2.3 应用创建将会非常重要，我们也简单预览一下。

Path：应用中心

图2-19: 应用中心首页

在应用中心界面的右上角点击+新建，创建你的第一个应用。

图2-20：创建应用和应用类型

在应用类型里面有三个分类，ChatBot、轻量级Agent和Assistant，如果您只是想快速了解TorchV AI，我们建议您采用ChatBot类型的 应用。

后面我们会讲述三种类型的特点。

图2-21：以ChatBot应用的工作台（playground）为例，提供应用的基础信息编辑、配置修改、一键嵌入功能和调试等功能。

与图2-21中所示一样，这里不展开描述。唯一要说的就是这里的AccessToken（已模糊处理）是使用API与外部应用对接时使用的。

TorchV AI的各类应用都会自带一个外部界面，一般分为：

• 一键嵌入：一般是以移动版的形式出现（如下图2-22所示），会在应用发布的时候生成一段js代码，复制在PC网站或者手机H5网页等，就可以使用；
• iframe嵌入：一般是以PC版的形式出现，使用iframe嵌入到客户原有的系统中。

的主要作用：快速将TorchV AI的chat能力嵌入到用户自己的官网、电商网站和Web版的业务系统中，整个过程只需复制几行js代码到目标系统/网站的Header中。

图2-22：应用的默认界面

图2-23：分享&发布

我们在自己的官网做了一键嵌入，为访客提供咨询服务，知识库来源于TorchV概览（Getting-Started）和操作手册（Manual），下图是截图效果：

图2-24：TorchV官网的一键嵌入截图

这两块功能在2.2.1和2.2.2中已经描述，此处不再详细展开。需要再次提醒的是应用里面的参数配置和对话调试的作用域仅限于当前应用，您可以在调整之后点击“保持”和“发布设置”进行固化，结果会同步到使用了该应用的外部终端。

图2-25：TorchV AI的企业集成

TorchV AI的Chatbot应用可以直接集成到钉钉、企业微信和飞书上，为企业用户提供了内部办公软件的集成。

详情请查看渠道发布。

截止到v1.8.7，我们提供了三种应用类型，ChatBot、轻量级Agent和Assistant，下面简要介绍他们的区别。

ChatBot是一种对话机器人的应用类型，特点是通过单轮/多轮对话让用户和非结构化数据进行对话，常见的应用场景包括智能客户、知识库问答等，应用场景非常广泛。

轻量级Agent更多使用了Prompt和RAG pipline的能力进行轻量任务的处理，比如识别文档中的错别字，比如提取关键信息等，一般作为一个多步骤任务中的一环，也可以单独使用。用户可以创建多个轻量级Agent，将它们发布在自己的应用页面中，进行快速使用。在很多场景中，它们也被称之为面具。

目前TorchV AI还不支持无代码画布形式的workflow编辑，需要在具体场景中了解客户业务需求之后再由开发人员进行编排。

Assistant和前面两者差别较大，它在本质上是一个多功能编辑器，可以在编辑过程中对知识库进行问答，然后得到的答案将会被使用在编辑过程中。得到的内容（特别是有数值的内容）也可以转化成其他形式，如转化成表格、折线图、柱状图、饼图等。

图2-26：Assistant编辑器初始页面。

在报告制作中往往需要收集诸多参考资料，并对资料进行解读，该过程时间话费巨大。而使用TorchV AI的Assistant功能，用户只需提问，即可快速借助RAG能力获得答案，大幅减少总体制作时间，显著增强报告编写体验。

图2-27：Assistant借助RAG能力可以快速获得资料中的答案，并给出原文对照。

用户可以选中所需的内容，让Assistant帮助我们制作表格和各类分析图表，如下图所示，我们将各项收入选中，并生成占比图。

图2-28：选中内容并生成饼图（占比分析）。

经过以上的知识库创建、问答测试和应用创建，您已经可以完成TorchV AI的全流程使用了，就是如此简单。

现在，您可以有以下方式使用TorchV AI：

• 在问答对话中进行试用，但该方法适合于测试；
• （推荐）创建自己的应用，使用一键嵌入功能，将TorchV AI的对话能力嵌入到您的官网或其他Web版系统中，这是对外释放能力最快的一种方式；
• （推荐）使用API对接您自己的应用，或者使用API创建新的应用，让您的更多客户享受到TorchV AI为您带来的AI能力。

Enjoy！