1.公司和品牌介绍
杭州萌嘉网络科技有限公司成立于2020年7月，从早期的自然语言处理（NLP）、向量数据库技术，再到现在的大语言模型（LLM）应用，一直在从事AI技术研发和AI应用创造，也是国内较早开始RAG技术研发和AI企业应用落地的公司之一。
TorchV作为杭州萌嘉网络科技有限公司的主要AI产品品牌，现在包括AI应用能力平台—TorchV AI和AI知识库平台—TorchV KB。正在使用TorchV AI产品进行企业应用落地或已完成落地的客户包括物产中大、浪潮信息、长江生态环保集团、台州银行、易碳数科、国科云招、汇仁集团等一大批国内知名企业。
TorchV AI核心团队从2019年即开始向量技术和BERT/GPT方向的技术研究，且研发和运营了千万级用户的AI产品，在AI技术和AI场景落地方面有丰富积累。TorchV AI和TorchV KB，以及相关产品，均使用Java作为第一开发语言，产品具有原创设计和知识产权。从2024年初开始，团队依然保持了每周发布小版本、每月发布大版本的迭代节奏。同时团队核心人员也积极参与AI技术和产业社区交流（详细内容请查看最新动态），包括在Unstructured Data Meetup（杭州）、2024稀土开发者大会（北京）和GOGC2024（上海）等大会上做主题分享。
2.产品介绍
本文主要介绍AI应用能力平台—TorchV AI，在附录中简要介绍可与TorchV AI无缝结合的AI知识库平台—TorchV KB。
2.1.TorchV AI概要介绍
TorchV AI是基于大语言模型（LLM）之上的一整套AI应用能力平台，与纯粹的大语言模型不同的是，TorchV AI更关注与企业业务融合，帮助企业可以更好地将大语言模型能力应用于自身业务工作中。主要特点包括：
- 用户体验：提供可视化功能帮助用户完成知识创建、问答和应用发布等重要工作，且面向开发者提供完整API和文档中心；
- 可私有化：提供私有化部署方案，帮助企业用户充分发掘本地私有知识数据的价值；
- 高准确率：高于91.5%的通用问答准确率，以及在特定优化场景接近100%的问答准确率；
- 能力延伸：将AI能力从问答延伸到报告撰写、精准匹配、预审核、培训与实战演练、推荐等多类型企业应用能力。
以下是TorchV AI的核心架构示意图。
2.2.TorchV AI核心优势
TorchV AI具备优秀用户体验、高准确率和极好地应用延伸扩展能力等特点，这里我们重点介绍TorchV AI具备高准确率的原因。
2.2.1.知识提取能力
企业私有数据的AI应用都会从文件解析和知识内容提取开始，TorchV AI支持PDF、Word、Excel、CSV、PPT、Txt、Markdown、Image、Epub等多类文件解析，并且因为TorchV AI采用企业级开发语言Java开发，具备丰富企业级组件，所以对.doc、.xls、.ppt等旧版文件支持也非常友好。对于扫描件、图片等格式的文件，TorchV AI结合OCR技术进行解析提取。
除了文件解析之外，TorchV AI还支持直接通过网页链接提取知识内容，并可设置定向源定期更新。
TorchV AI也支持对关系型数据接入，目前支持MySQL、MariaDB等数据库，其他数据库将会陆续更新。
此外，TorchV AI拥有自研的表格解析工具（已获得知识产权），已通过众多企业客户实战考验，在复杂的合并/拆分单元格组成的表格解析中具备极高准确率。
2.2.2.元数据过滤
知识从文件中被提取之后会被按一定规则进行切割（chunking），以便在海量数据中能被更加快速地检索召回。但即使是最优秀的chunking算法，往往也会丢失一些关键信息，下面仅展示最常见的两种问题，包括：
- 指代信息丢失：如合同文本中只在开头出现了甲乙方全称，其余文本中均使用“甲方”、“乙方”进行替代，在海量chunks中常常引起主体混淆；
- 时间混乱：如格式与内容极其相似的月度/年度报告，在chunks中丢失时间信息的情况下容易在检索结果中出现内容混淆。
TorchV AI在知识提取和知识索引创建的过程中会同步创建chunks元数据，包括涉及的实体、时间信息、内容大小等，元数据会在检索生成过程中被使用，有效提高问答准确率。
2.2.3.自研RAG算法
RAG既检索增强生成，在传统的检索算法中准确率和召回率一直是非常难于权衡的一对指标。TorchV AI在检索算法上将检索过程分为多段进行，在第一阶段注重召回率，采用改进过的HNSW算法，满足在海量数据中快速召回的情况下保证潜在目标chunks不被遗漏；在第二阶段采用交叉熵编码算法对一阶段召回的chunks进行更为严格的检索，追求准确率。
目前整套RAG自研流程和算法已经取得知识产权。
2.2.4.模糊问答处理
在实际企业应用场景中，用户提交的问题往往缺少关键信息，也就是所谓的模糊问题，导致最终回答内容也出现笼统和模糊的结果。TorchV AI支持对特定业务场景做槽位设置，给定问题的必要条件，在问答过程中，如果问题中（的实体）未发现必要信息，系统将会进行反问。如“请问您所在的城市？”、“请问您具体要查询哪一年的信息？”等等。
模糊问答处理可以在有限的对话轮次内将用户意图精确定位，从而给出准确率极高的答案。目前模糊问答处理还未实现全场景覆盖，对使用场景有一定限制。
2.2.5.其他
- 大语言模型特性与业务应用的匹配度：根据不同业务属性，配置不同特性的大语言模型进行生成处理，让业务更加匹配。查看支持的大语言模型；
- 知识冲突选择决策设置：对于系统中存在文件资料内容表述冲突的情况，用户可进行处理决策的设置，如时间最新优先，停止回答并提示错误，或综合给出两种相互矛盾的答案等；
- FAQ集成：可以批量导入企业原有FAQ集，如用户问题与FAQ中的相关问题相似度高于等于95%，优先启用FAQ进行回答；
- 知识库系统集成：可与TorchV KB知识库协同系统集成，从知识库直接同步知识，提供知识库协同系统AI问答能力；
- 反馈快速处理：问答系统具备回答反馈机制，用户可对答案进行点评。后台可对不满意回答进行查看，并通过知识补充改进问题；
- 基于流程图问答：TorchV AI可在知识维护中创建基于mermaid格式的流程图，并可对流程图内容进行直接提问。
- 回答严肃性控制：TorchV AI提供了一系列可视化配置选项，可由用户自主选择各个应用中的回答严肃性，以应对不同场景的效果。
2.2.6.应用集成
为了适应更多应用场景，TorchV AI从增加了三种对客户和渠道商非常友好的集成方式：
- 企业办公集成：TorchV AI提供可视化配置界面帮助用户轻松将AI应用能力集成到钉钉、飞书和企业微信中，满足绝大多数企业日常办公中希望获得AI能力加持的需求；
- 快速接入客户原有系统：只要客户原有系统支持OpenAI的Chat接口格式，即可将TorchV AI的Chat接口快速对接到自己的系统，替换原来的底层AI能力；
- 渠道商为其客户开户：使用TorchV AI提供SaaS服务的渠道商，可以通过渠道合作商开户接口进行账户下的多子租户开户，并具备所有子租户的使用费结算能力。
附录.TorchV KB简介
TorchV KB是一款企业级知识库协同平台，聚焦大型企业研发、销售和运营等各体系之间的有效协同。在大语言模型流行的当下，非结构化文件的使用价值被激活，如常用的RAG框架就能帮助用户有效与公司内部各类文件建立起对话。但随着非结构化文件快速被使用，知识管理和协同问题同样凸显。
TorchV KB的产品设计基于国内多家大型企业多年的知识库使用经验总结，具备优秀实操能力，其产品的主要特点如下：
- 结合大语言模型能力（可与TorchV AI无缝集成），强化AI知识检索，让用户在知识获得方面更轻松、更智能；
- 搭配销售培训、实战模拟等AI应用，将知识库价值应用到实际业务中；
- 可无缝迁移conflunce知识库系统。