大模型作为一个语言模型，实际上没有真正的记忆功能。所谓的对话记忆只是开发者将对话历史向GPT发送消息时将最近的对话历史通过提示工程组发送给ChatGPT。换句话说，如果对话历史超过了大模型的最大上下文，GPT会忘记之前的部分，这是大语言模型共有的局限性。
另外对专业领域知识的训练缺乏也是非常明显的短板。尽管这些模型在理解和生成自然语言方面有极高的性能，但它们在处理专业领域的问答时，却往往不能给出明确或者准确的回答。在医学、法律、工程等领域，人工智能可能被要求要理解和运用相当复杂和专业化的知识，然而这在目前的模型中仍是一个巨大的挑战。
针对专有和专业知识在大模型的应用落地出现不少解决方案，而向量数据库就是其中之一。当我们很多文档（例如客服培训资料或者产品操作手册）需要大模型根据它们的内容进行回答时，我们可以先将这份文档的所有内容转化成向量（这个过程称之为 Vector Embedding），然后当用户提出相关问题时，我们将用户的搜索内容转换成向量，然后在数据库中搜索最相似的向量，匹配最相似的几个上下文，最后将上下文返回给大模型。这样不仅可以大大减少模型的计算量，从而提高响应速度，更重要的是降低成本，并巧妙的减少 tokens 限制所带来的问题。
针对这种需求，聆思CSK6大模型开发板也配套提供了一个知识库方案，参考下面文档三步就能在智能硬件上接入自建的知识库
发表于 2025-5-23 15:15:46
