V0.2.10版本上传文件至faiss，无法使用本地嵌入模型，自动连接huggingface.co

[aqi123]

V0.2.10版本上传文件至faiss，无法使用本地嵌入模型，程序自动连接huggingface.co，内网环境无法访问，但仍然可以实现切分和读取文件，使用RapidOCRDocLoader读取文件后，报错
We couldn't connect to 'https://huggingface.co' to load this file, couldn't find it in the cached files and it looks like None is not the path to a directory containing a file named config.json.
Checkout your internet connection or see how to run the library in offline mode at 'https://huggingface.co/docs/transformers/installation#offline-mode'.

复现问题的步骤 / Steps to Reproduce

1. 执行 python startup.py -a
2. 点击 知识库管理 -> 上传文件
3. 问题出现 可以实现文件读取和切分，但嵌入时报错，上传完成后报错
   File "D:\Code\AIGC\Langchain-Chatchat-master\server\knowledge_base\kb_service\base.py", line 235, in list_docs
   doc_with_id = DocumentWithVSId(**doc_info.dict(), id=x["id"])
   ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
   TypeError: server.knowledge_base.model.kb_document_model.DocumentWithVSId() got multiple values for keyword argument 'id'

File "D:\Code\AIGC\Langchain-Chatchat-master\webui_pages\knowledge_base\knowledge_base.py", line 329, in knowledge_base_page
data = [
~^^^^^^
TypeError: string indices must be integers, not 'str'

预期的结果 上传成功

实际结果

环境信息 / Environment Information

• langchain-ChatGLM 版本/commit 号：v2.0.1
• 是否使用 Docker 部署（是/否）：否
• 使用的 Embedding 模型（moka-ai/m3e-base 等）：bge-base-zh-v1.5
• 使用的向量库类型 (faiss / milvus / pg_vector 等)： faiss
• 操作系统及版本：win11
• Python 版本 / Python version: 3.11.8

model_config.py设置为：
MODEL_ROOT_PATH = "D:/Code/AIGC/"

选用的 Embedding 名称

EMBEDDING_MODEL = "bge-base-zh-v1.5"
新建faiss向量库未出现任何错误，只有上传文件时连接huggingface.co了，不理解为什么

[yangpeng-space]

我也遇到了这个问题，之前都正常，昨天重启服务报此错误

[aqi123]

此问题已解决，排查后发现错误原因在于，检索向量化后的文档时，每隔片段的MetaData（）发生错误，无法正确解析成json，因此构造DocumentWithVSId时字典解包失败，在此记录修改过程：

修改server/knowledge_base/kb_service/base.py文件list_docs方法
源代码：doc_with_id = DocumentWithVSId(**doc_info.dict(), id=x["id"])
修改后：doc_with_id = DocumentWithVSId(page_content = doc_info.page_content, metadata = doc_info.metadata, id=x["id"])

修改server/knowledge_base/kb_doc_api.py文件search_docs方法
源代码：data = [DocumentWithVSId(**x[0].dict(), score=x[1], id=x[0].metadata.get("id")) for x in docs]
修改后：data = [DocumentWithVSId(page_content=x[0].page_content, metadata=x[0].metadata, score=x[1], id=x[0].metadata.get("id")) for x in docs]

[WWXNANA]

此问题已解决，排查后发现错误原因在于，检索向量化后的文档时，每隔片段的MetaData（）发生错误，无法正确解析成json，因此构造DocumentWithVSId时字典解包失败，在此记录修改过程：

修改server/knowledge_base/kb_service/base.py文件list_docs方法 源代码：doc_with_id = DocumentWithVSId(**doc_info.dict(), id=x["id"]) 修改后：doc_with_id = DocumentWithVSId(page_content = doc_info.page_content, metadata = doc_info.metadata, id=x["id"])

修改server/knowledge_base/kb_doc_api.py文件search_docs方法 源代码：data = [DocumentWithVSId(**x[0].dict(), score=x[1], id=x[0].metadata.get("id")) for x in docs] 修改后：data = [DocumentWithVSId(page_content=x[0].page_content, metadata=x[0].metadata, score=x[1], id=x[0].metadata.get("id")) for x in docs]

好厉害，困扰2天的问题解决了 ！

[dimension-data-factory]

DocumentWithVSId 是不是少一个vs_id, id 是 Document基类的。 vs_id score 才是 DocumentWithVSId的 。 我也遇到这个问题， 我想这样改。

[aqi123]

我也遇到了这个问题，之前都正常，昨天重启服务报此错误

我靠我也是，我上周用还好好的，昨天用就不行了，今天改了一天还是不行，我尝试了重新下载源码/重新创建虚拟环境/使用docker/修改嵌入模型的位置，都不行，你认为这个错是为啥呢，咱两一起解决呗~

[liunux4odoo]

1. 首先确定所有依赖满足 requirements 中的要求。ID duplicated 的错误应该是 langchain 版本不对
2. 确定模型路径设置正确
3. 确定使用的分词器没有设置任何 source/model

0.2.x 版本已经停止维护，推荐使用 0.3.x版，所有RAG功能都包含了。

[aqi123]

1. 首先确定所有依赖满足 requirements 中的要求。ID duplicated 的错误应该是 langchain 版本不对
2. 确定模型路径设置正确
3. 确定使用的分词器没有设置任何 source/model

0.2.x 版本已经停止维护，推荐使用 0.3.x版，所有RAG功能都包含了。

1. langchain版本：
   langchain=0.0.354,langchain-community=0.0.20,langchain-core=0.2.19
2. 模型路径：
   MODEL_ROOT_PATH = "D:\Code\AIGC\"
   EMBEDDING_MODEL = "bge-base-zh-v1.5"
3. 分词器未作任何改变
   没办法使用0.3版本，因为公司已经针对0.2.10版本做了很多修改和重写，但是目前可以肯定的是，所有关于文件上传和向量化的代码都没有做任何改造，请问我这仍然是langchain版本的问题吗？

[yangpeng-space]

我也遇到了这个问题，之前都正常，昨天重启服务报此错误

我靠我也是，我上周用还好好的，昨天用就不行了，今天改了一天还是不行，我尝试了重新下载源码/重新创建虚拟环境/使用docker/修改嵌入模型的位置，都不行，你认为这个错是为啥呢，咱两一起解决呗~

我将要用的embed_model下载到langchain-chatchat目录下，同时将embed_model文件夹复制一份改名为None，配置文件写明embed_model的本地路径。以上操作后可以创建知识库和知识库问答，不过webui页面知识库上传后全是叉号，正常应该是对号

[aqi123]

我也遇到了这个问题，之前都正常，昨天重启服务报此错误

我靠我也是，我上周用还好好的，昨天用就不行了，今天改了一天还是不行，我尝试了重新下载源码/重新创建虚拟环境/使用docker/修改嵌入模型的位置，都不行，你认为这个错是为啥呢，咱两一起解决呗~

我将要用的embed_model下载到langchain-chatchat目录下，同时将embed_model文件夹复制一份改名为None，配置文件写明embed_model的本地路径。以上操作后可以创建知识库和知识库问答，不过webui页面知识库上传后全是叉号，正常应该是对号

咱两的问题好像不一样了，我后来发现连接hf.co是分词器那块的毛病，不碍事可以忽略，我的真正问题变成了上传文件后无法查看文件，
后端报错
{"seq": i + 1, "id": x["id"], "page_content": x["page_content"], "source": x["metadata"].get("source"),
~^^^^^^
TypeError: string indices must be integers, not 'str'
前端报错：

排查之后发现调用list_docs这个函数去获取切后文件的时候，没有返回正确的json，
{'code': 500, 'msg': 'API未能返回正确的JSON。Expecting value: line 1 column 1 (char 0)', 'data': None}
返回的文件格式为：[{'id': '00ebeac2-0e2a-44d0-b6d4-8e13c6ff3ff0', 'metadata': MetaData()}]，
感觉是存储文件的时候出错了，bu'gu不过我没出现全是叉号的问题，你全是叉号的时候也能在上传知识库页面看见文档内容吗

[liunux4odoo]

0.2.x 版本已经停止维护。该 issue 移到讨论区，有需要的同学请移步。

[osikubi]

我尝试很多次，在线embedding模型都无法工作，有没有具体的解决办法

[aqi123]

我没有使用在线embedding哈，是不是跟你用的梯子有关呢？

[Nancy7zt]

我的在线模型也总是报错，有解决办法吗

[aqi123]

具体报什么错，用的哪个在线模型？