privateGPT 使用教程
从入门到精通的完整指南
privateGPT 简介
PrivateGPT是开源的私有化文档AI助手，允许用户在完全离线的环境中与文档进行自然语言交互。项目基于LangChain和LlamaIndex构建，支持接入多种本地LLM模型，通过Ollama、llama.cpp或HuggingFace运行模型推理。用户可以上传PDF、Word、TXT等文档，系统自动完成向量化索引，之后通过对话方式对文档内容进行提问和总结。PrivateGPT强调数据隐私，所有处理均在本地完成，文档和对话内容不会发送到外部服务。项目提供REST API和Python SDK便于集成，支持Docker部署，适合对数据安全有严格要求的企业和个人用户。采用Apache 2.0许可证。
详细功能介绍
【工具简介】PrivateGPT是开源自托管的文档AI助手，支持在完全离线环境中对私有文档进行智能问答和内容分析。
【核心功能】
①离线文档对话：支持上传PDF、Word、TXT等文档，通过本地运行的LLM进行对话式问答，所有数据处理在本地完成。
②多模型本地推理：集成Ollama、llama.cpp、HuggingFace等多种本地推理后端，支持Llama、Mistral、Qwen等开源模型。
③RAG文档检索：内置文档分段、向量化和语义检索管道，基于文档上下文生成准确回答，支持引用原文溯源。
④API与SDK集成：提供完整的REST API和Python SDK，开发者可以将文档问答能力嵌入到自有应用中。
⑤批量文档管理：支持同时索引多个文档，按文档集进行问答筛选，适合构建企业级知识库应用。
【适用场景】
法律和金融行业处理敏感文档，需要在不泄露数据的前提下利用AI辅助文档审阅和信息提取；企业内部搭建私有知识库，让员工在安全环境中查询产品文档、技术规范等内部资料；研究人员分析大量学术论文，通过对话方式快速提取关键信息和进行文献综述。
【快速入门】
①环境准备：克隆项目仓库，安装Python依赖，确保有可用的本地模型（推荐通过Ollama安装）。
②配置模型：在配置文件中指定LLM后端和Embedding模型，设置向量数据库类型（默认使用Qdrant或ChromaDB）。
③索引文档：通过API或界面上传文档，系统自动完成分段、向量化和索引构建。
④开始问答：在对话界面中对已索引的文档进行提问，系统基于RAG检索相关片段并生成回答。
【优缺点分析】
优点：完全离线运行保障数据安全，适合处理高度敏感文档；模型选择灵活，可根据硬件条件选择合适规模的模型；API设计规范便于集成到现有系统。
缺点：本地模型的回答质量受模型规模限制，小模型效果可能不理想；文档处理和索引速度受硬件性能影响较大；界面功能相对简洁，缺乏高级文档管理特性。
【适合人群】
对数据隐私有严格要求的企业用户，如法律、金融、医疗等行业；技术开发者，需要为自有应用添加离线文档问答能力；研究人员和学者，希望在本地安全地分析和检索大量学术文献。
1PrivateGPT入门教程：本地私有化文档AI助手
入门10分钟
PrivateGPT是一款开源的私有化文档AI助手，让你在完全离线的环境中与文档进行自然语言对话，所有数据不离开本地电脑。
一、快速开始
PrivateGPT需要本地部署，步骤如下：
1. 确保电脑已安装Python 3.11和Git
2. 打开终端，执行 git clone https://github.com/zylon-ai/private-gpt.git
3. 进入项目目录，执行 cd private-gpt
4. 运行脚本安装依赖：poetry install 或 pip install -r requirements.txt
5. 配置本地模型，推荐使用Ollama：先安装Ollama，然后执行 ollama pull llama3 下载模型
6. 复制配置文件：cp .env.example .env，编辑.env设置模型路径
7. 启动服务：make run 或 python -m private_gpt，浏览器访问 http://localhost:8080 即可使用
二、核心功能演示
功能1：上传文档
进入Web界面后，点击左侧Documents标签，选择Upload按钮，支持PDF、Word、TXT、Markdown等格式。上传后系统会自动进行文本提取和向量化索引，等待几秒即可完成。
功能2：文档问答
切换到Chat标签，在输入框中提出关于已上传文档的问题，例如这份报告的主要结论是什么？。系统会检索相关文档片段，结合本地LLM生成准确回答，并标注引用来源。
功能3：文档总结
在聊天窗口输入请总结这份文档的核心内容，AI会通读文档并生成结构化的摘要。你也可以要求按特定角度总结，比如总结文档中提到的所有技术方案。
三、实际使用案例
场景1：企业内部知识库问答
公司可以将内部政策文档、技术手册上传到PrivateGPT，员工通过对话方式快速查询信息，无需翻阅大量文件。由于完全本地运行，敏感数据不会外泄。
场景2：学术论文研究
研究人员上传多篇论文后，可以跨文档提问，例如这几篇论文在方法论上有什么异同？，快速梳理文献综述思路。
四、常见问题FAQ
Q1：上传文档后一直显示处理中怎么办？
A1：检查本地模型是否正常运行，确认Ollama服务已启动。文档过大时处理时间较长，耐心等待即可。如仍失败，检查终端日志定位错误。
Q2：回答质量不高怎么改善？
A2：可以尝试更换更大的模型，如llama3:70b；也可以调整.env中的chunk_size和overlap参数，优化文档切分策略。
五、小贴士
1. 文档预处理很重要：上传前尽量将扫描版PDF转为文字版，图片类内容无法被正确索引。
2. 善用系统提示词：在设置中自定义System Prompt，可以让AI以特定角色或风格回答问题。
3. 定期重建索引：如果文档内容更新了，记得删除旧索引并重新上传，确保回答基于最新内容。