本地大模型可视化
约 887 字大约 3 分钟
2025-02-10
本地运行了大模型之后，可以接入可视化工具，方便查看模型效果。
可视化方案
本地大模型可视化方案有很多。
Open Web UI
Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 平台，旨在完全离线运行。它支持各种LLM运行器，如 Ollama 和 OpenAI 兼容的 API，并内置了 RAG 推理引擎，使其成为强大的 AI 部署解决方案。
Page Assist
Page Assist 是一个开源浏览器扩展，可为您的本地 AI 模型提供侧边栏和 Web UI。它允许您从任何网页与您的模型进行交互。
Chatbox AI
Chatbox AI 是一款 AI 客户端应用和智能助手，支持众多先进的 AI 模型和 API，可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。
Tabby
Tabby 是一个自托管的 AI 编码助手，提供 GitHub Copilot 的开源和本地替代方案。它拥有几个关键功能：
- 独立式，无需 DBMS 或云服务。
- OpenAPI 接口，易于与现有基础设施（例如 Cloud IDE）集成。
- 支持消费级 GPU。
Dify
Dify 是一个开源的 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 管道、Agent、模型管理、可观测性功能等，让您可以快速从原型到生产。以下是其核心功能列表：
- 工作流: 在画布上构建和测试功能强大的 AI 工作流程，利用以下所有功能以及更多功能。
- 全面的模型支持: 与数百种专有/开源 LLMs 以及数十种推理提供商和自托管解决方案无缝集成，涵盖 GPT、Mistral、Llama3 以及任何与 OpenAI API 兼容的模型。完整的支持模型提供商列表
- Prompt IDE: 用于制作提示、比较模型性能以及向基于聊天的应用程序添加其他功能（如文本转语音）的直观界面。
- RAG Pipeline: 广泛的 RAG 功能，涵盖从文档摄入到检索的所有内容，支持从 PDF、PPT 和其他常见文档格式中提取文本的开箱即用的支持。
- Agent 智能体: 您可以基于 LLM 函数调用或 ReAct 定义 Agent，并为 Agent 添加预构建或自定义工具。Dify 为 AI Agent 提供了50多种内置工具，如谷歌搜索、DALL·E、Stable Diffusion 和 WolframAlpha 等。
- LLMOps: 随时间监视和分析应用程序日志和性能。您可以根据生产数据和标注持续改进提示、数据集和模型。
- 后端即服务: 所有 Dify 的功能都带有相应的 API，因此您可以轻松地将 Dify 集成到自己的业务逻辑中。
对比
| 功能 | Dify.AI | LangChain | Flowise | OpenAI Assistant API |
|---|---|---|---|---|
| 编程方法 | API + 应用程序导向 | Python 代码 | 应用程序导向 | API 导向 |
| 支持的 LLMs | 丰富多样 | 丰富多样 | 丰富多样 | 仅限 OpenAI |
| RAG引擎 | ✅ | ✅ | ✅ | ✅ |
| Agent | ✅ | ✅ | ❌ | ✅ |
| 工作流 | ✅ | ❌ | ✅ | ❌ |
| 可观测性 | ✅ | ✅ | ❌ | ❌ |
| 企业功能（SSO/访问控制） | ✅ | ❌ | ❌ | ❌ |
| 本地部署 | ✅ | ✅ | ✅ | ❌ |