一条命令在本机跑起 Llama、Qwen、DeepSeek 等开源大模型，自带模型管理、量化与兼容 OpenAI 的 API。
AI 与大模型开源项目（26 个）
AI 与大模型是当下开源生态最活跃的方向。这一组收录了本地推理引擎、Agent 编排框架、RAG 检索方案与生成式应用，覆盖从「在自己电脑上跑一个模型」到「把大模型接进生产系统」的完整链路。想快速上手，可以先看 Ollama 与 Dify；要做工程化部署，vLLM、SGLang 这类推理服务框架更合适。
开源 LLM 应用开发平台，可视化编排 Agent、工作流、RAG 知识库，带完整的前后端与运营能力。
可自托管的 AI 对话界面，对接 Ollama 与任意 OpenAI 兼容接口，支持知识库、多用户与权限。
节点式扩散模型工作流，图生图、视频生成、ControlNet 全部可视化连线编排。
把任意网页抓取并转成干净的 Markdown 或结构化数据，专为 LLM 与 RAG 设计。
把 PDF、Word、Excel、图片等转成 Markdown，喂给大模型之前先清洗一遍。
最主流的预训练模型库，覆盖文本、视觉、语音、多模态，几乎是一切模型权重的事实标准入口。
Stable Diffusion 最流行的 Web 操作界面，插件与模型生态极其丰富。
跑在终端里的编码 Agent，能读代码库、改文件、跑命令并提交变更。
构建 LLM 应用的框架，把模型、提示词、工具、记忆与检索串成可组合的链。
纯 C/C++ 的大模型推理实现，CPU、Apple Silicon 与各类 GPU 都能跑，量化生态的源头项目。
ggml
OpenAI 的终端编码 Agent，本地执行任务并直接产出代码改动。
让 AI 直接操作浏览器，完成点击、填表、抓取等网页任务。
高吞吐、低延迟的 LLM 推理与服务引擎，PagedAttention 的提出者，生产环境部署的首选之一。
amdblackwellcuda
一站式微调 100+ 开源大模型与多模态模型，LoRA、全参数、DPO 都有现成脚本。
为 AI Agent 提供持久记忆层，跨会话记住用户偏好与历史上下文。
给 AI 编码工具提供项目最新文档的 MCP 服务，显著减少 API 版本幻觉。
统一的 AI 网关，用 OpenAI 格式调用 100+ 家模型，自带配额、日志与成本统计。
面向文档的 LLM 数据框架，RAG、索引、检索与 Agent 的标准组件库。
用图结构编排有状态、可中断恢复的多步 Agent，适合做真正能跑起来的复杂智能体。
简单快速的检索增强生成实现，用图结构提升跨段落问题的召回质量。
高性能大模型与多模态模型服务框架，面向高并发推理场景。
attentionblackwellcuda
基于知识图谱的模块化 RAG 方案，适合处理需要全局归纳的长文档语料。
中文开源教程：从零开始手写并训练一个大语言模型，配套代码与讲解。
轻量级多 Agent 工作流框架，围绕工具调用与任务交接设计，代码量小、概念少。
基于 LLM 的知识库问答平台，开箱即用的编排、检索与对外 API。