一条命令在本机跑起 Llama、Qwen、DeepSeek 等开源大模型，自带模型管理、量化与兼容 OpenAI 的 API。
gpt-oss 相关的 GitHub 开源项目（3 个）
带有 gpt-oss 标签的开源项目，按星标数排序。标签来自各仓库在 GitHub 上自行声明的 topics。
高吞吐、低延迟的 LLM 推理与服务引擎，PagedAttention 的提出者，生产环境部署的首选之一。
amdblackwellcuda
高性能大模型与多模态模型服务框架，面向高并发推理场景。
attentionblackwellcuda