从推理引擎到开发框架，这些开源项目正在塑造 AI 技术的未来。
高吞吐量 LLM 推理引擎。通过 PagedAttention 算法高效管理注意力键值缓存，支持连续批处理和 CUDA 内核优化。兼容多种主流模型架构，提供与 OpenAI API 兼容的接口。
GitHub ↗构建 LLM 应用的综合性框架。提供模型调用、提示词管理、链式工作流、Agent 系统和 RAG 实现的完整工具链。与 LangSmith（监控）和 LangServe（部署）形成完整生态。
GitHub ↗本地大模型运行框架。封装模型下载、依赖管理和推理服务为一条命令，支持 Windows、macOS、Linux。内置模型库包含数百种开源模型，并提供 REST API 供外部应用调用。
GitHub ↗云原生向量数据库，专为 AI 应用设计。支持万亿级向量的存储和检索，提供 GPU 加速索引、混合搜索（向量+标量）、多租户等企业级功能。已被超过 5000 家企业采用。
GitHub ↗Hugging Face 核心库，提供统一的 API 接口访问数万种预训练模型。支持 PyTorch、TensorFlow、JAX 三大框架，涵盖 NLP、CV、语音、多模态等领域。ML 工程师的日常必备工具。
GitHub ↗功能丰富的 LLM 交互界面。支持 Ollama 和 OpenAI 兼容 API，提供文档管理、RAG 知识库、插件系统、多用户管理、模型切换等完整功能。适合团队内部部署和使用。
GitHub ↗纯 C/C++ 实现的 LLM 推理引擎，无外部依赖。通过 GGUF 格式量化模型，在 CPU 上即可高效运行。支持多种量化级别（4-bit 到 8-bit），使大模型在普通消费级硬件上可用。
GitHub ↗基于节点的 Stable Diffusion 工作流工具。通过可视化节点图编排复杂的图像生成流水线，支持 ControlNet、LoRA、IP-Adapter 等主流扩展。社区贡献了大量现成的工作流模板。
GitHub ↗OpenAI 开源的通用语音识别模型。支持 120+ 种语言，具备语音转写、翻译、语言识别等能力。large-v3 版本在多个基准上达到人类水平，支持在 GPU 和 CPU 上运行。
GitHub ↗DeepSeek 推出的开源推理模型，671B 总参数（37B 激活），采用 MoE 架构。在数学推理、代码生成任务上达到 GPT-4 级别。完全开源权重和技术报告，支持 128K 上下文窗口。
GitHub ↗Meta 发布的最新开源大模型系列。全面采用 MoE 架构，Scout（17B）和 Maverick（150B）版本开源。Scout 支持 10M token 上下文窗口，Maverick 性能比肩 GPT-4o。
GitHub ↗Stability AI 的最新开源图像生成模型。采用 MMDiT-X 架构，在文字渲染、构图能力和提示词理解上实现重大突破。提供 Large（8B）、Medium（2.6B）、Turbo 三个版本。
Hugging Face ↗