英特尔推出推理微服务，面向第四至第六代至强处理器自动配置 vLLM 参数
英特尔宣布推出 Intel Inference Microservices，这套容器化大语言模型推理方案可在启动时检测英特尔至强处理器型号、核心数量、NUMA 节点和内置加速器，并为特定模型选择英特尔预先验证的 vLLM 配置。首批版本支持 BF16 精度，可运行于 Docker 或 Kubernetes 1.24 及以上环境，面向第四、第五和第六代英特尔至强处理器。
这一轮，有什么变化
英特尔此次将此前介绍的基于 vLLM 的至强处理器 LLM 服务栈进一步产品化和容器化，推出可自动检测硬件并加载模型专用配置的微服务。英特尔计划后续增加 Helm Chart、Kubernetes Operator、更多推理引擎和精度支持；目前工具调用和结构化输出仅作为 vLLM 透传能力使用，尚未被验证为正式支持能力。
为什么值得关注
该方案将模型推理调优、硬件检测和配置选择封装进容器，以 OpenAI 兼容 API 提供服务，可能降低企业在既有至强服务器上部署和迁移大语言模型推理工作负载的调优成本。英特尔还表示，未来计划将同一微服务模式扩展到其 GPU 平台。
事件时间线
英特尔推出推理微服务，面向第四至第六代至强处理器自动配置 vLLM 参数
英特尔此次将此前介绍的基于 vLLM 的至强处理器 LLM 服务栈进一步产品化和容器化，推出可自动检测硬件并加载模型专用配置的微服务。英特尔计划后续增加 Helm Chart、Kubernetes Operator、更多推理引擎和精度支持；目前工具调用和结构化输出仅作为 vLLM 透传能力使用，尚未被验证为正式支持能力。
来源与证据 1
01英特尔面向四至六代至强处理器推出推理微服务：自动检测硬件并配置 vLLM 参数IT之家 · 10/14 23:13