跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

87 条精选近 30 天 47条共收录 371条

更新

精选归档 · 第 5 页

6月11日周三
  1. Mistral AI62

    Mistral AI 发布 Mistral Compute AI 基础设施服务

    Mistral AI 发布 Mistral Compute,提供从裸金属服务器到全托管 PaaS 的私有集成栈,涵盖 GPU、编排、API 与产品服务。作为 NVIDIA 合作伙伴,该服务将提供最新 NVIDIA 参考架构,初期可用数万块 GPU,并计划在未来数年快速扩张。

    推荐理由:Mistral 把自建训练与推理基础设施对外产品化,读者可据此判断欧洲主权 AI 算力供给的另一种选择。

6月4日周三
  1. Mistral AI60

    Mistral 发布企业级编码助手 Mistral Code

    Mistral 发布企业级 AI 编码助手 Mistral Code,整合 Codestral、Codestral Embed、Devstral 和 Mistral Medium 四个模型,支持云端、专属容量和本地 GPU 气隙部署,并基于开源项目 Continue 构建。

    推荐理由:Mistral 把模型、IDE 插件和本地部署打包成企业级编码助手,并给出三家欧洲企业的落地规模,可据此判断私有化编码方案的形态。

5月28日周三
  1. Mistral AI62

    Mistral 发布首个代码嵌入模型 Codestral Embed

    Mistral 发布首个专为代码设计的嵌入模型 Codestral Embed,在真实代码检索任务上表现优于 Voyage Code 3、Cohere Embed v4.0 和 OpenAI 的大型嵌入模型。

    推荐理由:Mistral 首个代码嵌入模型给出了可调维度与精度,读者可据此权衡检索质量与存储成本。

5月7日周三
  1. Mistral AI60

    Mistral 发布 Le Chat Enterprise,由 Mistral Medium 3 驱动

    Mistral 发布企业版 AI 助手 Le Chat Enterprise,由全新的 Mistral Medium 3 模型驱动,提供企业搜索、Agent 构建器、自定义数据与工具连接器、文档库、自定义模型和混合部署等功能,全部功能将在未来两周内逐步上线。

    推荐理由:Mistral 把企业搜索、Agent 构建和混合部署打包进一个平台,可据此判断企业 AI 采购的整合方向。

3月7日周五
  1. Mistral AI78

    Mistral AI 发布文档理解 API Mistral OCR

    Mistral AI 发布光学字符识别 API Mistral OCR,可把图片和 PDF 解析为有序交错的文本与图像,并已作为 Le Chat 文档理解的默认模型。

    推荐理由:官方给出与 Google、Azure、Gemini 系列的横向基准对比和 1000 页/美元定价,可据此判断文档解析方案的替换成本。

1月30日周四