跳到正文
全部动态 · 今日9条

#多模态

信源抓到、进了内容池的全部内容,按时间排列;精选只是其中一部分。
10月9日周五
  1. Google AI · X49

    今天是星期五🎉 来看看本周的公告:— https://t.co/a9bSlm0Yxk 现已在全球以英语提供,任何人都可以使用我们的检测门户,轻松验证图像、视频或音频文件是否由 Google 或行业合作伙伴通过 AI 生成 — Nano Banana

    今天是星期五🎉 来看看本周的公告: — https://t.co/a9bSlm0Yxk 现已在全球以英语提供,任何人都可以使用我们的检测门户,轻松验证图像、视频或音频文件是否由 Google 或行业合作伙伴通过 AI 生成 — Nano Banana

  2. The Decoder62

    Anthropic 的 Claude Science 绘制首张完整紫外天图

    Anthropic 的 Claude Science 首次绘制出完整的紫外天空图。该项目由 Claude Science 协调多个 AI 智能体,从多个太空任务下载数据、校准并合并,再用 inpainting 技术补全缺失区域;测试中预测值与实际测量平均偏差约 10%。约翰斯·霍普金斯大学天体物理学家 Brice Ménard 在 Anthropic 官网介绍了这一流程,并称该图将用作教学材料。

  3. 雷锋网45

    豆包工作新增创作画布功能,接入豆包2.1 Lite与Seedream 5.0 Flash

    豆包工作推出创作画布功能,将素材、设计方案与创作成果集中在一张无限画布上,并接入全新图片模型Seedream 5.0 Flash,相关Agent可完成从理解需求、规划方案到生成图片、视频和成套设计的复杂创作流程。同时新增轻量级豆包2.1 Lite模型,面向日常问答、文档撰写、表格处理和PPT制作等高频办公场景,优化了响应速度与额度消耗,用户升级客户端后选择该模型即可使用。

  4. 量子位62

    MirroS 发布 AgentGarten:代码环境加实时神经渲染,让智能体边玩边进化

    MirroS 团队发布 AgentGarten,将可执行代码环境与实时神经渲染器连接,代码定义物理规则、模型生成视觉反馈,以超过 30 fps 的吞吐让智能体持续交互。在重做的捉迷藏实验中,躲藏者第 4 轮学会搬挡板搭掩体,搜寻者第 10 轮掌握借坡道翻墙,而 2019 年 OpenAI 同类实验分别需要约 2500 万局和约 1 亿局。团队还公布了 Blog、技术报告、代码仓库和项目主页。

10月8日周四
  1. 雷锋网22

    前腾讯混元视觉大模型负责人胡瀚创业:聚焦多模态,目标估值数亿美金

    前腾讯混元视觉大模型算法中心负责人胡瀚的创业项目已取得新进展,方向仍聚焦多模态,计划融资数千万美元,目标估值达数亿美金,远识资本担任本轮融资 FA。过去一个月已有多家投资机构与其接触,商业化路径上胡瀚认为其模型未来可出售给大型科技公司,例如 DeepSeek。

  2. 雷锋网42

    CARES 4.0 在港发布:中科院香港 CAIR 推出多模态临床智能体系统

    中国科学院香港创新研究院人工智能与机器人创新中心(CAIR)在第四届香港具身智能医疗科技论坛上发布多模态临床智能体系统 CARES 4.0,该系统依托 Harness 智能体框架构建,底层搭载自研 CT、核磁、超声、内镜、脑电多模态医疗基座,已在多家三甲医院完成落地验证。CARES 4.0 官网已开放,框架与通用工具包已发布,医疗工具包陆续上线,自研超声、手术视频开源模型也将接入平台并免费开放。

  3. vLLM · X62

    vLLM-Omni 技术报告提出用于全模态生成的统一服务运行时

    vLLM 项目分享了 vLLM-Omni 技术报告,介绍了一种用于全模态生成的统一服务运行时。报告指出,语音助手、视觉生成、世界模型和机器人循环不再遵循单一的文本解码循环,而是演变为多阶段自回归流水线、迭代式扩散和有状态会话;LLM 服务器和扩散框架都只能部分覆盖这些需求。vLLM-Omni 作为共享控制平面,由一个编排器、专用引擎、一个连接器和统一的会话路径组成。文中附有论文和代码仓库链接。

  4. Mark Chen · X81

    OpenAI 面向所有用户推出 ChatGPT 中的 GPT-6 和智能界面

    OpenAI 表示,GPT-6 和智能界面现已开始向所有 ChatGPT 用户推出,为用户的任务提供快速、交互式的回答和工具。 Mark Chen 鼓励用户试用智能界面,并表示现在每次 ChatGPT 回复都有可能创建一个定制界面,还称它非常适合学习新知识。 https://twitter.com/OpenAI/status/2107894997538525580

    推荐理由:这些定制界面可以将解释和任务工具直接融入 ChatGPT 答案的呈现过程中,让学习更直观、更具互动性。

  5. Sam Altman · X78

    ChatGPT 新增 GPT-6 和智能界面,为你提供定制的交互式回答

    ChatGPT 现在可以为你生成定制界面! https://twitter.com/OpenAI/status/2107894997538525580 OpenAI 在引用的帖子中表示,GPT-6 和智能界面正在向所有 ChatGPT 用户推出,可提供快速的交互式回答、更直观的解释,以及随时可用的工具。

    同一新闻,精选展示《OpenAI 在 ChatGPT 全球上线 GPT-6 并推出 Intelligent UI》

  6. Tibor Blaho · X66

    ChatGPT 中的 GPT‑6 Instant 和 Intelligent UI

    Tibor Blaho 介绍了 ChatGPT 中的 GPT‑6 Instant 和 Intelligent UI,并引用了 @_awchen 对该 UI 发布情况的描述。@_awchen 表示,他们在保留 HTML 几乎全部功能的同时,让界面在 ChatGPT 中显得快速且原生;他们还对 gpt-6 进行了后训练,使其能够判断何时界面会有所帮助,以及界面应显示什么或支持哪些操作。被引用的作者表示,这项工作需要制作许多原型,而且团队仍在摸索其中的一些方面。

  7. NVIDIA AI · X62

    SynthID Detector 向所有人开放,包括识别 NVIDIA Cosmos 水印

    Google DeepMind 的 SynthID Detector 现已向所有人开放,用户可以检查在线内容是否由 Google AI 或包括 OpenAI、NVIDIA 和 Kakao 在内的行业合作伙伴工具生成,Apple 即将加入。NVIDIA AI 表示,会为在 build.nvidia.com 上由 NVIDIA Cosmos 生成的内容添加水印,因此任何人都可以将这些内容上传到检测器,确认它们来自其模型。

  8. Perplexity · X58

    Perplexity 发布 pplx-embed-v2-late 多模态嵌入模型

    Perplexity 正在发布 pplx-embed-v2-late,据称这是一组包含两个晚交互嵌入模型的模型,可通过共享嵌入空间检索文本、图像和页面,实现跨模态查询。该公司表示,这两个模型均达到前沿性能,并已在 Hugging Face 上公开发布;相关博客文章见 perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector。

10月7日周三
  1. Google AI · X62

    Google 通过 synthid.com 向所有人开放 SynthID 水印检测

    Google AI 表示,其 SynthID 技术现已通过 synthid.com 向所有人开放,可验证图像、视频或音频文件是否由 AI 生成。该门户可检测由 Google 或包括 OpenAI、NVIDIA 和 Kakao 在内的行业合作伙伴添加水印的文件,Apple 即将加入。Google 称,已为 1800 亿张图像和视频以及超过 24 万年的音频添加水印,每天处理 100 万次验证请求。

  2. Ars Technica · AI62

    Google 推出改进版 SynthID 检测器并全球开放

    Google 宣布其 SynthID 检测器现已支持所有合作方嵌入的水印,并上线独立网站 SynthID.com 供任何人使用。此前非 Google 信任测试者只能通过询问 Gemini 来检测水印,且检测器只识别 Google 自家版本的 SynthID,ChatGPT 等合作方生成的带水印图片不会被标记。

  3. 量子位40

    Meshy 跻身 a16z 消费级 AI 应用月收入 Top 50,为榜单唯一 AI 3D 公司

    Meshy 入选 a16z 第七版《百强AI消费者应用》报告首次新增的消费级 AI 应用月收入 Top 50 榜单,位列第 31 名,是榜单上唯一的 AI 3D 公司,与 OpenAI、Anthropic、Canva 等共同上榜。该榜单依据 YipitData 追踪的美国消费者银行卡消费数据排名。Meshy 年度经常性收入已突破 1 亿美元,全球注册用户超 1500 万。

  4. Josh Woodward · X74

    Nano Banana 宣布推出 Nano Banana 2.1,图像生成与编辑能力提升

    Nano Banana 宣布推出 Nano Banana 2.1,称其在各方面都优于此前的模型,包括视觉设计、基于蒙版的编辑、主体一致性,以及让图像看起来更自然等。 该模型已在 @GeminiApp、@GoogleAIStudio 等平台推出。 Josh Woodward 评论道:“基于蒙版的编辑是我今天最喜欢的功能,后续还会推出更多内容!” https://twitter.com/NanoBanana/status/2107521202466046453

    推荐理由:这则公告围绕视觉设计、编辑、主体一致性和自然观感介绍了升级,为与此前的模型进行比较提供了具体依据。

  5. Ollama · X48

    Ollama 添加了 Google DeepMind 的 EmbeddingGemma 2,用于设备端多模态嵌入

    @GoogleDeepMind 的 EmbeddingGemma 2 现已在 Ollama 上提供。 专为消费级设备打造,支持多模态。 ollama pull embeddinggemma-2 @GoogleDeepMind 的引用帖子(背景信息,并非主作者的作品): 认识一下 EmbeddingGemma 2,这是我们的首款原生多模态开放模型,专为设备端嵌入打造。 它将能力从文本扩展到代码、图像、音频和视频,并将它们统一到一个共享空间中。🧵

  6. Google DeepMind71

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,基于 Gemma 4 架构、740M 参数,在 Apache 2.0 许可下开源,将文本、图像、音频、视频映射到统一嵌入空间。

    推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一到同一嵌入空间,并给出端侧内存与向量截断的具体数字,便于评估本地多模态检索的可行性。

  7. The Decoder66

    Google 发布 EmbeddingGemma 2 多模态嵌入模型

    Google 发布开源多模态嵌入模型 EmbeddingGemma 2,可将文本、图像、视频、音频和代码转换为数值向量。该模型参数量为 740 million,Google 称其在多模态嵌入基准上超过参数量两倍的竞品,在 Massive Text Embedding Benchmark (Code) 上得分 78.68,比前代 68.76 提升近 10 分。

  8. Boris Cherny · X24

    我让 Opus 5.5 为 @AcquiredFM 最新一期 Home Depot 节目制作了一个互动式网站配套内容。效果相当不错!水彩插画也全都是 Claude 画的:https://claude.ai/artifact/RdE6uE7WozcP2MLfx3BDky 节目链接:https://www.acquired.fm/episodes/home-depot

    我让 Opus 5.5 为 @AcquiredFM 最新一期 Home Depot 节目制作了一个互动式网站配套内容。效果相当不错! 水彩插画也全都是 Claude 画的:https://claude.ai/artifact/RdE6uE7WozcP2MLfx3BDky 节目链接:https://www.acquired.fm/episodes/home-depot