跳转到内容
主站 新闻 控制台

AnyLanguageModel 1.0:Apple 平台本地模型一年回顾

· Hugging Face
教程模型卡

去年 11 月,我们在本博客上介绍了 AnyLanguageModel:它是苹果 Foundation Models 框架的即插即用(drop-in)替代方案,允许你自由选择应用所使用的模型和提供商。我们从许多应用开发者那里了解到,他们对本地模型很感兴趣,但往往不知道该如何入手;同时,他们也希望避免支持多个推理提供商(inference providers)所带来的额外复杂性。AnyLanguageModel 正是源于这一反馈。 本地推理和云端托管推理各有所长,且都在构建新一代智能应用的过程中扮演着重要角色。统一的 API 让为每项任务挑选最合适的模型变得更加轻松。

经过一年时间和数十个版本的迭代,AnyLanguageModel 1.0 正式发布,一同发布的还有 swift-huggingface 1.0 和 swift-xet 1.0。

以下是本次更新带来的变化以及未来的规划:

即插即用兼容的 API

AnyLanguageModel 的核心理念保持不变:沿用 Foundation Models API,搭配契合你应用的模型。要开始使用,只需修改你的 import 语句:

import FoundationModels
import AnyLanguageModel

同一套会话代码便可直接适用于系统自带模型、通过 llama.cpp、MLX 和 Core ML 运行的开放权重模型(open-weight models),以及下列托管服务提供商。

在过去的一年里,我们添加了多项重要功能:

  • 工具调用(Tool calling) 支持所有提供商。
  • 引导生成(Guided generation) 同样支持所有提供商,包括嵌套的 @Generable 类型及其数组。
  • 图像支持 允许你使用 Foundation Models 27 的语法将图像附加到提示词中,包括在 iOS、macOS 和 visionOS 27 上使用系统模型时。

在 OS 27 上,AnyLanguageModel 还兼容任何遵循 Foundation Models 的 LanguageModel 协议的模型,包括 Core AI 模型。

除了 AnyLanguageModel 之外,我们还构建了 swift-huggingface 和 swift-xet,为 Swift 应用带来从 Hugging Face Hub 加速下载模型的能力。

同样支持托管模型

今年对托管模型的支持也得到了拓展。AnyLanguageModel 现已支持:

  • OpenAI 的 Chat Completions 和 Responses API
  • Open Responses(适用于任何提供兼容端点的服务商)
  • Anthropic 的 Messages API,支持自适应思考(adaptive thinking)和努力程度(effort)选项
  • Google 的 Gemini API
  • Ollama
  • Private Cloud Compute(适用于 OS 27)
  • Hugging Face Inference Providers,以及通过自定义 Base URL 支持 OpenRouter 等其他兼容 OpenAI 的端点

借助 Inference Providers,你可以使用相同的会话代码来调用因体积过大而无法在设备本地运行的开放权重模型:

let model = OpenAILanguageModel(
baseURL: URL(string: "https://router.huggingface.co/v1/")!,
apiKey: ProcessInfo.processInfo.environment["HF_TOKEN"]!,
model: "openai/gpt-oss-120b",
apiVariant: .chatCompletions
)

托管提供商拥有与本地模型相同的功能:引导生成、支持流式传输的工具调用,以及响应中的 Token 用量统计。

推理思考过程(Reasoning)现在也是对话记录(transcript)的一部分。当你切换提供商时,如果新提供商无法重现这些推理内容,推理块会自动从请求中忽略。

API 密钥改由闭包(closure)提供,而非固定字符串,因此你的应用可以从自有服务器动态获取短期令牌(token)。README 中说明了何时允许用户自带密钥(BYOK),以及何时应通过代理路由请求。

AnyLanguageModel 同样支持在 Linux 上运行,因此相同的代码也可以在服务器端生效。

开放权重模型变得更加强大

在我们降低本地模型使用门槛的同时,模型本身的能力也变得更加出色,这使得小型模型成为了极佳的切入点。以下是目前 Hub 上下载量最高的部分模型:

  • 来自 Google 的 Gemma 4 E2B,GGUF 格式,采用量化感知训练(QAT),Q4_0 精度下约为 3.4 GB。
  • 来自 Liquid AI 的 LFM2.5 2.6B,GGUF 格式,Q4_K_M 精度下约为 1.7 GB。
  • 来自阿里巴巴的 Qwen3.8 27B for MLX,4-bit 精度下约为 16 GB。

前两款模型可以在 iPhone 上运行,而 Qwen3.8 27B 则可在配备 32 GB 或更高内存的 Mac 上运行。加载该 MLX 模型只需一行代码:

let model = MLXLanguageModel(modelId: "mlx-community/Qwen3.8-27B-4bit")

如果你手头刚好有四台顶配的 Mac Studio,来自 Z.ai 的 GLM-5.3 在 BF1