言語モデルができることは実に多彩です。文章の執筆、要約、翻訳、ツールの呼び出しなどが挙げられます。しかし、これらは機械学習が実現できる可能性のほんの氷山の一角にすぎません。
例えば、カスタマーサポートに顧客から電話がかかってきたとします。まず、相手が何を話しているのかを把握する必要があります(音声認識)。次に、どこに転送すべきかを判断する必要があります(意思決定)。これら2つのタスクをどちらも言語モデルに任せることも可能ですが、それぞれの用途に特化して構築されたモデルを採用した方が、より高精度かつ高速で、コストも抑えられる傾向にあります。
AnyLanguageModel 1.0 の振り返りでは、Swift におけるローカルモデルおよびホスト型モデルの1年間の進化をまとめました。AnyLanguageModel と swift-huggingface のバージョン 1.x リリースに伴い、私たちはこの設計思想を音声と意思決定の領域にも拡張します。使い慣れた Swift API を提供しながら、モデルを自由に選択できるようにするアプローチです。
本日、2つのパッケージを正式にリリースします。
- AnySpeechRecognizer: Apple の新しい音声テキスト変換(speech-to-text)API を実装し、認識エンジンを自由に選択できます。Core ML 上でローカル動作する NVIDIA Parakeet や Alibaba の Qwen3-ASR を利用できるほか、誰がいつ発言したかを追跡する話者ダイアライゼーション(speaker diarization)機能も備えています。
- AnyDecisionModel: Yes/No、複数選択、レーティング評価などの質問に回答し、型安全な結果とその確率を返します。テキストを生成するのではなく、モデルの確率から各回答を直接導出します。デバイス上の MLX、Core AI、llama.cpp を介したモデル実行に対応しているほか、Jev や Ollama の意思決定モデルも利用できます。
どちらのパッケージも、Hugging Face Hub からオープンソースモデルをダウンロードし、デバイス上でローカル実行することが可能です。
AnySpeechRecognizer
コンピュータによる音声文字起こしは何十年も前から行われてきましたが、ここ数年でその精度は極めて優れたものになりました。Apple プラットフォームでも以前から関連 API が提供されていましたが、macOS 26 と iOS 26 では Apple の新しい音声テキスト変換 API である SpeechAnalyzer が導入されました。このアナライザーに SpeechTranscriber や SpeechDetector といったモジュールを追加し、音声ファイルや音声バッファストリーム(audio buffer stream)を渡すことで、非同期シーケンス(async sequences)から結果が生成されるたびにリアルタイムで読み取ることができます。AssetInventory はモデルアセットのインストールを管理し、アプリ側でダウンロードのタイミングを制御できるようにします。
これは非常に優れた設計の API ですが、背後で動作するエンジンは Apple 公式のものに限られていました。AnySpeechRecognizer はこの API 設計を踏襲しつつ、基盤となるエンジンを自由に選べるようにします。
import Speechimport AnySpeechRecognizerこのパッケージは SpeechAnalyzer、SpeechTranscriber、DictationTranscriber、SpeechDetector、AssetInventory をマッピングしており、デフォルトのエンジンとして Apple の Speech フレームワークを使用します。既存のコードがこの共通 API を使用しているなら、import 文を変更するだけで済みます。Parakeet を使いたい場合は、トランスクライバ(transcriber)の作成コードを変更するだけです。
let transcriber = SpeechTranscriber( model: ParakeetSpeechModel(variant: .v3), transcriptionOptions: [], reportingOptions: [.volatileResults], attributeOptions: [.audioTimeRange])アセットのインストール、アナライザーの実行、結果の読み取りといった手順はすべて変わりません。README には完全なサンプルコードが用意されており、Apple フレームワークとの違いの一覧も掲載されています。
対応モデルの紹介
Parakeet v3 は、NVIDIA が提供する Parakeet TDT 0.6B v3 です。多言語に対応したモデルで、ヨーロッパ言語25言語の認識に対応し、入力された言語を自動判別するため、ロケール(locale)を指定する必要がありません。
Parakeet Ultra は、Moondream が v3 をベースに事後学習(post-trained)を実施したバージョンです。実環境における大半の評価において、さらに高い精度を発揮しています。
Parakeet Unified は、NVIDIA が提供する英語専用の Parakeet バージョンです。
これら3つの Parakeet モデルはすべてパッケージ内蔵の Core ML ランタイム上で動作し、音声ファイルおよびリアルタイムストリーム入力、中間結果(volatile results)、単語レベルのタイムスタンプ(word timing)、単語レベルの信頼度(word confidence)をサポートしています。
Qwen3-ASR は Alibaba の音声モデルで、0.6B と 1.7B の2つのサイズが用意されています。30言語と22種類の中国語方言に対応し、Parakeet ではカバーされていない標準中国語、広東語、日本語、韓国語などを幅広くサポートしています。言語の自動検出に対応しているほか、手動で指定することも可能です。
let transcriber = SpeechTranscriber( model: QwenSpeechModel(variant: .large, language: Locale.Language(identifier: "yue")), transcr