2週間前、私たちはデバイス上でローカルに動作する軽量なテキスト読み上げ(TTS)モデル「Phonon」をオープンソース化しました。サーバーやインターネット接続は一切不要で、入力したテキストは完全にローカルに保持されます。
これまでにいただいた大きな反響に大変感激しています。今回は、このリリースの背景にあるストーリー、すなわち私たちがなぜ Phonon を開発したのか、その機能、付属のデモ、そして Hugging Face のオープン TTS リーダーボード(Open TTS Leaderboard)でのパフォーマンスについてご紹介します。
なぜ音声モデルはデバイス上で動作すべきなのか
音声 AI の大多数はクラウド上で動作しており、発話のたびにクライアントとサーバー間を往復する必要があります。一方、Phonon はお使いのデバイス上で直接ローカルに動作します。テキストはデバイス内に留まり、オフライン環境でも音声機能が問題なく動作します。さらに、モデルの重みもオープンソースとして公開しました。Phonon 31M は Apache 2.0 ライセンスを採用しており、商用プロダクトでも無料でご利用いただけます。その他のモデルは CC BY-NC ライセンスを採用し、非商用プロジェクト向けに無償で提供されています。商用プロダクトで利用される場合の費用は、生成された音声の長さではなく、ユーザー数に基づいた課金体系となっています。
高品質な音声モデルを小型デバイス上でスムーズに動作させることは、長らく大きな課題でした。モデルサイズを十分に小さくすると音質が犠牲になりがちで、極上の音質を追求すればモデルサイズが肥大化してエッジデバイスに収まらなくなります。私たちはこれら両方の課題を同時に解決しました。
4月に Phonon を発表した後、パートナーや初期ユーザーと協力しながら6か月間にわたって改良を重ねてきました。彼らからのフィードバックは今回のリリース版を形作る上で大きな力となりました。モデルサイズはさらに削減され、対応言語も拡充、ボイスクローニング(Voice Cloning)やボイスデザイン(Voice Design)によるカスタムボイスのサポートも実現しました。
Phonon は Pocket TTS シリーズをベースとしており、他の TTS システムで採用されているモデリング技術とは大きく異なる「フローマッチング(Flow Matching)」技術を用いて音声を生成します。この技術こそが、極小サイズのモデルでありながら極めて高水準な音質を実現できた理由ですが、同時にモデルの学習においてまったく新しい課題をもたらしました。学習初期には数値的な不安定さが見られましたが、さまざまな工夫を重ねることで、全5言語において高品質な音声生成を実現することに成功しました。
リリースの内容
Phonon は、約 65 MB と約 75 MB の2つのサイズで提供されています。両モデルとも英語、フランス語、ドイツ語、スペイン語、ポルトガル語をサポートしています。100種類以上のプリセット音声が用意されているほか、Gradium Studio で独自のカスタムボイスを作成することも可能です。さらに、Phonon は他の多くの TTS システムで誤読が頻発する電話番号、日付、コードなどの重要なコンテンツも適切に処理できます。
スマートフォン、ノート PC、シングルボードコンピューター(SBC)、さらにはブラウザのタブ内でも直接動作し、今すぐオンラインで試聴できます。Phonon 31M は英語に対応し、Apache 2.0 ライセンスが適用されているため、開発者は商用プロダクトを含め自由に開発に活用できます。Phonon 40M は非商用ライセンスの下で全5言語をカバーしています。
デモと初期プロジェクト
今回のリリースに合わせて、コミュニティパートナーや自社チームによる一連のデモを公開しました。Wi-Fi を切った Apple Watch 上でコーヒーの淹れ方をステップバイステップで案内したり、圏外の iPhone で筋トレの回数をカウントしながら応援したり、Autonomous 社が開発した組み分け帽子をかぶったロボット「Lamp」が独自のキャラクターボイスで対話したり、ブラウザのオフライン恐竜ゲームが Rex が司会を務めるラジオ番組へと早変わりしたり、プレイヤーのローカルデバイス上ですべてボイスが生成される SF ゲームや、プルーストの著作を1ページずつ朗読するデモなどがあります。
Hugging Face チームが Transformers への統合を完了したため、開発者はリリース初日から Transformers ライブラリを通じて Phonon を直接利用できます。
すでに多くの開発者がこれを用いたプロダクト構築を開始しています。ExecuTorch への変換バージョンにより、ブラウザ内で訪問者のローカル GPU を直接使用して Phonon を実行できるほか、[Micdrop](https