コンテンツにスキップ
メインサイト ニュース コンソール

Asana、GPT-6.1 Solでブラウザテストモデルのコストを76分の1に削減

· OpenAI 翻訳済
OpenAILLM

Codex 上で実験を実行する GPT‑6 Astra を活用し、Asana は GPT‑6.1 Sol をベースとしたブラウザエージェント(browser agent)ワークフローを最適化しました。これにより、運用コストを従来の 76 分の 1(76 倍安価)に削減し、実行速度を 5 倍向上させました。

Asana は、買収したプラットフォーム StackAI を通じて、顧客があらゆるビジネスアプリケーション上で業務を自動化できるよう支援しています。StackAI を利用することで、顧客はコードを書くことなく、Web ページの閲覧、フォームへの入力、情報収集を行うワークフローを構築できます。しかし、Asana の大規模なビジネス規模においては、こうしたワークフローにおけるわずかな非効率性であっても大幅に増幅されてしまいます。

Asana 傘下の StackAI で最高技術責任者(CTO)を務める Frank Hidalgo 博士は、このブラウザエージェントの高速化と低コスト化に着手しました。同氏は Codex 内の GPT‑6 Astra に指示を出し、エージェントの調査・分析、最適化案のテスト、そして結果の比較検証を実施させました。同氏の試算によると、本来であれば人間が 1〜2 か月を要する作業が、わずか約 1 週間で完了したといいます。

144 回の実行を伴う Asana の本調査では、GPT‑6.1 Sol に加え、他の最先端モデル 3 種(ここではモデル A、B、C と表記)のテストが行われました。GPT‑6.1 Sol をベースとした最適化ワークフローでは、1 回の実行あたりの推定モデルコストが平均わずか 0.47 ドル、所要時間は約 4 分となり、モデル B を使用していた当初の本番環境設定と比較して、コストは 76 分の 1 に削減され、速度は 5 倍向上しました。

「これこそが、人間とエージェントのチームが実際の現場で協働する姿です。エンジニアが方針を決定し、GPT-6 Astra が実験を実行し、その研究成果が Command を通じて本番環境へデプロイされます。これは、Asana がいかにして人とエージェントの協働チームを具現化しているかを鮮やかに示しています」―― Asana 最高プロダクト責任者(CPO) Arnab Bose

GPT‑6 Astra を活用し、ブラウザエージェントのボトルネックを特定

迅速に検証を進めるため、Hidalgo 氏はまず Codex 内の GPT‑6 Astra にコードベースを精査させ、エージェントがモデルリクエストをどのように構築しているかを解明させました。GPT‑6 Astra は、エージェントが固定の指示やツール定義はキャッシュしているものの、増加し続けるページテキストやスクリーンショットの履歴はキャッシュしていないことを突き止めました。そのため、リクエストごとにこれらの履歴データが定価で再送信されていました。

さらにエージェントは、操作のほぼすべてのステップで過去のスクリーンショットを破棄し、テキストを切り詰めていました。手を加えるたびに履歴が変化してしまうため、単に履歴をキャッシュするだけでは根本的な解決にはならず、事実情報の欠落によってエージェントがすでに閲覧したページに再度アクセスせざるを得なくなる可能性もありました。

GPT‑6 Astra により、本来 2 か月かかる調査を 1 週間に短縮

Hidalgo 氏は GPT‑6 Astra から提案された改善案を精査し、次の 3 つを選定してテストを実施しました:

  • キャッシュの適用範囲をエージェントの閲覧履歴まで拡大する
  • 保持可能なテキスト量を増やす
  • スクリーンショットをステップごとではなく、まとめて一括削除する

GPT‑6 Astra はまず、どの変数が重要であるかを特定するために迅速なテストを実施しました。元のコードは対照実験向けに設計されていなかったため、1 つのフロントエンドとバックエンドで、独立した設定を持つ複数のワークフローを並行してサポートできるようにコードをリファクタリングしました。

Astra は包括的な比較検証を実施しました。12 万文字および 48 万文字の履歴バジェット(history budgets)と、6 通りのキャッシュおよびスクリーンショット戦略をテストし、各設定について 4 つのモデルでそれぞれ 3 回ずつ検証を行いました(下表参照)。最も優れたパフォーマンスを示した戦略は、スクリーンショットが 20 枚蓄積されてから最新の 1 枚のみを残すように削減する方式でした。これにより、クリーンアップの合間に過去の履歴が長期間変更されない状態が維持されました。より大きな履歴バジェットと組み合わせることで、この戦略が最終的な最適化ワークフローとして採用されました。各構成はすべて同一のタスクを実行しました。これは公開デモカタログから 32 冊の本それぞれについて 6 つのフィールドを収集するもので、StackAI における Asana の一部の顧客の典型的なユースケースを反映しています。

モデル説明価格
モデル A別の最先端ラボによる、より小型で安価なモデル(2025 年秋リリース)GPT‑6.1 Sol の半額
モデル B当初本番環境で使用されていた、モデル A と同じラボによるモデル(2026 年夏リリース)GPT‑6.1 Sol と同価格
モデル Cモデル B のアップデート版(2026 年秋リリース)GPT‑6.1 Sol と同価格
GPT‑6.1 SolOpenAI のモデル基準価格

GPT‑6 Astra はこれらのワークフローを実行し、リクエスト、使用量ログ、出力結果をチェックするとともに、独立したモデルセッションによって作業の監査を行いました。各セッションのリクエスト、トレースログ、結果は Asana のソフトウェアデリバリープラットフォームである Command に記録され、チームが後から調査全体をレビューできるようになっています。Command を通じてこれらの知見はチケット(tickets)に変換され、続いて Pull Request が作成され、変更内容が本番環境へと反映されました。

「人手で行っていたら、1〜2 か月はかかっていたでしょう。しかし Codex 内で GPT-6 Astra を活用したことで、わずか約 1 週間で完了しました。寝る前に目標(/goal)を設定しておけば、翌朝起きたときには結果を確認できるのです」―― Asana 傘下 StackAI CTO Frank Hidalgo 博士

1 回の実行あたりのモデルコストを 0.50 ドル未満に削減

モデル B においては、この最適化によって 1 回あたりの推定モデルコストが最低でも 36.21 ドル(初期の実行の一部は完了前にステップ上限に達していたため)から 1.24 ドルへと 29 分の 1 に削減されました。GPT‑6.1 Sol 上の最適化ワークフローではさらに低コストな 0.47 ドルとなり、追加で 2.6 分の 1 に圧縮されました。最適化ワークフローのすべての実行においてタスクが正常に完了し、正解が出力されました。

3 回の実行の平均値。≥:ベースラインには上限に達した実行が含まれているため、その平均値は下限値となります。

右側の 2 列はモデル B の最適化結果を比較したものです。同一の調査において、モデル B はフェーズ 1 で、モデル C および Sol 6.1 はフェーズ 2 で実行されました(破線)。

GPT‑6.1 Sol 単体でも、より大きな履歴バジェットと組み合わせることで、新たなキャッシュおよびスクリーンショット戦略によってコストが 1 回あたり 1.97 ドルから 0.47 ドルへと 4 分の 1 に削減されました。入力の 89% がキャッシュから提供されたため(キャッシュヒット時のコストは非キャッシュ時のわずか 5%)、呼び出しごとのコストは約 3 分の 1 に低下しました。実行速度も大幅に向上し、モデル B の初期構成では少なくとも 22.5 分かかっていたものが、GPT‑6.1 Sol の最適化ワークフローではわずか約 4 分で完了しました。

3 回の実行の平均値、エラーバーは標準偏差(SD whiskers)。≥:平均値には上限に達した、または未完了の実行が含まれているため、実際の値は少なくともこの数値と同等以上となります。

棒グラフは青を基調としています。キャッシュ効果については、48 万文字の大規模バジェットの棒グラフを参照してください。

実行プロットおよび標準偏差のエラーバーは、元画像から近似的に再現されたものです。基となる実行データの実数値および標準偏差は取得できません。

3 回の実行の平均値、エラーバーは標準偏差(SD whiskers)。≥:平均値には上限に達した、または未完了の実行が含まれているため、実際の値は少なくともこの数値と同等以上となります。

棒グラフは青を基調としています。キャッシュ効果については、48 万文字の大規模バジェットの棒グラフを参照してください。

実行プロットおよび標準偏差のエラーバーは、元画像から近似的に再現されたものです。基となる実行データの実数値および標準偏差は取得できません。

また本調査では、履歴の管理方法がエージェントによる回答の可否に直接影響を与えることも明らかになりました。GPT‑6.1 Sol に閲覧履歴を保持するための十分な余地を与えることで、正常に回答を導き出せた実行回数が飛躍的に増加しました。履歴バジェットが小さい場合は 18 回の実行中わずか 3 回しか回答が得られませんでしたが、バジェットを拡大した環境では 18 回すべての実行で正しい回答が得られました。Hidalgo 氏にとってこの成果のビジネス的価値は、運用コストの持続可能性を保ちながら、顧客により高速で高性能なモデルを提供できる点にあります。

「以前は、コストの制約によって顧客のこうしたワークロードに提供できるモデルが限られていました。エージェントの効率性を高めることで、運用コストを削減しつつ、より高品質で高速なモデルを顧客に提供できるようになりました」―― Asana 傘下 StackAI CTO Frank Hidalgo 博士

実験とプロダクトテストの規模拡大

Asana は StackAI におけるブラウザナビゲーションに関するこれらの改善点をすでにリリースしており、同様の実験をより容易に再現できるツールの開発を進めています。将来的には、顧客や社内チームがエージェントを設定する際にコスト、所要時間、回答品質を比較できるよう、プラットフォームの評価システム(evals)にこうしたテストを組み込む予定です。

「デリバリーのスピードはもはやボトルネックではなく、人間の集中力(アテンション)こそが制約となっています。すべてのエンジニアがエージェント群を率いるプロダクトマネージャー(PM)になるという世界へ、私たちは急速に近づいています」―― Asana 傘下 StackAI CTO Frank Hidalgo 博士

Asana は現在、Codex 内の GPT‑6 Astra を活用し、プロダクト機能のリリース前テストを行っています。Astra はプラットフォーム上で対話型の操作を行い、さまざまな入力を試行し、人間の QA レビュアーにバグを報告します。Hidalgo 氏はこれを、クラウド上の複数のエージェントが並行して各種機能をテストする、次世代のソフトウェア開発ライフサイクルの礎石であると捉えています。

#OpenAI#LLM#Codex#4Allapi.com

4All API チームによる投稿

原文リンク:https://openai.com/index/asana-browser-agent

主流 AI モデル API をお探しですか?4All API は OpenAI / Anthropic / Google Gemini / Qwen / DeepSeek など数十種類のモデルを単一の API キーで呼び出せます。公式準拠の価格、エンタープライズ品質の通信路、5 分で接続完了。

4All API コンソールに登録 →