[](https://huggingface.co/Ai2Comms)🌍 OlmoEarth Platformの詳細はこちら：https://allenai.org/olmoearth
OlmoEarthモデルは、約10TBのマルチモーダル衛星データで事前学習された、地球観測のための基盤モデルシリーズです。政府、非政府組織（NGO）、その他のミッション駆動型の機関が、すでに森林破壊の監視、食料安全保障、野火リスクなどのシナリオにOlmoEarthを活用しています。
Ai2では、強力なオープンソースモデルをトレーニングしてリリースする方法を熟知しています。優秀なエンジニアリングチームを擁する組織であれば、オープンソースモデルを提供するだけで、すぐに自分たちで動かすことができるでしょう。しかし、環境分野の多くの組織（まさにこれらのモデルを最も必要としている組織）は、データアノテーション、モデルの微調整、大規模な推論といった、ライフサイクル全体を管理するためのインフラやエンジニアリングチームを持っていません。私たちは10年以上にわたり、SkylightやEarthRangerといったプラットフォームを運営してきました。これらは世界中のユーザーが日々依存しているソフトウェアであり、毎日確実に稼働し続ける必要があります。この経験を通じて、私たちは真のインパクトをもたらすために何が必要かを学びました。それは、適切な場所とタイミングで高い費用対効果でモデルを実行し、パフォーマンスを監視し、生の出力を実用的なインサイトに変換し、それらの出力がパートナーの期待する成果につながることを検証することです。
これこそが、私たちがOlmoEarth Platformを構築した理由です。これは、地理空間モデルを微調整や評価から大規模な推論へと進めるためのインフラストラクチャスイートです。
この規模の推論には、特有の課題が数多く存在します。複数のデータプロバイダーにまたがって衛星画像を検索・アクセスし、異なる投影法や解像度を位置合わせし、効率的に処理しなければなりません。その後、結果を地理的に一貫した地図としてつなぎ合わせる必要があり、同時にインフラは分散コンピューティングでよくある障害から回復できなければなりません。
現在、このプラットフォームは大陸横断規模の推論を約1日で行うことができ、数十TBの画像を処理し、1平方キロメートルあたりのコストは数セントのわずかな端数にすぎません。開発プロセスにおいて、私たちは一連のエンジニアリング上の難題に直面しました。これらは、大規模な地理空間システムの開発に携わる他の人々も直面する可能性が高い課題です。本記事では、これらの課題と、私たちが最終的に採用した解決策について紹介します。
最近OlmoEarth Platform上で生成された野火リスクマップとその統計情報。
为什么卫星推理具有挑战性
ほとんどの機械学習モデルは、数MBのデータを入力するだけで、1秒以内に結果を出力します。たとえば、LLMによるテキスト処理や、コンピュータビジョンモデルによるスマートフォンの写真分析などがこれに当たります。しかし、地球観測における推論の規模はまったく異なります。最適なパフォーマンスを得るために基盤モデルを微調整するタスクでは、数TBのデータを移動させ、数時間実行し続ける必要があります。入力データは、複数のスペクトルバンド、センサータイプ、タイムステップにまたがり、広大な地理的領域をカバーします。データは複数のプロバイダーから提供され、それぞれ異なる投影法や解像度が使用されている場合があり、観測データの欠損や雲による遮蔽が含まれることもあります。出力自体が地図となるため、すべての予測は周囲の領域と正確な投影法および座標グリッドで位置合わせされていなければなりません。
データ自体の取得も大きな課題となる場合があります。予測タスクにおいて、画像のダウンロードと準備にかかる時間は、モデルの実際の実行時間よりも長くなることが多いため、効率的なデータパイプラインが不可欠です。これらのパイプラインは、高いI/Oスループットを提供すると同時に、画像の再投影やリサンプリングを実行するために必要な計算能力も備えていなければなりません。