跳转到内容
主站 新闻 控制台

OlmoEarth v1.3:面向全球的最先进嵌入表示

· Hugging Face
教程模型卡

🤗 模型 | 📄 技术报告 | 📊 数据 | 💻 代码 | 🌎 嵌入浏览器 (Embeddings Explorer) | 🗺️ 交互式叙事

图 5:深绿色背景上,青色和洋红色相间的像素化地球位于 OlmoEarth 1.3 标识上方。

今天,我们正式发布 OlmoEarth v1.3,这是一款业内顶尖(SOTA)的卫星图像嵌入(embedding)模型。伴随 OlmoEarth v1.3 的发布,我们还共享了覆盖全球范围的预计算年度嵌入数据(10 米分辨率、64 维与 128 维),以及一款基于浏览器的全新工具——OlmoEarth 嵌入浏览器 (OlmoEarth Embeddings Explorer),可用于探索并自定义基于这些嵌入生成的地图。这意味着任何人都可以立即使用 OlmoEarth v1.3,从追踪地表随时间推移的变化到寻找相似地貌——无需登录,也无需高深的专业技术知识。

在此之前,使用 OlmoEarth 的主要方式是在 OlmoEarth Studio 中进行微调(fine-tuning):针对具体任务训练模型,并在卫星影像上运行以生成地图。这种方式需要具备 GPU 算力,以及下载和存储卫星影像的能力。而嵌入模型能够将卫星数据压缩为即用型特征,从而以极低成本复用于各种任务。

借助 OlmoEarth v1.3,我们很高兴能为用户提供更多探索和处理行星级数据产物的方式,让每个人都能以最契合自身需求的方式开展工作。

一次计算,处处复用 (Compute once, reuse everywhere)

嵌入向量代表了模型从数百万张图像中学到的表征知识。OlmoEarth v1.3 读取整整一年的雷达(Sentinel-1)与多光谱(Sentinel-2 和 Landsat)卫星时间序列数据,为地球上每个 10 米分辨率的像素生成一个 128 维向量;其中前 64 维亦可单独提取,作为尺寸更小的轻量嵌入使用。

基础模型与全球尺度的嵌入数据制作成本极其高昂。为了让所有人都能享受到这一技术红利,我们预先为全球计算了这些嵌入数据,并在 Source Cooperative 上向社区完全开放。基于这些数据,农作物制图、土地覆被分类或地表变化分析都转变成了轻量级的建模任务:只需在嵌入特征之上训练一个小型分类器,即可在本地运行。

图 6:架构流程图,展示卫星时间序列通过 Vision Transformer、注意力池化层 (Attention Pooler) 和线性投影层生成 128 维嵌入。

OlmoEarth v1.3 生成嵌入的过程:Vision Transformer 负责读取卫星数据,注意力池化层(Attention Pooler)将数据汇聚为每个地块单元的一个向量,最后由线性层将其投影降维至 128 个数值。

顶尖水平的嵌入性能 (State-of-the-art embeddings)

我们在涵盖六大洲和多种不同任务的 27 项评测基准上,将 OlmoEarth v1.3 的嵌入性能与 AlphaEarth Foundations (AEF) 及 Tessera v2 进行了对比评估。OlmoEarth 的 128 维嵌入在 27 项评测中的 20 项斩获最高分,综合排名第一。尺寸减半的 64 维版本在 27 项评测中依然在 18 项上保持领先。作为本次评测的一部分,我们推出了 PLANTEUR:面向热带农业的新作物类型基准测试,结果显示该嵌入在分类器从未见过的区域展现出了极佳的泛化能力(PLANTEUR 技术报告参见此处)。其背后的全部组件均完全开源:包括模型权重、预训练数据以及预训练代码。

在实际应用中,这意味着只需在 OlmoEarth 嵌入之上训练一个小型分类器,就足以准确绘制地表现状:例如对肯尼亚小农户的农作物进行分类、检测达卡西部的砖窑分布、评估印度尼西亚的火灾损毁程度,以及追踪秘鲁亚马逊流域的非法金矿开采。

与前几代 OlmoEarth 模型相比,OlmoEarth v1.3 的训练成本也是最低的。它的计算时间仅为上一版本(v1.2)的 53%、第一代(v1)的 18%,碳排放量分别仅占前两者的 50% 和 22%。同时,它依然是一款强大的微调底模,在各项研究及合作伙伴标注数据集上的表现均能媲美 v1.2。我们的最新模型沿用了早期 OlmoEarth 版本的底层架构,经过针对性调优,在确保嵌入保持轻量化的同时,没有牺牲各项任务的准确率,而这一高效优化的成果也将延续至后续版本中。

完整结果及