
OlmoEarth嵌入:自定义导出用于下游分析

Allen AI 的 OlmoEarth Studio 现在支持计算并导出嵌入向量(embedding vectors)。
嵌入是地球观测数据的紧凑数值表示,由开源 OlmoEarth 基础模型生成,代码和权重已公开。用户可以通过 Studio UI 或 API 选择感兴趣区域、时间范围(1-12 个月)、编码器变体(Nano 128 维/1.4M 参数,Tiny 192 维/6.2M 参数,Base 768 维/89M 参数)、空间分辨率(10/20/40/80 米/像素)和影像源(Sentinel-2 L2A、Sentinel-1 RTC 或两者)。导出结果为 Cloud-Optimized GeoTIFF(COG),每波段一个维度,存储为有符号 8 位整数(int8,范围 -127 到 127,-128 表示 nodata)。所有计算按需生成,而非从全局预计算归档中拉取,因此嵌入能精确反映用户关心的条件,可生成月度嵌入捕捉季节动态。
嵌入支持多种下游任务,且无需针对特定任务训练。相似性搜索:选择查询像素,提取其嵌入,计算与其他像素的余弦相似度,生成热力图。示例中以加州 Merced 城市中心为查询,城市肌理和道路走廊高亮,农业地块为暗区;切换到农业窗口时,最相似区域(相似度 0.89 以上)均为灌溉农田,最不相似区域(接近 0)为机场、水库和干旱牧场。小样本分割:用极少量标注像素训练线性分类器,即可生成全区域土地覆盖图。在越南 Ca Mau 地区,仅用 60 个标注像素(每类 20 个,三类:红树林、水、其他)训练逻辑回归,得到加权 F1 = 0.84;从 30 个增加到 300 个标签精度变化不大,说明嵌入已承担主要工作。变化检测:比较两个时间段的嵌入,计算逐像素余弦距离。示例中比较了加州 Butte County 2023 年 9 月和 2024 年 9 月的月度嵌入,Park Fire 燃烧疤痕立即显现,无需标签。无监督探索:对嵌入进行 PCA 降维到 3 维并映射为 RGB 假彩色图像,荷兰 Flevoland 的规则农业地块边界清晰重现,不同作物、水体、城区自动获得不同色调。
如果应用需要更高性能,Studio 支持监督微调(SFT)。局限性包括:用户需自行检查嵌入质量(尤其是持续云层、大气伪影或缺失观测时),嵌入性能取决于输入影像质量。所有示例代码和 Colab notebook 已提供,社区可直接使用公开模型计算自己的嵌入。


