天氣模型排名指的是把不同數(shù)值天氣預(yù)報模型放到同一批歷史天氣場景里用實(shí)際觀測結(jié)果檢驗(yàn)它們的預(yù)報誤差最后按誤差大小排出先后。這個做法在氣象服務(wù)、能源調(diào)度、農(nóng)業(yè)決策、物流規(guī)劃和量化交易場景里非常有用業(yè)務(wù)方不需要關(guān)心模型內(nèi)部有多少物理過程只需要知道過去一段時間里哪個模型的預(yù)報更接近真實(shí)天氣從而決定后續(xù)引用哪條預(yù)報源。標(biāo)題里的 Show HN: Ranking weather models by how their forecasts turned out 對應(yīng)的正是這樣一個系統(tǒng)把“事后驗(yàn)證”做成排行榜讓模型質(zhì)量可比較、可追蹤、可復(fù)盤。下面會圍繞如何搭建一套最小可用的天氣模型排名系統(tǒng)展開。主線是從數(shù)據(jù)準(zhǔn)備、對齊邏輯、評分指標(biāo)到 Python 實(shí)現(xiàn)、異常排查和工程化擴(kuò)展。所有代碼和數(shù)據(jù)格式都是演示結(jié)構(gòu)用于說明思路真實(shí)項(xiàng)目接入任何模型輸出、觀測站點(diǎn)或數(shù)據(jù)文件時需要按實(shí)際字段和授權(quán)調(diào)整。1. 天氣預(yù)報模型排名要解決什么問題1.1 什么是天氣模型排名為什么不能只信模型說明數(shù)值天氣預(yù)報模型會用物理方程描述大氣運(yùn)動再通過超級計(jì)算機(jī)求解得到未來若干小時甚至十幾天的氣象要素預(yù)報。不同模型在物理方案、分辨率、資料同化方式上差別很大所以同一天、同一個地點(diǎn)、同一個變量的預(yù)報結(jié)果經(jīng)常不一致。使用者最關(guān)心的問題是哪個模型更可信天氣模型排名就是給這個問題提供一個可量化的答案。它不評價模型內(nèi)部的物理設(shè)計(jì)只評價“歷史輸出和真實(shí)觀測的差距”。通俗地說一次預(yù)報就是一次考試觀測就是標(biāo)準(zhǔn)答案。模型在大量歷史樣本上考出來的平均得分就是它的排名依據(jù)。技術(shù)定義可以寫成給定一組模型、一組起報時間、一組站點(diǎn)或格點(diǎn)、一組氣象變量和一組驗(yàn)證時間逐個比較預(yù)報值與觀測值計(jì)算統(tǒng)計(jì)算法指標(biāo)再按指標(biāo)排序。不能只信模型說明原因主要有三點(diǎn)。第一模型宣傳材料通常強(qiáng)調(diào)分辨率、同化系統(tǒng)等能力卻不一定提供與業(yè)務(wù)場景匹配的獨(dú)立驗(yàn)證。第二模型在不同地區(qū)、季節(jié)和天氣類型下的表現(xiàn)可能差異很大一個總體分?jǐn)?shù)不能覆蓋所有場景。第三模型版本會更新排名會變化只有持續(xù)驗(yàn)證才能跟蹤真實(shí)變化。一個榜單系統(tǒng)的價值不是給出一次結(jié)論而是讓結(jié)論可以被持續(xù)更新和質(zhì)疑。1.2 排名系統(tǒng)的核心鏈路預(yù)報、觀測、對齊、評分一套最小可用的天氣模型排名系統(tǒng)核心鏈路只有五步。第一步收集多個模型在過去一段時間的預(yù)報。注意“預(yù)報”不是一句話而是結(jié)構(gòu)化數(shù)據(jù)至少要包含起報時間、有效時間、站點(diǎn)或經(jīng)緯度、氣象變量和預(yù)報值。第二步收集同時段的觀測數(shù)據(jù)。觀測可以是氣象站、網(wǎng)格分析場或衛(wèi)星反演產(chǎn)品但要和預(yù)報使用同一套空間和時間口徑。第三步對齊。這一步最容易被忽略卻最影響結(jié)果。兩個模型必須比較同一個有效時間、同一個地點(diǎn)、同一個變量的預(yù)報才公平。第四步計(jì)算誤差指標(biāo)。比如絕對誤差、均方根誤差、偏差、降水命中率等。第五步按模型聚合指標(biāo)并生成排行榜再展示給業(yè)務(wù)方或下游系統(tǒng)。后面所有代碼和配置都圍繞這條鏈路展開。很多人一開始就把精力放在“把模型跑起來”或“把畫圖做漂亮”上其實(shí)排名系統(tǒng)最核心的工作量在前三步數(shù)據(jù)怎么來、字段怎么對應(yīng)、口徑怎么統(tǒng)一。數(shù)據(jù)和字段錯了后面的指標(biāo)再專業(yè)也沒有意義。1.3 適用場景與讀者定位這套方案適合以下幾類讀者。第一類是氣象數(shù)據(jù)產(chǎn)品開發(fā)人員需要為業(yè)務(wù)方提供模型質(zhì)量看板。第二類是數(shù)據(jù)工程師正在對接氣象預(yù)報和觀測數(shù)據(jù)需要設(shè)計(jì)統(tǒng)一驗(yàn)證流程。第三類是研究人員想快速驗(yàn)證新模型或新參數(shù)方案是否優(yōu)于既有模型。第四類是后端開發(fā)人員需要把歷史驗(yàn)證結(jié)果做成排行榜頁面或 API。本文的例子使用 Python 和 pandas不依賴專業(yè)氣象軟件。這樣做的目的是先把排名邏輯講清楚再讓讀者根據(jù)自己的數(shù)據(jù)格式替換加載層。如果你已經(jīng)在使用 xarray、cfgrib 或 GRIB2 文件只需要替換數(shù)據(jù)加載部分評分和排名邏輯可以原樣復(fù)用。2. 數(shù)據(jù)準(zhǔn)備歷史預(yù)報和觀測數(shù)據(jù)如何配對2.1 先統(tǒng)一時間口徑預(yù)報發(fā)布時間與有效時間氣象數(shù)據(jù)里至少有三個時間概念起報時間issue_time、預(yù)報時效lead_hour和有效時間valid_time。起報時間是模型開始計(jì)算的時刻通常是 00 時或 12 時預(yù)報時效是預(yù)測未來多少個小時后的大氣狀態(tài)有效時間是預(yù)報值對應(yīng)的真實(shí)時刻它等于起報時間加上預(yù)報時效。排名系統(tǒng)比較的是“對同一個真實(shí)時刻的預(yù)報誰更準(zhǔn)”所以最終必須以 valid_time 作為對齊鍵。如果兩個模型起報時間相同但一個預(yù)報 24 小時另一個預(yù)報 48 小時它們對應(yīng)的 valid_time 完全不同不能放在一起比較。同樣如果兩個模型 valid_time 相同但起報時間不同它們利用的初始資料可能不同可以比較但要注意時效差異。下面是一個典型字段示例model,issue_time,valid_time,lead_hour GFS,2025-01-01T00:00:00Z,2025-01-02T00:00:00Z,24 ECMWF,2025-01-01T00:00:00Z,2025-01-02T00:00:00Z,24在讀取數(shù)據(jù)時所有時間字段都應(yīng)該轉(zhuǎn)成帶時區(qū)的 UTC 時間。不要使用本地時間字符串做 join因?yàn)椴煌瑪?shù)據(jù)源可能使用不同時區(qū)容易出現(xiàn)“看起來相同實(shí)際差 8 小時”的問題。2.2 先統(tǒng)一空間口徑格點(diǎn)與站點(diǎn)如何對齊天氣預(yù)報模型通常輸出網(wǎng)格數(shù)據(jù)比如 0.25 度、0.5 度分辨率的經(jīng)緯度格點(diǎn)。氣象觀測站是離散的點(diǎn)可能落在兩個格點(diǎn)之間。為了比較需要把模型格點(diǎn)插值到觀測站點(diǎn)位置或者把觀測值匹配到網(wǎng)格上。最簡單可靠的做法是使用現(xiàn)成插值工具將模型值插值到站點(diǎn)然后把站點(diǎn)的經(jīng)緯度轉(zhuǎn)換成唯一的 station_id。在演示項(xiàng)目中為了聚焦排名邏輯可以先把數(shù)據(jù)整理成站點(diǎn)的 long 表。每條記錄都包含 model、valid_time、station_id、variable、value。對齊時forecast 和 observation 都通過 valid_time、station_id、variable 三個字段連接。這樣能避免插值實(shí)現(xiàn)干擾主流程。如果數(shù)據(jù)源來自網(wǎng)格加載時要注意經(jīng)緯度表示方式和單位。部分?jǐn)?shù)據(jù)用整數(shù)經(jīng)緯度部分用浮點(diǎn)經(jīng)緯度有的用 lon 表示 -180 到 180有的用 0 到 360。做空間對齊前需要先統(tǒng)一經(jīng)緯度范圍。2.3 用最小 CSV 結(jié)構(gòu)承載評分?jǐn)?shù)據(jù)為了能直接運(yùn)行后面的 Python 代碼這里定義兩個最小 CSV 文件。第一個是歷史預(yù)報文件 forecasts.csvmodel,issue_time,valid_time,station_id,variable,value GFS,2025-01-01T00:00:00Z,2025-01-02T00:00:00Z,S001,temperature_2m,4.2 ECMWF,2025-01-01T00:00:00Z,2025-01-02T00:00:00Z,S001,temperature_2m,5.0 ICON,2025-01-01T00:00:00Z,2025-01-02T00:00:00Z,S001,temperature_2m,3.9第二個是觀測文件 observations.csvvalid_time,station_id,variable,value 2025-01-02T00:00:00Z,S001,temperature_2m,3.5這兩個文件都很小但已經(jīng)包含了排名系統(tǒng)需要的所有核心字段。變量名建議統(tǒng)一使用機(jī)器可讀的小寫字符例如 temperature_2m、wind_speed_10m、precipitation_24h。如果值有單位最好在表里增加 unit 字段或者先在預(yù)處理階段統(tǒng)一單位避免不同模型輸出攝氏度和華氏度造成誤差計(jì)算錯誤。注意觀測文件的粒度是“真實(shí)時刻的客觀值”而預(yù)報文件還需要保留 model 和 issue_time。合并時只保留 valid_time 相同的記錄否則樣本對不齊排名會失真。2.4 數(shù)據(jù)質(zhì)量檢查清單在開始寫評分代碼前建議先對數(shù)據(jù)做一輪質(zhì)量檢查。下面這個清單可以直接復(fù)用檢查項(xiàng)檢查方式通過標(biāo)準(zhǔn)時間字段格式打印每個來源的 unique 時間樣例全部使用 ISO8601 且?guī)?Z 時區(qū)valid_time 覆蓋范圍檢查 min/max預(yù)報和觀測覆蓋同一時間段station_id 是否一致計(jì)算集合差預(yù)報和觀測站點(diǎn)集合一致variable 是否一致計(jì)算集合差變量名完全匹配是否存在重復(fù)記錄按 key 分組統(tǒng)計(jì)每個 key 只有一條記錄值是否缺測查看 value 為 NaN 或特殊值缺測數(shù)量低于閾值且被標(biāo)記這個檢查可以用 pandas 在預(yù)處理階段自動完成。不要省略這些步驟因?yàn)闀r間或空間對齊一旦出錯排名結(jié)果會出現(xiàn)系統(tǒng)性偏差而且肉眼很難發(fā)現(xiàn)。3. 用 Python 實(shí)現(xiàn)最小可運(yùn)行的模型評分與排名流程3.1 項(xiàng)目結(jié)構(gòu)和依賴在本地目錄創(chuàng)建一個最小項(xiàng)目weather-leaderboard/ ├── data/ │ ├── forecasts.csv │ └── observations.csv ├── leaderboard.py ├── requirements.txt └── run.sh依賴只需要 pandas 和 numpy畫圖可以后面再加。安裝命令pip install pandas numpy matplotlibrequirements.txt 可以寫成pandas2.0 numpy1.24 matplotlib3.7這一步的目的是讓示例可以快速運(yùn)行。真實(shí)項(xiàng)目中如果使用 GRIB2 或 NetCDF需要額外引入 xarray、cfgrib 或 h5netcdf但核心評分邏輯不受影響。3.2 加載和對齊數(shù)據(jù)在 leaderboard.py 中先讀取兩個 CSV 文件import pandas as pd def load_data(forecast_path, observation_path): forecasts pd.read_csv(forecast_path, parse_dates[issue_time, valid_time]) observations pd.read_csv(observation_path, parse_dates[valid_time]) return forecasts, observations然后寫對齊函數(shù)def align_forecast_observation(forecasts, observations): merged pd.merge( forecasts, observations, on[valid_time, station_id, variable], suffixes(_fc, _obs), howinner ) merged[error] merged[value_fc] - merged[value_obs] return merged這里使用內(nèi)連接強(qiáng)制保留預(yù)報和觀測都存在的樣本。如果某個模型出現(xiàn)了數(shù)據(jù)缺口它的樣本量會比其他模型小這時排名結(jié)果需要謹(jǐn)慎解讀。使用 suffixes 區(qū)分預(yù)報值和觀測值error 表示預(yù)報減觀測的差值正偏差表示預(yù)報偏高。對齊之后需要檢查一下樣本數(shù)量def sample_summary(df): return df.groupby(model).size().reset_index(namesample_size)3.3 計(jì)算誤差指標(biāo)接下來定義三個連續(xù)變量誤差指標(biāo)平均絕對誤差 MAE、均方根誤差 RMSE、平均偏差 Bias。import numpy as np def mae(obs, fct): obs np.asarray(obs, dtypefloat) fct np.asarray(fct, dtypefloat) return float(np.mean(np.abs(fct - obs))) def rmse(obs, fct): obs np.asarray(obs, dtypefloat) fct np.asarray(fct, dtypefloat) return float(np.sqrt(np.mean((fct - obs) ** 2))) def bias(obs, fct): obs np.asarray(obs, dtypefloat) fct np.asarray(fct, dtypefloat) return float(np.mean(fct - obs))這三個函數(shù)都比較簡單。MAE 直觀反映平均誤差大小RMSE 對大誤差更敏感因?yàn)槠椒巾?xiàng)放大了離群值的影響B(tài)ias 表示系統(tǒng)性誤差正值偏暖或偏強(qiáng)負(fù)值偏冷或偏弱。排名時通常以 MAE 或 RMSE 為主指標(biāo)Bias 作為輔助參考。3.4 按模型生成排行榜核心邏輯是按 model 分組對每組樣本計(jì)算指標(biāo)再排序def rank_models(merged, metricmae): records [] for model, group in merged.groupby(model): obs group[value_obs] fct group[value_fc] records.append({ model: model, sample_size: len(group), mae: mae(obs, fct), rmse: rmse(obs, fct), bias: bias(obs, fct), }) result pd.DataFrame(records) # 這里按誤差指標(biāo)從小到大排名bias 不作為主排名指標(biāo) result[rank] result[metric].rank(methodmin, ascendingTrue).astype(int) result result.sort_values([rank, model]).reset_index(dropTrue) return result這段代碼先遍歷每個模型再生成 DataFrame。metric 參數(shù)可以切換排名用的指標(biāo)默認(rèn) mae。rank 列使用 pandas 的 rank 方法相同誤差時并列名次。這里要注意樣本量暫時只作為展示不參與排序。如果兩個模型樣本量差異很大需要在業(yè)務(wù)層決定是否過濾。主流程如下if __name__ __main__: forecasts, observations load_data(data/forecasts.csv, data/observations.csv) merged align_forecast_observation(forecasts, observations) if merged.empty: raise SystemExit(沒有匹配到有效樣本請檢查時間、站點(diǎn)、變量字段) table rank_models(merged, metricmae) print(table.to_string(indexFalse))3.5 運(yùn)行結(jié)果示例如果 forecasts.csv 中包含多個站點(diǎn)和多天數(shù)據(jù)運(yùn)行后可能得到類似這樣的輸出model sample_size mae rmse bias rank ECMWF 2800 1.82 2.41 0.35 1 GFS 2800 2.05 2.78 0.10 2 ICON 2800 2.31 3.02 -0.42 3這個結(jié)果的業(yè)務(wù)