根據(jù) Anthropic 官方博客 How Anthropic enables self-service data analytics with Claude 提煉而成。用法按從上到下的順序一項(xiàng)項(xiàng)打勾。節(jié)奏參考階段 0 半天階段 1 約 1–2 周階段 2 持續(xù) 3–4 周不要跳步階段 3 也別提前動(dòng)手術(shù)語(yǔ)約定canonical核心概念一個(gè)指標(biāo)唯一、說(shuō)死的定義。比如收入到底取哪個(gè)表、什么口徑得先定下來(lái)。eval測(cè)試題一道問(wèn)題 正確答案的題專門用來(lái)檢驗(yàn) AI 算得對(duì)不對(duì)。skill技能文檔一份說(shuō)明告訴 AI 該按什么步驟去查數(shù)據(jù)。agent幫你跑分析的 AI 助手。前置開(kāi)工前的五問(wèn)決定投入多少[ ] Q1 今天 vs 未來(lái)哪個(gè)更重要為什么AI 模型更新很快。如果你是為了補(bǔ)當(dāng)前模型的短板才去搭基礎(chǔ)設(shè)施等模型一升級(jí)這些設(shè)施很可能就白費(fèi)了。先想清楚你要的是現(xiàn)在夠用就行還是長(zhǎng)期穩(wěn)得住這決定了你到底要建多少東西。怎么算完成能說(shuō)清楚自己選哪條路是賭模型會(huì)變好、先湊合著用還是先搭一套能盡量兜底的系統(tǒng)。[ ] Q2 業(yè)務(wù)復(fù)雜度未來(lái)會(huì)怎么變?yōu)槭裁慈绻麛?shù)據(jù)量不大、看數(shù)據(jù)的人不多、業(yè)務(wù)也不算復(fù)雜那大廠那套流程對(duì)你來(lái)說(shuō)多半是多余的。怎么算完成能大致判斷未來(lái)一年數(shù)據(jù)量和問(wèn)題復(fù)雜度會(huì)不會(huì)明顯往上走。[ ] Q3 看數(shù)據(jù)的人懂不懂?dāng)?shù)據(jù)為什么看結(jié)果的人如果自己能看出錯(cuò)比如分析師本人用那出錯(cuò)率高些也能接受驗(yàn)證可以省一點(diǎn)。反過(guò)來(lái)如果看結(jié)果的人根本不懂?dāng)?shù)據(jù)驗(yàn)證就必須做扎實(shí)不然錯(cuò)了他也發(fā)現(xiàn)不了。怎么算完成能說(shuō)清誰(shuí)會(huì)看這些結(jié)果以及他能不能自己發(fā)現(xiàn)錯(cuò)。[ ] Q4 愿意為準(zhǔn)確率花多少錢、忍受多少延遲為什么有些提高準(zhǔn)確率的手段是要額外花錢、花時(shí)間的。比如 Anthropic 試過(guò)的對(duì)抗性審查準(zhǔn)確率只漲了 6%但 token 多耗 32%、響應(yīng)慢了 72%。怎么算完成心里大致有個(gè)數(shù)愿意花多少錢、能接受多長(zhǎng)的響應(yīng)時(shí)間。[ ] Q5 數(shù)據(jù)隱私邊界在哪為什么給 AI 的上下文越全它答得越準(zhǔn)。但數(shù)據(jù)開(kāi)放范圍越大就越容易踩到公司的管控紅線。這直接決定你是做一個(gè)能看全部數(shù)據(jù)的通用助手還是按權(quán)限拆成幾個(gè)分開(kāi)的助手。怎么算完成能劃清一條線哪些數(shù)據(jù)可以給 AI 用哪些絕對(duì)不能碰。階段 0盤點(diǎn)[ ] 0.1 寫(xiě)下你最常被問(wèn)的 5–10 個(gè)數(shù)據(jù)問(wèn)題為什么起步得從問(wèn)題出發(fā)不是從數(shù)據(jù)出發(fā)。你最常被問(wèn)到的這些問(wèn)題就是整套體系的起點(diǎn)階段 1 定哪些核心概念、階段 2 出哪些測(cè)試題都得從這里往回推。Anthropic 自己也是先把日常最常被問(wèn)的問(wèn)題固化下來(lái)再搭后面的東西。怎么算完成清單上寫(xiě)的都是具體問(wèn)題比如上個(gè)月收入多少、哪個(gè)產(chǎn)品賣得最好、某客戶為什么流失而不是做個(gè)數(shù)據(jù)分析這種空話。[ ] 0.2 為每個(gè)問(wèn)題標(biāo)注答案來(lái)源為什么先摸清楚底每個(gè)問(wèn)題的答案到底出自哪張表、什么口徑、誰(shuí)在管。這一步常常會(huì)暴露一個(gè)問(wèn)題同一個(gè)問(wèn)題往往有三四種算法而這正是后面要解決的概念說(shuō)不清的根源。怎么算完成每個(gè)問(wèn)題都能寫(xiě)出至少一個(gè)答案來(lái)源。寫(xiě)不出來(lái)的就是階段 1 要優(yōu)先處理的。[ ] 0.3 標(biāo)出你最痛的 3 類分析為什么先挑最痛的下手用它來(lái)決定階段 1 先定哪個(gè)核心概念。是反復(fù)返工最痛是口徑對(duì)不上老吵架最痛還是答完才發(fā)現(xiàn)用錯(cuò)表最痛哪類最痛就先把它定成核心概念。怎么算完成能說(shuō)出哪類分析最費(fèi)時(shí)間、最常出錯(cuò)、最不敢拍板。階段 1最小三件套核心別貪多Anthropic 原話a handful of canonical datasets, a few dozen offline evals, and a thin knowledge skill will capture most of the upside.幾個(gè)核心數(shù)據(jù)集、幾十條測(cè)試題、一份薄的技能文檔就能拿到大部分收益。后面所有東西都是這三件建好之后才往上加的。[ ] 1.1 定義 5–10 個(gè)核心概念canonical每個(gè)綁定唯一源為什么這一步是在解決最容易出錯(cuò)的根源也就是概念說(shuō)不清。公司里收入常常有三四種算法不定死AI 和人就一直在猜。Anthropic 的做法是核心定義要少、要準(zhǔn)、而且要管嚴(yán)你搜一個(gè)概念應(yīng)該只得到一個(gè)權(quán)威答案。怎么算完成每個(gè)概念寫(xiě)一頁(yè)紙用哪張表、哪一列、含不含稅、什么口徑、時(shí)間窗口怎么算。要落筆寫(xiě)下來(lái)不能只存在腦子里。[ ] 1.2 寫(xiě)一份薄的技能文檔knowledge skill為什么這一步把先查核心概念的權(quán)威定義查不到再去翻原始數(shù)據(jù)表這個(gè)順序固定下來(lái)免得 AI 在幾百萬(wàn)個(gè)字段里瞎找它應(yīng)對(duì)的就是檢索失敗。Anthropic 自己測(cè)過(guò)沒(méi)有 skill 時(shí)準(zhǔn)確率不到 21%加上之后穩(wěn)定到 95% 以上。怎么算完成一份文檔能說(shuō)清這個(gè)問(wèn)題先看哪份定義查不到再看哪張?jiān)急?。不用一上?lái)就拆成好幾個(gè)文件先一份就夠。[ ] 1.3 建 20–30 條測(cè)試題eval每條釘死一個(gè)快照日期為什么起步階段能做的驗(yàn)證基本就是備好問(wèn)題 正確答案的對(duì)照題。答案必須釘在一個(gè)固定的快照日期上因?yàn)槿绻阌玫氖菚?huì)變的實(shí)時(shí)數(shù)字?jǐn)?shù)據(jù)一更新正確答案也跟著變題就廢了。Anthropic 管這叫標(biāo)準(zhǔn)答案不能漂移。怎么算完成每條題都寫(xiě)全問(wèn)題 快照日期 正確答案數(shù)字和口徑都寫(xiě)。比如2026 年 6 月收入 1,234,567 元含稅口徑6 月 30 日快照。[ ] 1.4 核心概念文檔和測(cè)試題放同一目錄改動(dòng)一起提交為什么這是 Anthropic 的共置原則改數(shù)據(jù)的同時(shí)文檔必須一起改。不然幾周下來(lái)文檔就和實(shí)際對(duì)不上了。他們實(shí)測(cè)過(guò)不維護(hù)的話離線準(zhǔn)確率一個(gè)月就能從 95% 掉到 65%原因就是沒(méi)人把維護(hù)當(dāng)回事。怎么算完成有一個(gè)統(tǒng)一目錄只要口徑或表結(jié)構(gòu)一改就同步更新對(duì)應(yīng)的核心概念頁(yè)和受影響的測(cè)試題。公司如果沒(méi)有自動(dòng)化檢查就靠這條手動(dòng)規(guī)矩兜著。階段 2驗(yàn)證閉環(huán)持續(xù)[ ] 2.1 每次回答后對(duì)照測(cè)試題檢查對(duì)錯(cuò)為什么驗(yàn)證是唯一能讓你知道哪個(gè)環(huán)節(jié)還在出錯(cuò)的辦法。不驗(yàn)證哪怕全套環(huán)境都搭好了你也說(shuō)不清到底好不好用Anthropic 說(shuō)這是很多團(tuán)隊(duì)都有的毛病。怎么算完成有一份AI 回答 vs 標(biāo)準(zhǔn)答案的對(duì)照記錄能說(shuō)出最近的通過(guò)率。[ ] 2.2 答錯(cuò)的題收成新測(cè)試題為什么每一次糾正都是一道現(xiàn)成的新測(cè)試題而且不要錢。題庫(kù)跑得越多越準(zhǔn)慢慢就積成了你的資產(chǎn)。Anthropic 在線驗(yàn)證里持續(xù)收集糾正用的也是這個(gè)思路。怎么算完成題庫(kù)數(shù)量每周在增加而不是一直停在原來(lái)的地方。[ ] 2.3 每份報(bào)告加來(lái)源腳注為什么這是防靜默失敗最劃算的辦法。靜默失敗指的是答案其實(shí)錯(cuò)了但看著挺合理別人也沒(méi)多想就直接用了。腳注里寫(xiě)清三件事數(shù)據(jù)來(lái)自哪一層核心定義 ? 參考文檔 ? 原始表、數(shù)據(jù)新到哪天、歸誰(shuí)管。看到原始表、新鮮度未知這種腳注轉(zhuǎn)發(fā)之前你得先自己核一遍。怎么算完成每份輸出都帶來(lái)源層級(jí) 新鮮度 歸屬這三樣。[ ] 2.4 每周復(fù)盤通過(guò)率形成時(shí)間序列為什么用來(lái)抓那種一點(diǎn)點(diǎn)變差的問(wèn)題單次檢查看不出來(lái)得連著看幾周的趨勢(shì)。Anthropic 會(huì)把每次測(cè)試的結(jié)果都存下來(lái)版本、模型、通過(guò)率、token 用量都記這樣那個(gè)改動(dòng)到底有沒(méi)有用就變成了一條能查的數(shù)據(jù)。怎么算完成有一份按周記錄的通過(guò)率曲線能看出走向而不是只盯某一次的數(shù)字。階段 3疊加增值基礎(chǔ)打穩(wěn)之后 · 可選[ ] 3.1 僅當(dāng)通過(guò)率卡住、且錯(cuò)誤集中在某一類時(shí)才疊加為什么別為了好看而過(guò)度設(shè)計(jì)。如果老在內(nèi)部術(shù)語(yǔ)理解上出錯(cuò)就補(bǔ)業(yè)務(wù)上下文層。如果老在復(fù)雜查詢邏輯上出錯(cuò)就上對(duì)抗性審查準(zhǔn)確率 6%代價(jià)是多花 32% 的 token、響應(yīng)慢 72%。如果手動(dòng)收集糾正太累就上自動(dòng)收集。怎么算完成能說(shuō)清自己卡在哪類錯(cuò)誤上所以要補(bǔ)這一層。自檢全部勾選后你應(yīng)該能看到一份寫(xiě)下來(lái)的高頻問(wèn)題清單5–10 個(gè) 每個(gè)問(wèn)題的答案來(lái)源。一份核心概念頁(yè)5–10 個(gè)概念每個(gè)綁唯一源和口徑。一份能指路的技能文檔。20–30 條釘死日期的測(cè)試題 每周通過(guò)率記錄。每份輸出都帶來(lái)源腳注。明確知道下一步該補(bǔ)哪一層或明確知道現(xiàn)在還不需要。歧義讓答案不唯一陳舊讓答案過(guò)期檢索失敗讓答案找不到。起步三件套正好對(duì)著這三個(gè)毛病。核心概念治歧義維護(hù)紀(jì)律治陳舊技能文檔治檢索失敗。