先練三件事:定義指標、用明細重算、把異常寫成團隊能接手的查核工作。 以「新使用者 7 天付費轉換率」儀表板為例,先填指標定義卡,用五位虛構使用者算出 60%,再看看為什麼 AI 寫的第一版可能得到 100%,以及業務團隊要先查哪裡。
先填這張卡,再打開圖表或寫 SQL:
指標定義卡|用這個數字決定什麼?分母是誰?分子滿足什麼條件?按哪個時區、觀察區間和統計單位計算?哪些情況要排除?由誰確認?附上能手算的範例與預期結果。
新客付費轉換率怎麼定義?
假設營運負責人想知道這週是否需要優先修註冊後的購買流程。他問「新客轉換怎麼樣」。可以先追問:新客從第一次有效註冊算,還是從第一次進店算?轉換是完成付款,還是完成履約?這是兩個可以改變分子和分母的決定。假如要觀察註冊到付款,依註冊日期分組,比按付款日期截取客戶更能回答原問題。後者適合看這週有哪些付款,回答的不是哪批註冊使用者後來轉換了。
在這個虛構專案裡,營運和分析約定:依當地時間選一段註冊日期,每人保留第一次有效註冊,剔除已標記的內部測試帳號。分子是這些人中從註冊時刻起、未滿 168 小時內,至少有一筆實付且截至快照未全額退款的使用者。一個使用者只計一次,部分退款是否計入也要先說清。本練習計入仍有實付淨額的訂單。觀察區間從註冊時刻開始,到註冊後第 168 小時之前。恰好第 168 小時的付款算在觀察區間外;截至快照尚未滿 168 小時的使用者不進入本次分母。退款按指定快照定義,快照之後可能發生的新退款會改變後續版本。真實專案可以採用不同規則,先把規則定下來,再讓儀表板名稱和計算跟上。
還要寫用途:這張儀表板用於發現需要檢查的註冊批次。它比較各批已滿觀察期的新客。轉換率下降時,還要查付款頁面、獲客管道和價格等條件,才能判斷該先查核哪裡。經業務負責人確認的計算規則與原始表名、欄位時間、排除規則、快照時間、版本一起保存。組裡此前已用同名指標時,先比對定義。舊卡按自然日、新卡按 168 小時統計,兩個數即便同時正確,也不該直接相減。
用五位使用者驗算 AI 寫的查詢
下面的資料全部虛構。五位使用者均為同一註冊批次的有效新客,觀察已滿 168 小時。為便於手算,表中的小時數是從各自註冊時刻起算。退款狀態都以同一快照為準;表中僅列每人的所有範例付款訂單。
| 使用者 | 觀察到的訂單 | 進入分子? |
|---|---|---|
| A | 24 小時付款一單,48 小時又付一單;後一單有兩條商品明細列;無退款 | 是,計一人 |
| B | 第 168 小時付款一單,無退款 | 否,到了觀察區間外 |
| C | 72 小時付款一單,快照前已全額退款 | 否 |
| D | 12 小時付款一單,無退款 | 是,計一人 |
| E | 144 小時付款一單,無退款 | 是,計一人 |
先寫下預期:分母 5 人,分子 A、D、E 共 3 人,轉換率 3 ÷ 5 = 60%。同一批有效訂單是 A 兩單、D 一單、E 一單,共 4 單。把訂單接到商品明細後,A 的後一單展開成兩行,共得到 5 條通過篩選的商品明細列。如果 AI 初稿拿 5 條明細列除以 5 個註冊使用者,恰好會顯示 100%。這張圖看上去沒有超出百分比範圍,分子卻用了商品明細列而非使用者。只去重訂單也不夠,4 ÷ 5 仍是 80%。
你可以用表格先跑一遍,再嘗試 SQL。從註冊資料表確認五位使用者,按時間和退款規則篩出有效訂單,給各使用者標記「有至少一筆合格訂單」。在合併回註冊批次時保留每個使用者,即使他沒有合格訂單。最後用標記求和作分子。若先把原始明細全連起來,再用一個訂單篩選條件放進最終查詢,原本應留在分母裡的未付費使用者也可能被篩選掉。只在結果圖上補一行註解,無法修正錯掉的分母。遇到使用者合併或重複註冊,也要按業務認可的使用者標識回算,不能隨意挑一個帳戶 id 湊數。
在交付紀錄裡把差異寫細一點。注明註冊資料表一行代表一次註冊紀錄,訂單資料表一行代表一筆訂單,商品資料表一行代表一項商品。對關聯前後統計行數、不同訂單數、不同使用者數,再查看金額或使用者標記有沒有變化。Microsoft Power BI 的星型模型說明也把表的資料粒度、關聯基數和篩選路徑分開講。工具名稱會變,這三項在試算表、SQL 和 BI 建模裡都值得先核。公佈查詢前,至少用「一個使用者多筆訂單」「一單多行」「觀察區間邊界恰好一刻」「零合格訂單」各做一次反例。分母為零時應顯示無可計算結果或相應提示,避免把沒有使用者的批次誤讀成零轉換。
儀表板亮紅燈,先區分計算、資料與實際轉換
先查是不是計算規則變了。新版與舊版的轉換率差異能否在固定註冊批次上重現?先用相同快照、相同篩選條件重跑老計算與新計算。若發現差異來自把商品明細列當使用者,修正版本並回看影響過哪些圖和報表。這個變化應該寫為「糾正計算邏輯」,不能寫成「業務轉換變差」。
接著查是不是資料還不完整。確認付款和退款的資料更新時間、來源資料表是否缺少分割區、採集端有沒有延遲,再從聚合結果挑幾筆明細對回訂單狀態。假如一批新客在快照時只觀察了四天,距離完整的七天觀察期還有三天,先把這批標成未成熟,或者給已觀察同樣天數的註冊批次做另一項明確認義的對比。「還看不到結果」與「已看到了零」要在圖例、提示與匯出件中區分。真實資料涉及個人或客戶紀錄時,在有權限的環境中核驗,只留下獲准分享的聚合或合成範例。
如果數字仍然對不上,先讓兩個資料源說同一件事。設另一個獨立的虛構例子,兩週各有 100 位觀察期已滿的新客。上一週儀表板紀錄 40 人完成付款,與付款後台核算相符。本週儀表板只紀錄 28 人,但按同一使用者、時間窗和退款規則重算付款後台,仍有 40 人合格。將兩邊的使用者清單逐一對帳,確認儀表板顯示的 28 人都在後台的 40 人內,剩餘 12 人都沒有進入指標使用的客戶端付款成功事件資料表。其中 9 人使用了新版本的付款入口,另外 3 人暫未找到共同條件。它給出的是查核線索,尚不能證明新入口就是漏數原因。
給業務方的一句話可以這樣寫:「按付款後台、指定快照和同一套計算規則,本週仍是 40/100。當前圖表少記了 12 人,不能據此判斷付款流失。先請資料蒐集負責人核對新入口事件和寫入資料倉儲的流程,再按舊入口、相同客戶端版本找對照。」同時附上兩邊的分子分母、快照和受影響儀表板。若兩套計算規則還沒對照,先保留差異狀態,不急著替換圖上的數字。如果兩邊確認都下降,再查付款失敗、優惠門檻或流量變化,並約定由誰核查、何時回看。這樣交出去的是一個能接手的問題,業務方可以根據驗證結果決定先修採集還是先查流程。
怎麼把查核過程收進資料分析作品集?
把它做成能在五分鐘內查核的案例。第一眼看得到決策問題和指標定義卡,下一頁放五位使用者的資料、預期 60% 與實際執行結果,再寫一條修改前後的差異說明。最後交一張儀表板圖,圖裡標明樣本版、快照和篩選範圍。想讓面試官實際追問,可以加一條可修改的測試輸入:把 B 的付款時刻從 168 小時改成 167 小時,仍無退款,預期從 3 ÷ 5 變為 4 ÷ 5。接著把查詢重跑一次,紀錄哪些輸出一起變化。若只在紙上算過,就直接說明手算,別寫成已執行驗證的專案成果。
AI 可以幫你起草查詢、列出要驗證的邊界條件或生成圖表草案。讓 AI 按已批准的定義給方案,再用手算、原始來源和重新執行檢查。遇到「每筆訂單都代表一個人」這樣的隱含假設,要能在自己的紀錄裡指出是哪一行程式碼、何種資料觸發,以及修正後怎樣確認其他報表不受影響。Power BI 文件也給出一個產品內例子,作者可以為常見提問準備經人工批准的已驗證答案。這項功能要滿足相應設置與權限,在本練習裡用文件和表格保存期望結果也可以。
如果還在決定學哪一門工具,先用目標職缺的任務排序。要求自主擷取資料時,補一份能執行的查詢和一次邊界重測。要求管理營運儀表板時,補帶時間點和篩選器的版本說明。要求專題分析時,多做一次有明確查到什麼程度可以停的異常查核。中國大陸人力資源及社會保障部門公開的商务数据分析师国家职业标准(2024 年版,PDF 原文)在相關等級下同時列了資料蒐集與清理、表達式、圖表和報告框架,具體職務仍需看徵才要求。美國 O*NET 的商業智慧分析師任務也列有報告和儀表板維護。可對照商業智慧分析師職業介紹判斷是否願意長期維護指標,再用職務要求拆解和技能證據把練習對到一份具體職務說明。若還在考慮是否願意長期維護計算規則與對帳,94 題職涯測驗可幫助整理工作活動、方式和擇業條件偏好。SQL 或分析能力用可重算的練習和職務驗收標準來判斷。


