正在準備內容……

桌面左側是資料圖表,右側是由節點串聯的資料流程

資料分析師和資料工程師差在哪?SQL、工作內容與轉職入門

用同一批訂單比較兩職的 SQL 工作和交付,示範晚到退款為何改寫報表、怎麼讓流程重跑,也提供轉職作品練習。

作者 費馬測試編輯部

資料分析師用報表解釋指標變化,指出下一步查什麼;資料工程師讓資料每天準時、正確送到,出錯後能修復和重跑。 兩邊都可能寫 SQL。新手可以拿同一份訂單資料,先做一頁分析,再把整理資料的步驟做成可重跑的流程。

想比較什麼資料分析師資料工程師
平時交什麼指標報表、原因線索、下一步建議整理後的資料表、驗證規則、警示與重跑紀錄
能力重心定義指標、用 SQL 取資料核對、把結果講給業務用 SQL 或指令碼處理資料、設計資料表、處理重複與異常
沒有經驗先練什麼用一份訂單寫一頁指標解釋用同一份訂單做一次去除重複,再重跑驗證
相鄰職務如何切入用營運、業務或財務報表做一次完整分析用開發、測試或自動化工作做出可復原的資料處理流程

從職缺條件挑出第一份作品

先練共同基礎。 兩個方向都可以從 SQL 的分組、關聯、缺值和重複紀錄開始。分析方向多走一步,把一個業務問題寫成「指標怎麼算、這次變動能說明什麼、還要查哪裡」。工程方向多走一步,紀錄輸入、預期結果和失敗後的復原方案,讓另一個人用同一份材料也能順利執行。

再對照兩份你真能投的 JD。 找目標城市、相近職級和相同招募階段,分別圈出必須條件、優先條件和主要交付。已經做報表的人可先補業務解釋,已有開發或測試經驗的人可先補資料重跑。兩種職務也可能交叉。面試時問:「新進同仁第一份交付是什麼?數字對不起來,誰負責解釋,誰負責修資料流程?」

杉數科技過往的中國大陸校園招募公告的資料分析條目提到梳理業務、處理原始資料、分析結果與提出改進,也有工程支援工作。華訊網絡在中國大陸上海的針對有經驗者的職缺的資料開發條目強調蒐集、處理、建模、資料服務及自動化。這兩份可對照職責動詞,招募階段不同,無法據此比較薪資或入門難度。資料工程的任務範圍可參看 IBM 的介紹。

看台灣職缺時,可以把「資料品質」問成一件具體的事:「昨晚漏了一批訂單,今天是我回補資料、改報表,還是說明結果給業務?」台灣國發會刊載的歷史產業調查也把資料庫建置、設計資料流程和確保資料可用列入資料工程師的工作。這份資料只作任務參考,不能當成台灣現行行情。

共同輸入:重複訂單、缺地區與跨日退款都怎麼識別?

這是費馬測試編輯部編寫的虛構練習,無真實客戶資料。時間用北京時間,D1、D2 是兩個相鄰日。每筆付款或退款各有一個業務鍵;來源重送時,同一個鍵可能出現多次。等去除重複後,輸出才會每個鍵只留一筆。判斷資料何時可用,要看抵達時間;判斷付款或退款何時發生,要看事件時間欄。

紀錄業務時間資料抵達金額地區備注
付款 O101D1 10:00D1 10:01120華東已付款
付款 O101 重放D1 10:00D1 10:03120華東與原行一致
付款 O102D1 11:00D1 11:01100華北已付款
付款 O103D1 16:00D1 16:0180缺漏已付款
付款 O104D2 09:00D2 09:01200華東已付款
退款 R01,歸 O101D2 10:00D2 18:0030沿用原訂單成功、延遲抵達
退款 R02,歸 O104D2 11:00D2 11:0150沿用原訂單成功

本輪業務問題是「按付款日期分組的訂單,目前還有多少淨付款額」。雙方先確認這份口徑:同一訂單的重複付款紀錄只計一次,缺少地區資料歸「未知」並保留在全站數,成功退款歸原訂單付款日。淨付款額=付款金額減截至快照已接收且已匹配到原付款訂單的成功退款金額。本例規定一單一筆有效付款,實際一單多筆付款時需先確認付款交易鍵和聚合粒度。退款也按退款事件鍵去除重複,部分退款不能直接按整筆訂單金額扣除。

財務若想看「今天實際退了多少錢」,應該改為按退款成功發生日分組,再註明可見快照。業務補償、結算或其他指標也需另定語義。這一結論來自問題和口徑選擇,任何職務都不能單靠工具替使用者決定。

分析師交付:一張報表和一段能用的解釋

以 D2 晚上 20:00 的資料為準,先去除重複,再對成功退款按同一快照匯總。

原付款日唯一已付款訂單付款金額已接收的成功退款淨付款額
D1330030270
D2120050150
全站450080420

D1 付款額是 120+100+80=300。若把 O101 重放算了兩次,就得到 420,虛增 120。按地區匯總,D1 華東淨額 90、華北 100、未知 80,加起來仍是 270。把「未知」隨手濾掉,地區總和只剩 190。如果想計算「D1 已知地區淨額佔比」,分母可以只取 190,但標題必須寫清與全站指標的差別。

分析師會在旁邊寫給業務同事的短說明:「今天看到 D1 淨額從中午快照的 300 修訂為晚上的 270,原因是 D2 10 點成功的原訂單退款,到 18 點才進入計算。這是回補後的歷史快照修訂,不能由 30 元下調推斷 D1 的成交突然變差。需要追的是遲到資料是否頻繁,以及未知地區是否主要集中在某個入口。」假如只給一張圖,讀者會把歷史回補誤解成實時經營下滑。

本題既沒有隨機分組,也沒有足夠樣本推斷原因。即使 D1 淨額高於 D2,也可能是訂單量、管道或觀察成熟度不同。建議先讓負責訂單或退款團隊覈實異常來源,需要做更大決策時再擴展樣本和觀察期。

工程師交付:同一批跑兩次,結果不會再多算一遍

工程端先保存原始快照和執行時間,隨後用付款鍵和退款鍵識別重複。相同業務鍵且關鍵資料一致,按一筆處理;相同鍵卻有衝突的金額或狀態,按上游資料約定認定合法更新與衝突,將無法裁定的紀錄標記並警示。不確定時不能隨便留最後到達的一行。

退款事件需要能找到原付款訂單。若 R01 到達時原訂單還沒到,把退款紀錄留在待匹配區,暫不扣減任何訂單,同時讓後續接手的團隊看見「有待匹配項」的品質狀態。原訂單找到後重新計算相應付款日。每次產出紀錄快照時點和版本,以便區分中午可見狀態和晚上的回補結果。

檢查場景應有產出
D2 12:00 首跑R02 可見,R01 未到;D1 300、D2 150、全站 450,產出標明快照時間和退款仍可能延遲抵達
D2 20:00 更新R01 到達,找到 O101,對 D1 回補為 270;D2 仍為 150;全站為 420
同樣輸入再重跑O101 和 R01 即便再次出現也各計一次;同快照仍為 4 筆、淨額 420
缺少地區資料O103 保留,全站計入 80;地區表顯示「未知」80並紀錄缺值
鍵值衝突或上游資料未就緒標記異常並通知負責來源資料表的人。未通過品質門檻時不把部分新結果冒充本批完成

以這張表作發布前測試,把「回補資料」具體化:輸入只發生 R01 新到時,只有 D1 對應指標變動;發布日期、資料日期和執行批次能分別追溯。業務若查中午報告,仍能解釋為什麼是 450。資料工程師要告訴同事資料跑了哪一步、結果怎麼查、發生錯誤以後怎樣恢復,分析任務則把這些狀態轉成讀者可用的解釋。

退款先到、原訂單後到:兩份交付各要給後續接手的團隊什麼?

原表裡,退款延遲抵達會讓昨天的淨付款額下修。再做一個獨立的虛構壓力情景:D2 夜間,收到一筆歸給 O105 的成功退款 R03,金額二十元;對應的付款紀錄還沒收到。在 D3 上午,又收到 O105 的有效付款七十元,發生時間為 D2 晚間,地區是華北。這條分支加在原例之後,兩處金額只用於演練,不改上表原有七條紀錄。

什麼時候收到什麼資料D1 淨額D2 淨額全站淨額怎樣解讀這一版
D2 晚八點,按原表發布270150420R03 和 O105 尚未進入快照
D2 深夜收到 R03,O105 尚缺270150420待匹配區新增一筆二十元;原訂單還沒找到,暫時不能算到任何付款日
D3 早上匹配成功,回補付款和退款270200470D2 付款額增加七十元、計入的成功退款增加二十元,淨增加五十元

第三行可獨立重算:原 D2 淨額為 200-50=150 元,加上新匹配的 70-20=50 元,得到 200 元;全站付款變為 570 元,計入的成功退款變為 100 元,淨額 470 元。第二行即使知道退款是成功狀態,也沒有足以歸屬的訂單、地區和付款日。如果工程端擅自扣在 D2,D2 先被降為 130 元;第二天補資料再改到 200 元,讀報表的人會看到一次沒有經營依據的下跳。若任務另有按退款發生日統計的報表,它可在自己的已知口徑下處理這筆退款,不能拿來修改此處的訂單淨額定義。

分析師應把兩層資訊都交出來:已能核對的指標,以及仍有什麼缺口。可以留一則短更新:「D2 晚八點報表的 150 元基於當時已配對資料。本次新增一筆延遲抵達付款及其可配對退款,按原付款日把 D2 淨額修訂為 200 元。若回顧昨天的營運決策,請保留當時可見的 150 元,並將 50 元記在回補資料說明內。」這個寫法讓讀者分辨,哪個數字能解釋當時為什麼這麼決策,哪個數字適合做回溯統計。

工程師應能說明這筆錢為什麼不會在兩次重跑後變成一百元淨增。交出一份包含輸入快照、待匹配紀錄、受影響的分割區、對帳結果和上線版本的紀錄。D3 只需重算 D2 對應結果,D1 保持二百七十元。再次接收到相同的付款或退款業務鍵,只檢查重複,不重複累加。回補前後的快照都要能追到當時實際可見的輸入。上游補來的金額若和已有紀錄衝突,先按來源資料表約定核是否為有依據的更正,等能判定再替換;不能僅依抵達順序覆蓋。

交稿前用四問判斷作品能否交給同事

  1. 需求方臨時改問「昨天退了多少錢」怎麼辦? 在報表標題裡保留原來的以付款日統計的規則,另說明退款發生日統計需要哪些欄位及另一張表。先確認對方想支援的是退款時間回顧,還是原訂單收入回顧。
  2. 把上表最後一行蓋住,別人如何恢復答案? 讓夥伴找到延遲抵達付款、退款歸屬和舊快照,分別算出五十元改變量和四百七十元新淨額。他需要聽你補充哪句,哪句就應該進入說明或驗收條件。
  3. 假如回補資料失敗,讀者還會看到什麼? 約定保留上次完整發布的版本,明確標記重新整理失敗、資料時點和待匹配狀態。確認出現斷數由誰複核,什麼時候可以告知業務下次更新時間。
  4. 放進作品集時怎麼講分工? 分析向把原問題、資料口徑、兩個快照及建議並排。工程向附輸入、規則、預期出口、失敗分支與重跑證明。面試官問起同一退款時,你應能從自己主導的交付解釋對方如何驗收。兩份產物都可以出現 SQL,核對工作的重點在它們給接手者留下了什麼。

怎麼用真實 JD 和兩次同題試做選方向?

  • 分析試做 20 分鐘。 拿這份輸入做 D1/D2 指標表,寫一段 80–120 字備忘,說清口徑、修訂與最值得查的一件事。找人指出其中一個他可能誤讀的數,再修改標題或說明。
  • 工程試做 20 分鐘。 把輸入分成付款、退款兩張表,寫出五條處理規則和四個斷言。可以用紙筆、試算表或 SQL。讓夥伴要求「同樣資料跑兩遍」「昨晚的退款今天才到」或「鍵衝突」,檢查方案能否解釋表中每一種輸出。

試做之後記下哪種重做你更願意持續做。關心業務為何變化、怎樣用查到的資料講清判斷,可以多看分析職務。樂於解決偶發異常、舊資料修訂和可重複交付,可以多看工程方向。兩類任務都願意嘗試時,問團隊新進同仁主要維護什麼、上游斷數時誰處理、報表是否需要自行做分析解釋。

如果你想從其他領域轉入這兩種職務,可繼續用職缺說明和技能證據核對清單把試做整理成作品。若喜歡找出錯誤並重新核對,可借動手排故與可靠交接的探索方法紀錄自己願意重複哪段任務。想進一步看建模、維護與交接,可了解資料倉儲專家職業檔案,它是工程方向的一個具體參考。如果還看不出哪種工作想長期做,可以用60 題霍蘭德職業興趣測驗挑出想多試的活動,再和上面兩項 20 分鐘試做對照。工作方式和重視的職場條件,則用兩份實際職缺來問。

常見問題

資料分析師和資料工程師都要會 SQL 嗎?

不少職缺會用到 SQL,實際工具看職缺內容。想試分析,先用聯結和彙總查出指標為什麼變動,再寫一段給業務讀的解釋。想試工程,替資料處理流程加上去重、錯誤警示和重跑檢查,證明同一批資料跑兩次也不會重複計算。

資料分析師想轉資料工程,作品集先補什麼?

先補一個能讓別人照著重跑的資料流程。放入重複訂單、缺少欄位和延遲抵達退款,展示哪些資料會被保留、哪些先暫存,以及延遲抵達資料補上後哪些日期需要重算。把錯誤訊息、預期結果和修復紀錄放在一起,比再加一張儀表板更能說明工程工作。

關於費馬測試

費馬測試(FermatMind)從華語世界出發,幫助全球青年認識自己、探索職涯方向。用 MBTI 了解性格偏好,用霍蘭德測驗探索職涯興趣,再查閱千餘種職業檔案,比較工作內容、所需技能與入行條件,找到值得親自嘗試的下一步。