給數據工程師的正則實戰：從一團亂日誌裏撈出乾淨字段

日誌裏的時間格式三種混着來，手機號中間還夾着空格，字段一拆就錯位——數據工程師的日常，多半耗在這種髒活上。這篇不講理論，只給你三組能直接抄的正則思路，幫你把清洗時間砍掉一大半。

先說結論：正則別貪多，先分段再動手。拿到一團亂文本，第一步永遠是先切塊：按行、按分隔符、按固定標記把大塊拆小，再對每一小塊寫小正則。一個又長又貪的表達式看着厲害，實則難調難維護。拆成三五段小目標，每段都測，整體才穩。

日誌清洗先抓時間的錨點。時間格式再亂，也無非年月日時分秒幾種排法，先寫一個兼容常見分隔符的日期 pattern，把每一行的開頭釘住。釘住之後，後面的級別、模塊、信息就能按位置取。記住用非貪婪匹配，日誌裏一貪就容易把兩行吞成一行，這個坑幾乎人人踩過。

字段提取記住“先圈範圍，再取內容”。比如從一串參數裏撈手機號，別全行掃描，先定位到“phone=”這類鍵，再在它後面一小段裏匹配數字。這樣既快又準，還不怕別的數字串進來搗亂。身份證、訂單號同理，先找鍵，再取值，準確率立刻上去一截。

格式校驗留到最後做，表達的意思是“擋”，不是“洗”。手機號、郵箱、狀態碼這類，先用最嚴的規則攔一遍，攔下來的進人工或待清洗區，不要試圖用一個正則又洗又攔。洗和攔混在一起，表達式會迅速膨脹到沒人敢改。

今天就可以落地：把你 pipeline 裏最髒的那個環節找出來，按“切塊、釘時間、先圈範圍再取值、洗攔分離”四步重寫一遍，配三組單測。跑一週你會發現，半夜因爲髒數據報警的次數，肉眼可見地少了。 來源｜博客園 wang_yb《面向數據工程師的正則表達式：從日誌清洗到字段提取》，https://www.cnblogs.com/wang_yb/p/23203584.html