给数据工程师的正则实战：从一团乱日志里捞出干净字段

日志里的时间格式三种混着来，手机号中间还夹着空格，字段一拆就错位——数据工程师的日常，多半耗在这种脏活上。这篇不讲理论，只给你三组能直接抄的正则思路，帮你把清洗时间砍掉一大半。

先说结论：正则别贪多，先分段再动手。拿到一团乱文本，第一步永远是先切块：按行、按分隔符、按固定标记把大块拆小，再对每一小块写小正则。一个又长又贪的表达式看着厉害，实则难调难维护。拆成三五段小目标，每段都测，整体才稳。

日志清洗先抓时间的锚点。时间格式再乱，也无非年月日时分秒几种排法，先写一个兼容常见分隔符的日期 pattern，把每一行的开头钉住。钉住之后，后面的级别、模块、信息就能按位置取。记住用非贪婪匹配，日志里一贪就容易把两行吞成一行，这个坑几乎人人踩过。

字段提取记住“先圈范围，再取内容”。比如从一串参数里捞手机号，别全行扫描，先定位到“phone=”这类键，再在它后面一小段里匹配数字。这样既快又准，还不怕别的数字串进来捣乱。身份证、订单号同理，先找键，再取值，准确率立刻上去一截。

格式校验留到最后做，表达的意思是“挡”，不是“洗”。手机号、邮箱、状态码这类，先用最严的规则拦一遍，拦下来的进人工或待清洗区，不要试图用一个正则又洗又拦。洗和拦混在一起，表达式会迅速膨胀到没人敢改。

今天就可以落地：把你 pipeline 里最脏的那个环节找出来，按“切块、钉时间、先圈范围再取值、洗拦分离”四步重写一遍，配三组单测。跑一周你会发现，半夜因为脏数据报警的次数，肉眼可见地少了。 来源｜博客园 wang_yb《面向数据工程师的正则表达式：从日志清洗到字段提取》，https://www.cnblogs.com/wang_yb/p/23203584.html