如何使用 Bash 進行數據清洗

刷到《如何使用 Bash 進行數據清洗》，內容很實在，值得細讀。這篇把它的關鍵做法提煉出來，幫你省下通讀的時間，結尾附行動建議。

你可能經歷過這樣的場景：拿到一個 CSV，以爲只是刪幾行、改幾列，結果打開一看：空值、重複、負金額、Windows 換行符，全擠在一起。 別急着打開 Python ，很多時候終端裏的 Bash 已經能先幫你把這團亂麻衝開。 數據清洗不一定非要一開始就上重型武器（ Python ）， 把 head 、 cut 、 grep 、 awk 、 sed 、 sort 、 uniq 這些小工具接成一條管道，髒數據就會像河水經過層層篩網，慢慢變清。 Bash vs Python：菜刀和瑞士軍刀 Bash 做數據清洗，像在廚房裏用一把快刀切菜： 快、直接、不用開機預熱 。 Python 更像一臺多功能料理機： 功能強、適合複雜菜譜，但準備和清洗機器要花點時間 。

你可能經歷過這樣的場景：拿到一個 CSV，以爲只是刪幾行、改幾列，結果打開一看：空值、重複、負金額、Windows 換行符，全擠在一起。 別急着打開 Python ，很多時候終端裏的 Bash 已經能先幫你把這團亂麻衝開。 數據清洗不一定非要一開始就上重型武器（ Python ）， 把 head 、 cut 、 grep 、 awk 、 sed 、 sort 、 uniq 這些小工具接成一條管道，髒數據就會像河水經過層層篩網，慢慢變清。 Bash vs Python：菜刀和瑞士軍刀 Bash 做數據清洗，像在廚房裏用一把快刀切菜： 快、直接、不用開機預熱 。 Python 更像一臺多功能料理機： 功能強、適合複雜菜譜，但準備和清洗機器要花點時間 。 維度 Bash Python 上手成本 Linux/macOS 自帶，幾乎零安裝 需要解釋器、虛擬環境、依賴 適合任務 日誌、CSV/TSV、文本流、簡單 ETL 複雜轉換、嵌套 JSON、統計建模 大文件 管道流式處理，內存友好 pandas 默認喫內存，需分塊 可讀性 短命令優雅，長腳本像咒語 長邏輯更清晰 一句話選擇： 數據像一條河：用 Bash，閘門、篩網、管道一接，水就清了。

你可能經歷過這樣的場景：拿到一個 CSV，以爲只是刪幾行、改幾列，結果打開一看：空值、重複、負金額、Windows 換行符，全擠在一起。 別急着打開 Python ，很多時候終端裏的 Bash 已經能先幫你把這團亂麻衝開。 數據清洗不一定非要一開始就上重型武器（ Python ）， 把 head 、 cut 、 grep 、 awk 、 sed 、 sort 、 uniq 這些小工具接成一條管道，髒數據就會像河水經過層層篩網，慢慢變清。 Bash vs Python：菜刀和瑞士軍刀 Bash 做數據清洗，像在廚房裏用一把快刀切菜： 快、直接、不用開機預熱 。 Python 更像一臺多功能料理機： 功能強、適合複雜菜譜，但準備和清洗機器要花點時間 。 維度 Bash Python 上手成本 Linux/macOS 自帶，幾乎零安裝 需要解釋器、虛擬環境、依賴 適合任務 日誌、CSV/TSV、文本流、簡單 ETL 複雜轉換、嵌套 JSON、統計建模 大文件 管道流式處理，內存友好 pandas 默認喫內存，需分塊 可讀性 短命令優雅，長腳本像咒語 長邏輯更清晰 一句話選擇： 數據像一條河：用 Bash，閘門、篩網、管道一接，水就清了。 數據像一團毛線：用 Python，慢慢織，別拿菜刀砍。

你可能經歷過這樣的場景：拿到一個 CSV，以爲只是刪幾行、改幾列，結果打開一看：空值、重複、負金額、Windows 換行符，全擠在一起。 別急着打開 Python ，很多時候終端裏的 Bash 已經能先幫你把這團亂麻衝開。 數據清洗不一定非要一開始就上重型武器（ Python ）， 把 head 、 cut 、 grep 、 awk 、 sed 、 sort 、 uniq 這些小工具接成一條管道，髒數據就會像河水經過層層篩網，慢慢變清。 Bash vs Python：菜刀和瑞士軍刀 Bash 做數據清洗，像在廚房裏用一把快刀切菜： 快、直接、不用開機預熱 。 Python 更像一臺多功能料理機： 功能強、適合複雜菜譜，但準備和清洗機器要花點時間 。 維度 Bash Python 上手成本 Linux/macOS 自帶，幾乎零安裝 需要解釋器、虛擬環境、依賴 適合任務 日誌、CSV/TSV、文本流、簡單 ETL 複雜轉換、嵌套 JSON、統計建模 大文件 管道流式處理，內存友好 pandas 默認喫內存，需分塊 可讀性 短命令優雅，長腳本像咒語 長邏輯更清晰 一句話選擇： 數據像一條河：用 Bash，閘門、篩網、管道一接，水就清了。 數據像一團毛線：用 Python，慢慢織，別拿菜刀砍。 先造一份“髒數據” 爲了演示，我們構造一份包含典型問題的銷售數據 dirty_sales.csv 。

你可能經歷過這樣的場景：拿到一個 CSV，以爲只是刪幾行、改幾列，結果打開一看：空值、重複、負金額、Windows 換行符，全擠在一起。 別急着打開 Python ，很多時候終端裏的 Bash 已經能先幫你把這團亂麻衝開。 數據清洗不一定非要一開始就上重型武器（ Python ）， 把 head 、 cut 、 grep 、 awk 、 sed 、 sort 、 uniq 這些小工具接成一條管道，髒數據就會像河水經過層層篩網，慢慢變清。 Bash vs Python：菜刀和瑞士軍刀 Bash 做數據清洗，像在廚房裏用一把快刀切菜： 快、直接、不用開機預熱 。 Python 更像一臺多功能料理機： 功能強、適合複雜菜譜，但準備和清洗機器要花點時間 。 維度 Bash Python 上手成本 Linux/macOS 自帶，幾乎零安裝 需要解釋器、虛擬環境、依賴 適合任務 日誌、CSV/TSV、文本流、簡單 ETL 複雜轉換、嵌套 JSON、統計建模 大文件 管道流式處理，內存友好 pandas 默認喫內存，需分塊 可讀性 短命令優雅，長腳本像咒語 長邏輯更清晰 一句話選擇： 數據像一條河：用 Bash，閘門、篩網、管道一接，水就清了。 數據像一團毛線：用 Python，慢慢織，別拿菜刀砍。 先造一份“髒數據” 爲了演示，我們構造一份包含典型問題的銷售數據 dirty_sales.csv 。 它的問題包括： Windows 換行符 （看不見，但會導致腳本出錯）。

讀完別停：把最觸動你的一條記下來，這周就用上。能落地的閱讀纔算數，歡迎回來聊聊你的實踐結果。 來源｜博客園《如何使用 Bash 進行數據清洗》，https://www.cnblogs.com/wang_yb/p/23002397