如何使用 Bash 进行数据清洗

刷到《如何使用 Bash 进行数据清洗》，内容很实在，值得细读。这篇把它的关键做法提炼出来，帮你省下通读的时间，结尾附行动建议。

你可能经历过这样的场景：拿到一个 CSV，以为只是删几行、改几列，结果打开一看：空值、重复、负金额、Windows 换行符，全挤在一起。 别急着打开 Python ，很多时候终端里的 Bash 已经能先帮你把这团乱麻冲开。 数据清洗不一定非要一开始就上重型武器（ Python ）， 把 head 、 cut 、 grep 、 awk 、 sed 、 sort 、 uniq 这些小工具接成一条管道，脏数据就会像河水经过层层筛网，慢慢变清。 Bash vs Python：菜刀和瑞士军刀 Bash 做数据清洗，像在厨房里用一把快刀切菜： 快、直接、不用开机预热 。 Python 更像一台多功能料理机： 功能强、适合复杂菜谱，但准备和清洗机器要花点时间 。

你可能经历过这样的场景：拿到一个 CSV，以为只是删几行、改几列，结果打开一看：空值、重复、负金额、Windows 换行符，全挤在一起。 别急着打开 Python ，很多时候终端里的 Bash 已经能先帮你把这团乱麻冲开。 数据清洗不一定非要一开始就上重型武器（ Python ）， 把 head 、 cut 、 grep 、 awk 、 sed 、 sort 、 uniq 这些小工具接成一条管道，脏数据就会像河水经过层层筛网，慢慢变清。 Bash vs Python：菜刀和瑞士军刀 Bash 做数据清洗，像在厨房里用一把快刀切菜： 快、直接、不用开机预热 。 Python 更像一台多功能料理机： 功能强、适合复杂菜谱，但准备和清洗机器要花点时间 。 维度 Bash Python 上手成本 Linux/macOS 自带，几乎零安装 需要解释器、虚拟环境、依赖 适合任务 日志、CSV/TSV、文本流、简单 ETL 复杂转换、嵌套 JSON、统计建模 大文件 管道流式处理，内存友好 pandas 默认吃内存，需分块 可读性 短命令优雅，长脚本像咒语 长逻辑更清晰 一句话选择： 数据像一条河：用 Bash，闸门、筛网、管道一接，水就清了。

你可能经历过这样的场景：拿到一个 CSV，以为只是删几行、改几列，结果打开一看：空值、重复、负金额、Windows 换行符，全挤在一起。 别急着打开 Python ，很多时候终端里的 Bash 已经能先帮你把这团乱麻冲开。 数据清洗不一定非要一开始就上重型武器（ Python ）， 把 head 、 cut 、 grep 、 awk 、 sed 、 sort 、 uniq 这些小工具接成一条管道，脏数据就会像河水经过层层筛网，慢慢变清。 Bash vs Python：菜刀和瑞士军刀 Bash 做数据清洗，像在厨房里用一把快刀切菜： 快、直接、不用开机预热 。 Python 更像一台多功能料理机： 功能强、适合复杂菜谱，但准备和清洗机器要花点时间 。 维度 Bash Python 上手成本 Linux/macOS 自带，几乎零安装 需要解释器、虚拟环境、依赖 适合任务 日志、CSV/TSV、文本流、简单 ETL 复杂转换、嵌套 JSON、统计建模 大文件 管道流式处理，内存友好 pandas 默认吃内存，需分块 可读性 短命令优雅，长脚本像咒语 长逻辑更清晰 一句话选择： 数据像一条河：用 Bash，闸门、筛网、管道一接，水就清了。 数据像一团毛线：用 Python，慢慢织，别拿菜刀砍。

你可能经历过这样的场景：拿到一个 CSV，以为只是删几行、改几列，结果打开一看：空值、重复、负金额、Windows 换行符，全挤在一起。 别急着打开 Python ，很多时候终端里的 Bash 已经能先帮你把这团乱麻冲开。 数据清洗不一定非要一开始就上重型武器（ Python ）， 把 head 、 cut 、 grep 、 awk 、 sed 、 sort 、 uniq 这些小工具接成一条管道，脏数据就会像河水经过层层筛网，慢慢变清。 Bash vs Python：菜刀和瑞士军刀 Bash 做数据清洗，像在厨房里用一把快刀切菜： 快、直接、不用开机预热 。 Python 更像一台多功能料理机： 功能强、适合复杂菜谱，但准备和清洗机器要花点时间 。 维度 Bash Python 上手成本 Linux/macOS 自带，几乎零安装 需要解释器、虚拟环境、依赖 适合任务 日志、CSV/TSV、文本流、简单 ETL 复杂转换、嵌套 JSON、统计建模 大文件 管道流式处理，内存友好 pandas 默认吃内存，需分块 可读性 短命令优雅，长脚本像咒语 长逻辑更清晰 一句话选择： 数据像一条河：用 Bash，闸门、筛网、管道一接，水就清了。 数据像一团毛线：用 Python，慢慢织，别拿菜刀砍。 先造一份“脏数据” 为了演示，我们构造一份包含典型问题的销售数据 dirty_sales.csv 。

你可能经历过这样的场景：拿到一个 CSV，以为只是删几行、改几列，结果打开一看：空值、重复、负金额、Windows 换行符，全挤在一起。 别急着打开 Python ，很多时候终端里的 Bash 已经能先帮你把这团乱麻冲开。 数据清洗不一定非要一开始就上重型武器（ Python ）， 把 head 、 cut 、 grep 、 awk 、 sed 、 sort 、 uniq 这些小工具接成一条管道，脏数据就会像河水经过层层筛网，慢慢变清。 Bash vs Python：菜刀和瑞士军刀 Bash 做数据清洗，像在厨房里用一把快刀切菜： 快、直接、不用开机预热 。 Python 更像一台多功能料理机： 功能强、适合复杂菜谱，但准备和清洗机器要花点时间 。 维度 Bash Python 上手成本 Linux/macOS 自带，几乎零安装 需要解释器、虚拟环境、依赖 适合任务 日志、CSV/TSV、文本流、简单 ETL 复杂转换、嵌套 JSON、统计建模 大文件 管道流式处理，内存友好 pandas 默认吃内存，需分块 可读性 短命令优雅，长脚本像咒语 长逻辑更清晰 一句话选择： 数据像一条河：用 Bash，闸门、筛网、管道一接，水就清了。 数据像一团毛线：用 Python，慢慢织，别拿菜刀砍。 先造一份“脏数据” 为了演示，我们构造一份包含典型问题的销售数据 dirty_sales.csv 。 它的问题包括： Windows 换行符 （看不见，但会导致脚本出错）。

读完别停：把最触动你的一条记下来，这周就用上。能落地的阅读才算数，欢迎回来聊聊你的实践结果。 来源｜博客园《如何使用 Bash 进行数据清洗》，https://www.cnblogs.com/wang_yb/p/23002397