换行符不一致导致 comm 结果异常

问题背景：换行符

在处理文本文件时，换行符可能导致由于文件格式不同而出现意想不到的问题。尤其是在跨平台开发中，Windows 和 Unix/Linux 系统使用的换行符不同，这可能会导致一些命令行工具（如 comm、diff 等）无法正确处理文件内容。

比如，comm 命令明明应该返回正确的比较结果，却因为换行符不一致而失灵。这种情况在开发中并不少见，尤其是当你从不同来源获取文件时。

通过检查文件格式，我们发现：

#| eval: false
file aa_sorted.txt
file bb_sorted.txt

aa_sorted.txt：ASCII 文本，带有 CRLF 换行符（Windows 格式，每行以 结尾）。

bb_sorted.txt：ASCII 文本，带有 LF 换行符（Unix/Linux 格式，每行以 结尾）。

由于 comm 命令要求比较的行完全一致，换行符的差异会导致它无法正确识别相同的行。

解决方法：统一换行符格式

这个问题并不复杂，只需将文件格式统一即可。以下是具体步骤：

1. 将 Windows 格式转换为 Unix 格式

使用 dos2unix 工具可以将带有 CRLF 换行符的文件转换为 LF 格式。运行以下命令：

#| eval: false
dos2unix aa_sorted.txt

这条命令会将 aa_sorted.txt 的换行符从 CRLF 转换为 LF，与 bb_sorted.txt 的格式保持一致。

2. 重新运行 comm 命令

在确保两个文件的换行符一致后，重新运行你的 comm 命令：

#| eval: false
comm -23 aa_sorted.txt bb_sorted.txt | wc -l

现在，comm 能正确比较文件内容，输出预期的结果。

Takeaway

换行符不一致是许多文本处理工具（如 comm、diff 等）结果异常的常见原因。通过使用 dos2unix 工具统一文件格式，这个问题可以轻松解决。以下是几点实用建议：

• 检查文件格式：在比较文件前，使用 file 命令检查换行符类型。

• 保持一致性：在团队协作或跨平台开发时，建议统一使用 LF 换行符（Linux 标准）。

• 善用工具：dos2unix 和 unix2dos 是处理换行符问题的得力助手。