如何打开非常大的文本和 CSV 文件


MS Excel 可以显示 1,048,576 行。虽然在正常使用中这似乎是一个非常大的数字,但在很多情况下这还不够。

无论您查看日志文件还是大型数据集,都很容易遇到包含数百万行的 CSV 文件或巨大的文本文件。既然Excel 无法支持这么大的文件,那么到底如何打开它们呢?让我们来看看吧。

为什么普通文本编辑器无法打开非常大的文件?

计算机有千兆字节的存储空间,那么为什么文本编辑器不能打开大文件?

这里有两个因素在起作用。某些应用程序对其可以显示的数据量有硬编码限制。无论您的电脑有多少内存,他们都不会使用它。

第二个问题是内存。许多文本编辑器对行数没有硬性限制,但由于内存限制而无法显示大文件。它们将整个文件加载到系统 RAM 中,因此如果内存不够大,该过程就会失败。

方法#1:使用免费编辑器

查看极大文本文件的最佳方法是使用……文本编辑器。不仅仅是任何文本编辑器,而是用于编写代码的工具。此类应用程序通常可以顺利处理大文件,并且是免费的。

大文本文件查看器 可能是这些应用程序中最简单的。它非常易于使用、运行速度快并且资源占用非常低。唯一的缺点?它无法编辑文件。但如果您只想查看大型 CSV 文件,这无疑是完成这项工作的最佳工具。

如果要编辑大型文本文件,您应该尝试Emacs 。它最初是为 Unix 系统创建的,在 Windows 上也能完美运行,并且可以处理大文件。同样,尼奥维姆崇高的文字 是两个轻量级IDE,可用于打开千兆字节大小的CSV文本文件。

如果您只想通过大型日志文件搜索数据,那么 克洛格 正是适合您的工具。该应用程序是流行的 格洛格 的更新分支,允许您轻松地通过巨大的文本文件执行复杂的搜索操作。由于计算机生成的日志文件通常可以有数百万行,因此 klogg 被设计为可以毫无问题地处理此类文件大小。.

方法#2:分成多个部分

尝试打开大型 CSV 文件的全部问题是它们太大。但是如果您要将这些文件分割成多个较小的文件怎么办?

这是一种流行的解决方案,因为它通常不需要学习新文本编辑器的界面。相反,您可以使用 在线提供的众多 CSV 拆分器之一 将大文件分解为多个易于打开的文件。然后就可以正常访问这些文件了。

但是,这并不是解决此问题的最佳方法。分割大文件通常会导致奇怪的拼写错误或文件配置不正确。此外,单独打开每个块可以防止您一次过滤整个数据。

方法#3:导入数据库

扩展到数 GB 的文本和 .csv 文件通常是大型数据集。那么为什么不将它们导入数据库呢?

SQL 是当今最常用的数据库标记语言。使用的有 SQL 的许多版本 个,但最简单的可能是 MySQL。幸运的是,有可能 将 CSV 文件转换为 MySQL 表

这绝不是处理大型 CSV 文件的最简单方法,因此我们仅在您想要定期处理大型数据集时才建议您使用此方法。如果 MySQL 听起来太难,您可以随时将 .csv 文件导入到 微软访问

方法 #4:使用 Python 库进行分析

当您处理包含数百万行数据的 .csv 文件时,您显然无法手动理解它。您可能想要过滤数据并运行特定查询以了解趋势。

那么为什么 编写Python代码 不这样做呢?

再次强调,这不是最用户友好的方法。虽然 Python 并不是最难学的编程语言 是编码,所以它可能不是最适合您的方法。不过,如果您发现自己每天必须解析非常大的 CSV 文件,您可能需要 使用一些 Python 代码自动执行任务

方法#5:使用高级工具

我们在第一种方法中看到的文本编辑器并不是用于 CSV 处理的专用工具。它们是通用工具,也可用于处理大型 .csv 文件。

但是专门的应用程序又如何呢?没有任何应用程序可以解决这个问题吗?.

实际上是有的。例如,CSV 浏览器 构建在我们在最后两种方法(SQL 数据库和 Python 代码)中描述的过程上,创建一个能够查看和编辑任何大小的 CSV 文件的应用程序。您可以通过电子表格工具完成您期望的所有操作,例如创建图表或在 CSV Explorer 中过滤数据。

另一个选项是超编辑 。与之前的工具不同,这不仅适用于 .csv 文件,还适用于任何类型的文本文件。它可以轻松处理大小为几 GB 的文本和 CSV 文件,其界面与我们之前讨论的许多免费编辑器类似。

这些工具的唯一缺点是它们是高级应用程序,需要您获得付费许可证才能使用它们。您可以随时尝试他们的免费试用版以了解其功能,或者如果您只是一次性使用。

打开大文本和 CSV 文件的最佳方式是什么?

在这个大数据时代,遇到千兆字节的文本文件并不罕见,甚至使用记事本或 MS Excel 等内置工具都很难查看。为了能够打开如此大的 CSV 文件,您需要下载并使用第三方应用程序。

如果您只想查看此类文件,那么大文本文件查看器是您的最佳选择。要实际编辑它们,您可以尝试使用功能丰富的文本编辑器(例如 Emacs),或者使用高级工具(例如 CSV Explorer)。

分割 CSV 文件或将其导入数据库等技术涉及太多步骤。如果您发现自己经常使用巨大的文本文件,那么您最好获得专用高级工具的付费许可证。

.

相关文章:


24.10.2021