MySQL 导入大型 csv
MySQL importing large csv
我有一个很大的 CSV 文件，我正试图将其导入 MySQL（大约 45GB，大约 1.5 亿行，大多数列很小，但其中一个具有可变长度的文本，大小可达 KB）。我正在使用 LOAD DATA LOCAL INFILE 尝试导入它，但服务器总是在我的连接完成之前超时。我已经尝试修改全局连接超时变量来解决这个问题，但它已经有几个小时才会超时。有没有其他方法可以导入这么大的数据库，还是我用这种方法做错了什么？
LOAD DATA LOCAL INFILE 'filename.csv' INTO TABLE table CHARACTER SET latin1
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' ESCAPED BY '\'
LINES TERMINATED BY '\r\n';
我正在 Windows 10 上使用 MySQL 命令行执行此命令。我的 MySQL 版本是 8.0.
我过去处理这个问题的方法是编写一个 php 脚本来读取文件并将前 50% 输出到一个新文件中，然后删除这些行。然后执行两次加载文件中的数据，一次用于原始文件，一次用于新文件。
我有一个很大的 CSV 文件，我正试图将其导入 MySQL（大约 45GB，大约 1.5 亿行，大多数列很小，但其中一个具有可变长度的文本，大小可达 KB）。我正在使用 LOAD DATA LOCAL INFILE 尝试导入它，但服务器总是在我的连接完成之前超时。我已经尝试修改全局连接超时变量来解决这个问题，但它已经有几个小时才会超时。有没有其他方法可以导入这么大的数据库，还是我用这种方法做错了什么？
LOAD DATA LOCAL INFILE 'filename.csv' INTO TABLE table CHARACTER SET latin1
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' ESCAPED BY '\'
LINES TERMINATED BY '\r\n';
我正在 Windows 10 上使用 MySQL 命令行执行此命令。我的 MySQL 版本是 8.0.
我过去处理这个问题的方法是编写一个 php 脚本来读取文件并将前 50% 输出到一个新文件中，然后删除这些行。然后执行两次加载文件中的数据，一次用于原始文件，一次用于新文件。