如何在 mysqlsh importTable util 中 skip/dummy 列？

Question

我想明确列出 importTable 中的 columns for LOAD DATA with mysqlsh:

https://dev.mysql.com/doc/mysql-shell/8.0/en/mysql-shell-utilities-parallel-table.html

import.js:

util.importTable("sample.csv", {schema: "myschema", table: "mytable", 
    showProgress: true, columns: ["id","firstname",@dummy,@dummy,"lastname"]});

我的 csv 包含 5 列。但是如果我最后的 table 只包含 id, firstname, lastname，我必须想办法跳过源 csv 的两列，

导入：

mysqlsh --user=root --password='rootpw' --socket=/var/run/mysqld/mysqld.sock < import.js

问题：SyntaxError: Invalid or unexpected token at STDIN:2:347。 @dummy、'@dummy' 和 "@dummy" 都不起作用。

问题：如何跳过虚拟列？使用 LOAD DATA 时，它可以在列选项中使用 @dummy。

Answer 1

tl;博士

从 MySQL Shell 8.0.22 开始，您可以通过将 columns 选项中的列名称替换为整数值来跳过列。

util.importTable("/tmp/names.csv", {
    table:"names",
    columns: ["id", "firstname", 1, 2, "lastname"],
    dialect: "csv-unix"
});

相当于：

LOAD DATA LOCAL INFILE '/tmp/names.csv' INTO TABLE `names`
FIELDS TERMINATED BY ',' ENCLOSED BY '"' ESCAPED BY '\'
LINES TERMINATED BY '\n'
(id, firstname, @1, @2, lastname);

MySQL Shell >= 8.0.22

MySQL Shell 的并行 table 导入实用程序 util.importTable() 自版本 8.0.22 具有新选项 decodeColumns 和增强功能columns 选项，使您能够以与 LOAD DATA 语句相同的方式从导入文件中捕获列以进行输入预处理（或丢弃它们）。 decodeColumns 选项以与 LOAD DATA 语句的 SET 子句相同的方式为捕获的数据指定预处理转换，并将它们分配给目标 table.

中的列

util.importTable column 选项已扩展，现在接受整数作为数组值。作为第 k 个参数传递的整数值，捕获第 k 个列在输入文件中作为名为 @i 的用户变量，其中 i 是传递的整数。

绑定到用户变量的捕获列值可以在decodeColumns中使用在将结果分配给之前预处理和转换数据的选项 table.

中的列

示例 1 - 预处理 column2:

util.importTable('file.txt', {
  table: 't1',
  columns: ['column1', 1],
  decodeColumns: {'column2': '@1 / 100'}
});

相当于：

LOAD DATA LOCAL INFILE 'file.txt'
INTO TABLE `t1` (column1, @var1)
SET `column2` = @var/100;

示例 2 - 跳过列：

util.importTable('file.txt', {
  table: 't1',
  columns: ['column1', 1, 'column2', 2, 'column3']
});

相当于：

LOAD DATA LOCAL INFILE 'file.txt'
INTO TABLE `t1` (column1, @1, column2, @2, column3);

示例 3 - 为列生成值

util.importTable('file.txt', {
  table: 't1',
  columns: [1, 2],
  decodeColumns: {
    'a': '@1',
    'b': '@2',
    'sum': '@1 + @2',
    'mul': '@1 * @2',
    'pow': 'POW(@1, @2)'
  }
});

相当于：

LOAD DATA LOCAL INFILE 'file.txt'
INTO TABLE `t1` (@1, @2)
SET
  `a` = @1,
  `b` = @2,
  `sum` = @1 + @2,
  `mul` = @1 * @2,
  `pow` = POW(@1, @2);

8.0.17 <= MySQL Shell < 8.0.22

不幸的是，目前 MySQL util.importTable Shell 8.0.18 不支持传递给列选项的用户变量。

您可以通过 ALTER TABLE 解决此限制，其中缺失的列存在于具有正确列类型的导入数据文件中：

alter table names add column (dummy1 integer, dummy2 integer);

导入您的数据，例如/tmp/names.csv[1]

util.importTable("/tmp/names.csv", {table:"names", columns: ["id", "firstname", "dummy1", "dummy2", "lastname"], dialect: "csv-unix"})

并删除 dummy 列：

alter table names drop column dummy1;
alter table names drop column dummy2;

或者简单地调用 LOAD DATA LOCAL INFILE SQL 命令：

LOAD DATA LOCAL INFILE '/tmp/sample.csv'
  INTO TABLE myschema.mytable
  (id, firstname, @dummy, @dummy, lastname);

[1] 示例数据 /tmp/names.csv

1,"Nicole",71,29,"Tusk"
2,"Bob",49,66,"Schiffer"
3,"Susan",61,17,"Tusk"
4,"Bob",24,59,"Trump"
5,"Nicole",25,46,"Goldberg"
6,"Bob",16,71,"Goldberg"
7,"Mark",43,43,"Schiffer"

如何在 mysqlsh importTable util 中 skip/dummy 列？

How to skip/dummy columns in mysqlsh importTable util?

mysql

import-table

mysql-8.0

tl;博士

MySQL Shell >= 8.0.22

8.0.17 <= MySQL Shell < 8.0.22