Logparser 输出到 SQL 生成空字符串和最大值整数
Logparser output to SQL producing empty strings and max value integers
我有一个 logparser 查询,它在 运行 屏幕或 CSV 文件时生成正确的输出,但是当我将它发送到 SQL(在本例中为 MySQL)时,数据搞砸了。时间戳是正确的,但字符串显示为空(不是空,只是空),整数列显示为它们的最大值(在本例中为 medium int = 8388607)。
这是table:
CREATE TABLE `penetration`
(
`id` INT(10) NOT NULL AUTO_INCREMENT,
`timestamp` DATETIME NULL DEFAULT NULL,
`campaign` VARCHAR(10) NULL DEFAULT NULL,
`build_date` DATE NULL DEFAULT NULL,
`results` MEDIUMINT(8) NULL DEFAULT NULL,
`p1` MEDIUMINT(8) NULL DEFAULT NULL,
`p2` MEDIUMINT(8) NULL DEFAULT NULL,
`p3` MEDIUMINT(8) NULL DEFAULT NULL,
`p4` MEDIUMINT(8) NULL DEFAULT NULL,
`p5` MEDIUMINT(8) NULL DEFAULT NULL,
`p6` MEDIUMINT(8) NULL DEFAULT NULL,
`p7` MEDIUMINT(8) NULL DEFAULT NULL,
`p8` MEDIUMINT(8) NULL DEFAULT NULL,
`p9` MEDIUMINT(8) NULL DEFAULT NULL,
`p10` MEDIUMINT(8) NULL DEFAULT NULL,
`p26` MEDIUMINT(8) NULL DEFAULT NULL,
`accounts` MEDIUMINT(8) NULL DEFAULT NULL,
`logon` VARCHAR(10) NULL DEFAULT NULL,
`client` VARCHAR(2) NULL DEFAULT NULL,
`facility` VARCHAR(3) NULL DEFAULT NULL,
`type` VARCHAR(2) NULL DEFAULT NULL,
INDEX `id` (`id`)
)
COLLATE='utf8_general_ci'
ENGINE=MyISAM
AUTO_INCREMENT=1668
;
来自命令行的工作查询(空值在那里提炼问题的本质以进行故障排除):
"SELECT NULL, timestamp, TRIM(campaign) AS campaign, TO_DATE(timestamp) AS build_date, TO_INT(results) AS results, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL FROM penetration.tsv"
屏幕输出(正确)如下所示——请注意活动和结果列具有正确的数据):
<NULL> 2015-11-16 23:30:14 BLUCCHM1 2015-11-16 219 <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL>
<NULL> 2015-11-16 23:30:14 BLUCUCH1 2015-11-16 1330 <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL>
当我执行此操作时,试图将数据推送到数据库 table,我使用此查询:
logparser -i:TSV -o:SQL -dsn:directorDSN32 -database:[dbname] -username:[username] -password:[password] -driver:"MySQL ODBC 5.1 Driver" -server:[ip address] "SELECT NULL, timestamp, TRIM(campaign) AS campaign, TO_DATE(timestamp) AS build_date, TO_INT(results) AS results, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL FROM penetration.tsv TO penetration"
查询成功运行,但 table 最终看起来像这样,请注意时间戳是正确的,campaign 列为空,结果列具有 mediumint 的最大值:
Penetration table image
我是新手,所以无法嵌入图像,但 table 输出如下所示:
id timestamp campaign build_date results ...
1 2015-09-16 17:06:09 2015-09-16 8,338,607 (NULL)
2 2015-09-16 17:06:09 2015-09-16 8,338,607 (NULL)
提前感谢您提供的任何帮助。我想解决方案很简单,但我一直在疯狂地试图找出答案。
正如 Gabriele 在评论中所建议的那样,通过将列类型从 medium int 更改为 integer,解决了整数问题。
字符串问题原来是 MySQL ODBC 5.1 驱动程序的问题。根据 official report,这是一个 "non-bug",但其他几个人也体验过,实际上当我切换到使用 3.51 驱动程序时查询开始工作。
我有一个 logparser 查询,它在 运行 屏幕或 CSV 文件时生成正确的输出,但是当我将它发送到 SQL(在本例中为 MySQL)时,数据搞砸了。时间戳是正确的,但字符串显示为空(不是空,只是空),整数列显示为它们的最大值(在本例中为 medium int = 8388607)。
这是table:
CREATE TABLE `penetration`
(
`id` INT(10) NOT NULL AUTO_INCREMENT,
`timestamp` DATETIME NULL DEFAULT NULL,
`campaign` VARCHAR(10) NULL DEFAULT NULL,
`build_date` DATE NULL DEFAULT NULL,
`results` MEDIUMINT(8) NULL DEFAULT NULL,
`p1` MEDIUMINT(8) NULL DEFAULT NULL,
`p2` MEDIUMINT(8) NULL DEFAULT NULL,
`p3` MEDIUMINT(8) NULL DEFAULT NULL,
`p4` MEDIUMINT(8) NULL DEFAULT NULL,
`p5` MEDIUMINT(8) NULL DEFAULT NULL,
`p6` MEDIUMINT(8) NULL DEFAULT NULL,
`p7` MEDIUMINT(8) NULL DEFAULT NULL,
`p8` MEDIUMINT(8) NULL DEFAULT NULL,
`p9` MEDIUMINT(8) NULL DEFAULT NULL,
`p10` MEDIUMINT(8) NULL DEFAULT NULL,
`p26` MEDIUMINT(8) NULL DEFAULT NULL,
`accounts` MEDIUMINT(8) NULL DEFAULT NULL,
`logon` VARCHAR(10) NULL DEFAULT NULL,
`client` VARCHAR(2) NULL DEFAULT NULL,
`facility` VARCHAR(3) NULL DEFAULT NULL,
`type` VARCHAR(2) NULL DEFAULT NULL,
INDEX `id` (`id`)
)
COLLATE='utf8_general_ci'
ENGINE=MyISAM
AUTO_INCREMENT=1668
;
来自命令行的工作查询(空值在那里提炼问题的本质以进行故障排除):
"SELECT NULL, timestamp, TRIM(campaign) AS campaign, TO_DATE(timestamp) AS build_date, TO_INT(results) AS results, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL FROM penetration.tsv"
屏幕输出(正确)如下所示——请注意活动和结果列具有正确的数据):
<NULL> 2015-11-16 23:30:14 BLUCCHM1 2015-11-16 219 <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL>
<NULL> 2015-11-16 23:30:14 BLUCUCH1 2015-11-16 1330 <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL> <NULL>
当我执行此操作时,试图将数据推送到数据库 table,我使用此查询:
logparser -i:TSV -o:SQL -dsn:directorDSN32 -database:[dbname] -username:[username] -password:[password] -driver:"MySQL ODBC 5.1 Driver" -server:[ip address] "SELECT NULL, timestamp, TRIM(campaign) AS campaign, TO_DATE(timestamp) AS build_date, TO_INT(results) AS results, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL FROM penetration.tsv TO penetration"
查询成功运行,但 table 最终看起来像这样,请注意时间戳是正确的,campaign 列为空,结果列具有 mediumint 的最大值:
Penetration table image
我是新手,所以无法嵌入图像,但 table 输出如下所示:
id timestamp campaign build_date results ...
1 2015-09-16 17:06:09 2015-09-16 8,338,607 (NULL)
2 2015-09-16 17:06:09 2015-09-16 8,338,607 (NULL)
提前感谢您提供的任何帮助。我想解决方案很简单,但我一直在疯狂地试图找出答案。
正如 Gabriele 在评论中所建议的那样,通过将列类型从 medium int 更改为 integer,解决了整数问题。
字符串问题原来是 MySQL ODBC 5.1 驱动程序的问题。根据 official report,这是一个 "non-bug",但其他几个人也体验过,实际上当我切换到使用 3.51 驱动程序时查询开始工作。