PIG LATIN 脚本中的过滤列从空单元格的其他列中插入数据

Question

好的，我已经为此完成了所有谷歌搜索和文档阅读，但仍然找不到解决方案。

我正在从这里下载导出的 CSV 文件：Traffic Crashes Chicago

我写了一个 PIG 脚本，它会过滤掉我不需要的列，以便输出只包含所需的列。我遇到的问题是，当我使用 (FOREACH GENERATE) PIG 时，如果该字段为空，PIG 将从上一列获取数据并将其插入到以下字段中。

我不想过滤掉空值，因为我需要此数据集中的每一行。我怎样才能防止 PIG 插入不正确的数据，或者如果 PIG 遇到空值而不是从以前的列中插入内容，有没有办法插入“”？

简单解释一下：

我正在为 foreach 创建某种模式（'alias' 为 'alias'），因为如果我不这样做，输出将删除空值上的逗号，而 table 将搞砸了，因为我要把它导入 SQL 服务器，我需要所有 PK 和 FK 都存在才能匹配其他 tables.

我使用 DISTINCT 是为了将输出保存到一个文件中，否则输出将分散到多个文件中。

这是我在运行脚本之后得到的输出：

Output of PIG script

这是我的 PIG 脚本：

A = LOAD 'Traffic_Crashes.csv' 
USING PigStorage (',') 
AS (RD_NO: chararray, CRASH_DATE_EST_I: chararray, CRASH_DATE: chararray, POSTED_SPEED_LIMIT: chararray, TRAFFIC_CONTROL_DEVICE: chararray, DEVICE_CONDITION: chararray, WEATHER_CONDITION: chararray, LIGHTING_CONDITION: chararray, FIRST_CRASH_TYPE: chararray, TRAFFICWAY_TYPE: chararray, LANE_CNT: chararray, ALIGNMENT: chararray, ROADWAY_SURFACE_COND: chararray, ROAD_DEFECT: chararray, REPORT_TYPE: chararray, CRASH_TYPE: chararray, INTERSECTION_RELATED_I: chararray, NOT_RIGHT_OF_WAY_I: chararray, HIT_AND_RUN_I: chararray, DAMAGE: chararray, DATE_POLICE_IFIED: chararray, PRIM_CONTRIBUTORY_CAUSE: chararray, SEC_CONTRIBUTORY_CAUSE: chararray, STREET_NO: chararray, STREET_DIRECTION: chararray, STREET_NAME: chararray, BEAT_OF_OCCURRENCE: chararray, PHOTOS_TAKEN_I: chararray, STATEMENTS_TAKEN_I: chararray, DOORING_I: chararray, WORK_ZONE_I: chararray, WORK_ZONE_TYPE: chararray, WORKERS_PRESENT_I: chararray, NUM_UNITS: chararray, MOST_SEVERE_INJURY: chararray, INJURIES_TOTAL: chararray, INJURIES_FATAL: chararray, INJURIES_INCAPACITATING: chararray, INJURIES_NON_INCAPACITATING: chararray, INJURIES_REPORTED__EVIDENT: chararray, INJURIES_NO_INDICATION: chararray, INJURIES_UNKNOWN: chararray, CRASH_HOUR: chararray, CRASH_DAY_OF_WEEK: chararray, CRASH_MONTH: chararray, LATITUDE: chararray, LONGITUDE: chararray, LOCATION: chararray);

B = FOREACH A GENERATE RD_NO as RD_NO, CRASH_DATE as CRASH_DATE, PRIM_CONTRIBUTORY_CAUSE as PRIM_CONTRIBUTORY_CAUSE, MOST_SEVERE_INJURY AS MOST_SEVERE_INJURY;

C = DISTINCT D;

STORE C INTO 'crashFilter_Output/' USING PigStorage (',');

感谢所有阅读本文的人，我对此非常陌生，这是一个学校项目。

Answer 1

请尝试使用 CSVLoader。

DEFINE CSVLoader org.apache.pig.piggybank.storage.CSVLoader();
A = LOAD 'Traffic_Crashes.csv' USING CSVLoader() AS (RD_NO: char ...

这里的问题是 PigStorage 不识别带引号的字符串。像

这样的字段

"OVER ,500"

在 PigStorage 中被视为两个字段，因此导致输出发生意外变化。

PIG LATIN 脚本中的过滤列从空单元格的其他列中插入数据

Filtering columns on PIG LATIN script inserts data from other columns on cells that are null

sql-server

apache-pig