运行 在 Vertica 中复制时遇到连接问题
Facing connection issue while running copy in Vertica
当我 运行 我的 COPY 脚本时,出现以下错误:
无法报错 server:Connection I/O error
这不仅是失败,而且节点也随之宕机。
有没有人遇到过这样的问题?
在我的副本中,我使用 Fjsonparser。
相同的脚本 运行 直到今天都很好,今天我一直重新运行 3 次查询失败并且节点关闭。会不会有任何数据问题?如果是,我应该在我试图复制的 json 中特别寻找什么。
感谢您的解释,我现在可以提出一个补救措施:
通过使用 flex table 和 :
CREATE FLEX TABLE my_flex_test();
COPY my_flex_test FROM '/your/data/directory/your_small_sample_file.json'
PARSER fjsonparser(<your_original_parameters>);
这将创建一个两列 table:
CREATE TABLE my_flex_test (
__identity__ BIGINT NOT NULL
, __raw__ LONGVARBINARY(130000) NOT NULL
)
;
现在,您可以让 Vertica 猜测类型和大小:
SELECT COMPUTE_FLEXTABLE_KEYS('my_flex_test');
然后(这是我的一个很小的例子):
SELECT * FROM my_flex_test_keys;
key_name | frequency | data_type_guess
----------+-----------+-----------------
recordid | 2 | Varchar(40)
fare | 2 | Numeric(6,3)
使用 data_type_guess
建议修改您的 table 列。
当我 运行 我的 COPY 脚本时,出现以下错误: 无法报错 server:Connection I/O error
这不仅是失败,而且节点也随之宕机。
有没有人遇到过这样的问题? 在我的副本中,我使用 Fjsonparser。 相同的脚本 运行 直到今天都很好,今天我一直重新运行 3 次查询失败并且节点关闭。会不会有任何数据问题?如果是,我应该在我试图复制的 json 中特别寻找什么。
感谢您的解释,我现在可以提出一个补救措施:
通过使用 flex table 和 :
CREATE FLEX TABLE my_flex_test();
COPY my_flex_test FROM '/your/data/directory/your_small_sample_file.json'
PARSER fjsonparser(<your_original_parameters>);
这将创建一个两列 table:
CREATE TABLE my_flex_test (
__identity__ BIGINT NOT NULL
, __raw__ LONGVARBINARY(130000) NOT NULL
)
;
现在,您可以让 Vertica 猜测类型和大小:
SELECT COMPUTE_FLEXTABLE_KEYS('my_flex_test');
然后(这是我的一个很小的例子):
SELECT * FROM my_flex_test_keys;
key_name | frequency | data_type_guess
----------+-----------+-----------------
recordid | 2 | Varchar(40)
fare | 2 | Numeric(6,3)
使用 data_type_guess
建议修改您的 table 列。