如何使用golang在clickhouse中使用一个命令插入csv文件
How to insert csv file using one command in clickhouse using golang
有没有办法在一个命令中使用此 go 库 https://github.com/ClickHouse/clickhouse-go 插入 csv 文件(无需读取 csv 和遍历内容。)。如果有办法,你能给我举个例子吗?
如果不是,我们如何转换此系统命令并使用 os/exec 库将其写入 golang。
猫 /home/srijan/employee.csv | clickhouse-client --query="插入 test1 格式 CSV"
那个 go 库是不可能的。您可以使用 http api https://clickhouse.com/docs/en/interfaces/http/ 和任何 http go client
例如
package main
import (
"compress/gzip"
"fmt"
"io"
"io/ioutil"
"net/http"
"net/url"
"os"
)
func compress(data io.Reader) io.Reader {
pr, pw := io.Pipe()
gw, err := gzip.NewWriterLevel(pw, int(3))
if err != nil {
panic(err)
}
go func() {
_, _ = io.Copy(gw, data)
gw.Close()
pw.Close()
}()
return pr
}
func main() {
p, err := url.Parse("http://localhost:8123/")
if err != nil {
panic(err)
}
q := p.Query()
q.Set("query", "INSERT INTO test1 FORMAT CSV")
p.RawQuery = q.Encode()
queryUrl := p.String()
var req *http.Request
req, err = http.NewRequest("POST", queryUrl, compress(os.Stdin))
req.Header.Add("Content-Encoding", "gzip")
if err != nil {
panic(err)
}
client := &http.Client{
Transport: &http.Transport{DisableKeepAlives: true},
}
resp, err := client.Do(req)
if err != nil {
panic(err)
}
defer resp.Body.Close()
body, _ := ioutil.ReadAll(resp.Body)
if resp.StatusCode != 200 {
panic(fmt.Errorf("clickhouse response status %d: %s", resp.StatusCode, string(body)))
}
}
有没有办法在一个命令中使用此 go 库 https://github.com/ClickHouse/clickhouse-go 插入 csv 文件(无需读取 csv 和遍历内容。)。如果有办法,你能给我举个例子吗? 如果不是,我们如何转换此系统命令并使用 os/exec 库将其写入 golang。 猫 /home/srijan/employee.csv | clickhouse-client --query="插入 test1 格式 CSV"
那个 go 库是不可能的。您可以使用 http api https://clickhouse.com/docs/en/interfaces/http/ 和任何 http go client
例如
package main
import (
"compress/gzip"
"fmt"
"io"
"io/ioutil"
"net/http"
"net/url"
"os"
)
func compress(data io.Reader) io.Reader {
pr, pw := io.Pipe()
gw, err := gzip.NewWriterLevel(pw, int(3))
if err != nil {
panic(err)
}
go func() {
_, _ = io.Copy(gw, data)
gw.Close()
pw.Close()
}()
return pr
}
func main() {
p, err := url.Parse("http://localhost:8123/")
if err != nil {
panic(err)
}
q := p.Query()
q.Set("query", "INSERT INTO test1 FORMAT CSV")
p.RawQuery = q.Encode()
queryUrl := p.String()
var req *http.Request
req, err = http.NewRequest("POST", queryUrl, compress(os.Stdin))
req.Header.Add("Content-Encoding", "gzip")
if err != nil {
panic(err)
}
client := &http.Client{
Transport: &http.Transport{DisableKeepAlives: true},
}
resp, err := client.Do(req)
if err != nil {
panic(err)
}
defer resp.Body.Close()
body, _ := ioutil.ReadAll(resp.Body)
if resp.StatusCode != 200 {
panic(fmt.Errorf("clickhouse response status %d: %s", resp.StatusCode, string(body)))
}
}