读取受保护 zip 上的 CSV 文件

Question

我有 link 这样的：https://storage.googleapis.com/data/test_file.csv.zip 内容是一个带密码的受保护 zip 上的 csv 文件。如何从 csv 中读取数据？

我已经试过了，但是它出错了

func ReadCSVZIPFromURL(fileURL string) (data [][]string, err error) {
    resp, err := http.Get(fileURL)
    if err != nil {
        return data, errors.AddTrace(err)
    }
    defer resp.Body.Close()

    r, err := zip.OpenReader(resp.Body)
    if err != nil {
        log.Fatal(err)
    }
    defer r.Close()

    for _, file := range r.File {
        if file.IsEncrypted() {
            file.SetPassword("password")
        }
        reader := csv.NewReader(file)

        data, err := reader.ReadAll()
    }

    return data, nil
}

Answer 1

我已经解决了这个问题，这个解决了。这个想法是我们将字节复制到 zip reader，然后我们将获得 ioReader，我们读取 ioReader 使用 csv 库。使用密码加密和解密数据我们使用这个库“github.com/alexmullins/zip”

func GetCSVFromZipURL(ctx context.Context, fileURL, filePassword string) (ioReader io.Reader, err error) {
    span, ctx := tracer.StartSpanFromContext(ctx)
    defer span.Finish()

    resp, err := http.Get(fileURL)
    if err != nil {
        return ioReader, errors.AddTrace(err)
    }
    defer resp.Body.Close()

    buf := &bytes.Buffer{}

    _, err = io.Copy(buf, resp.Body)
    if err != nil {
        return ioReader, errors.AddTrace(err)
    }

    b := bytes.NewReader(buf.Bytes())
    r, err := zip.NewReader(b, int64(b.Len()))
    if err != nil {
        return ioReader, errors.AddTrace(err)
    }

    for _, f := range r.File {
        if f.IsEncrypted() {
            f.SetPassword(filePassword)
        }
        ioReader, err = f.Open()
        if err != nil {
            return ioReader, errors.AddTrace(err)
        }

        return ioReader, nil
    }

    return ioReader, nil
}

func getUserBenefitListFromCSV(ioReader io.Reader) (userBenefitList []UserBenefit, err error) {
    reader := csv.NewReader(ioReader)

    row := 1
    for {
        csvRowsStr, err := reader.Read()
        if err == io.EOF {
            break
        }
        if err != nil {
            return userBenefitList, errors.AddTrace(err)
        }

        // check if 1st row (header), skip
        if row == 1 {
            row++
            continue
        }

        if len(csvRowsStr) > 0 {
            userID, err := strconv.ParseInt(csvRowsStr[0], 10, 64)
            if err != nil {
                return userBenefitList, errors.AddTrace(err)
            }

            catalogID := 0
            if len(csvRowsStr) > 1 {
                catalogID, err = strconv.ParseInt(csvRowsStr[1], 10, 64)
                if err != nil {
                    return userBenefitList, errors.AddTrace(err)
                }
            }

            userBenefitTemp := UserBenefit{
                UserID:    userID,
                CatalogID: catalogID,
            }

            userBenefitList = append(userBenefitList, userBenefitTemp)
        }
    }

    return userBenefitList, nil
}

读取受保护 zip 上的 CSV 文件

Read CSV file on protected zip

csv

passwords

zip

go