gitlab 8.2.1，如何在.gitlab中使用缓存-ci.yml

Question

我正在尝试在 .gitlab-ci.yml (http://doc.gitlab.com/ce/ci/yaml/README.html#cache) 中使用 'cache'。我的 gitlab 版本是 8.2.1，我的 Runner 是：

$ docker exec -it gitlab-runner gitlab-runner -v 
gitlab-runner version 0.7.2 (998cf5d)

所以根据文档，一切都是最新的，但我无法使用缓存 ;-(。我的所有文件总是被删除。我做错了什么吗？

已创建缓存存档，但不会传递给下一个作业。

这是我的.gitlab-ci.yml

$ cat .gitlab-ci.yml
    stages:
    - createcache
    - testcache

    createcache:
      type: createcache
      cache:
        untracked: true
        paths:
          - doc/
      script:
        - touch doc/cache.txt

    testcache:
      type: testcache
      cache:
        untracked: true
        paths:
          - doc/
      script:
        - find .
        - ls doc/cache.txt

作业输出'createcache'

Running on runner-141d90d4-project-2-concurrent-0 via 849d416b5994...
Fetching changes...
HEAD is now at 2ffbadb MUST BE REVERTED
[...]
$ touch doc/cache.txt
[...]
Archiving cache...
INFO[0000] Creating archive cache.tgz ...              
INFO[0000] Done!                                        

Build succeeded.

作业输出'testcache'

Running on runner-141d90d4-project-2-concurrent-0 via 849d416b5994...
Fetching changes...
Removing doc/cache.txt
[...]
$ ls doc/cache.txt
ls: cannot access doc/cache.txt: No such file or directory

ERROR: Build failed with: exit code 1

我的解决方法

我的解决方法是手动解压 /cache 目录中的内容...我很确定这不是使用缓存的正确方法...

$ cat .gitlab-ci.yml
    stages:
    - build
    - test
    - deploy

    image: ubuntu:latest

    before_script:
      - export CACHE_FILE=`echo ${CI_PROJECT_DIR}/createcache/${CI_BUILD_REF_NAME}/cache.tgz | sed -e "s|/builds|/cache|"`

    createcache:
      type: build
      cache:
        untracked: true
        paths:
          - doc/
      script:
        - find . | grep -v ".git"
        - mkdir -p doc
        - touch doc/cache.txt

    testcache:
      type: test
      script:
        - env
        - find . | grep -v ".git"
        - tar xvzf ${CACHE_FILE}
        - ls doc/cache.txt

Answer 1

8.2只支持per-job缓存，8.3会引入"group"缓存，根据@ayufan's comment in Possibility to cache folders in build directory (#97).

服务于job之间

然而，虽然我不能 100% 确定，但通过快速挖掘 gitlab-ci-muti-runner 的源代码，docker 执行器似乎不适用于缓存功能。由于在每个作业中都会创建和销毁一个全新的容器，因此 cache.tgz 存档将不再存在于下一个构建中。

勘误表：

以上描述不正确 由于在错误配置的环境中进行测试。默认情况下，gitlab-ci-multi-runner 会创建一个专用的数据卷容器作为每个并发构建的缓存存储。缓存容器安装到应用程序容器中的目录 /cache，那些 cache.tgz tarballs 默认放在 /cache 下。所以缓存实际上可以在独立构建中重复使用。

2015/12/11 更新：

刚刚发现 "group" 缓存已经在 gitlab-runner@7dc9524f6ef0144b3797fc07c9035f38a8ad0512 中实现，可能还没有发布和记录。您可以使用

启用它

cache:
  paths:
    - doc/
  group: sharedcache

结果是一个缓存 tarball 被放置在路径 <namespace>/<repo>/sharedcache/ 下，而不是两个缓存 tarball 被分别放置在路径 <namespace>/<repo>/createcache/ 和 <namespace>/<repo>/testcache/.

下

2017/12/04 更新：

"group" 缓存已替换为 cache:key。使用 key 键在作业或 git 引用之间共享缓存。默认情况下，缓存在所有作业之间共享。因此，只需编写以下内容即可完成工作

cache:
  paths:
    - doc/

查看 GitLab CI cache:key and gitlab-runner@d34f76f86a7c2fc4d399e9922175bcc614434016 了解更多信息。

Answer 2

https://gitlab.com/gitlab-org/gitlab-ci-multi-runner/issues/327

image: java:openjdk-8-jdk

before_script:
    - export GRADLE_USER_HOME=`pwd`/.gradle

cache:
  paths:
    - .gradle/wrapper
    - .gradle/caches

build:
  stage: build
  script:
     - ./gradlew assemble

test:
  stage: test
  script:
     - ./gradlew check

Answer 3

似乎无法使用共享运行器缓存容器本地文件。你必须把你的文件放在例如缓存文件夹：

before_script:
  - export GRADLE_USER_HOME=/cache/.gradle

...

cache:
  paths:
    - $GRADLE_USER_HOME/caches/
    - $GRADLE_USER_HOME/wrapper/
    - $GRADLE_USER_HOME/build-cache/

严格来说，不需要将 /cache 文件夹作为文件放入缓存，因为这是自动发生的，但为了清楚起见，我保留了它（当我想移动 gradle 缓存时）

Answer 4

我们发现，缓存整个 .gradle 文件夹会更好。每个项目只能使用一次。如果 k8s 用于 gitlab-runner，那么你应该关闭守护进程。

gitlab-ci.yaml:

variables:
  GRADLE_OPTS: "-Dorg.gradle.daemon=false" # no gradle-daemon on k8s

# ...

buildJar:
  stage: build
  image: gradle:5.6.4-jdk11
  before_script:
    - export GRADLE_USER_HOME=`pwd`/.gradle
  script:
    - gradle assemble
  cache:
    key: "gradleCache"
    paths:
      - .gradle

gitlab 8.2.1，如何在.gitlab中使用缓存-ci.yml

gitlab 8.2.1, How to use cache in .gitlab-ci.yml

gitlab

gitlab-ci

gitlab-ci-runner

这是我的.gitlab-ci.yml

作业输出'createcache'

作业输出'testcache'

我的解决方法