如何防止gitlab ci 每次都下载sbt？
how to prevent gitlab ci from downloading sbt every time?
我们有一个 play2/scala 应用程序，我们正在使用 gitlab ci 构建它。
我们的.gitlab-ci.yml（至少重要的部分）如下所示：
image: hseeberger/scala-sbt
variables:
SBT_GLOBAL_BASE_DIR: "$CI_PROJECT_DIR/cache/.sbt"
IVY2_CACHE_DIR: "$CI_PROJECT_DIR/cache/.ivy2"
SBT_BOOT_DIR: "$CI_PROJECT_DIR/cache/.sbt/boot"
M2_HOME_DIR: "$CI_PROJECT_DIR/cache/.m2"
before_script:
# Log the sbt version
- sbt sbt-version
build:
stage: build
script:
- ./build.sh
与 build.sh:
sbt -Dsbt.global.base=$SBT_GLOBAL_BASE_DIR \
-Dsbt.ivy.home=$IVY2_CACHE_DIR \
-Dsbt.boot.directory=$SBT_BOOT_DIR \
compile
不幸的是，我们的管道在所有步骤（构建、验证、部署）中总是运行大约 30-40 分钟。大部分时间它花在一遍又一遍地下载 sbt 什么是真的烦人。
我可能对gitlab ci runners了解不够，但据我了解，通过使用hseeberger/scala-sbt作为图像，sbt应该是全球可用的，应该不需要下载它.
然后 this 来自 gitlab 的解决方案也不是必需的。
无论如何，只要服务器运行任何 sbt 命令，如果 sbt 在每次部署期间不会被下载总共 6 次，我会很高兴。
有人可以向我解释如何以正确的方式使用正确的 image 或 image 或者我如何缓存 sbt 内容吗？
更新
在过去的几天里，我与 docker 和 gitlab ci 打了很多仗。我发现这个问题与 don't downloading the internet 中描述的几乎相同。似乎拥有所有依赖项cies 是一项艰巨的任务，最好通过安装它们来完成。不幸的是，这在共享的 gitlab ci runner 上是不可能的。
我继续前进并发现 sbt-docker which allows you to build docker containers from a build.sbt file. With the package basic approach I tried to include all the locally available dependencies for the project into the container as global sbt plugins。但这也没有帮助。
我最后的发现是这个关于 maven solution 的答案，并试图将其转化为我们的 sbt 项目：
.gitlab-ci.yml
image: hseeberger/scala-sbt
variables:
MAVEN_OPTS: -Dmaven.repo.local=/cache/maven.repository
stages:
- build
- test
- staging
- deploy
build:
stage: build
script:
- sbt compile -Dsbt.ivy.home=/cache/.ivy2 -Dsbt.global.base=/cache/.sbt/0.13 -Dsbt.boot.directory=/cache/.sbt/boot -Dsbt.repository.config=/cache/.sbt/repositories
我可以再次访问 gitlab ci 日志。它们基本上如下所示：
[info] Loading project definition from /builds/kwiqjobs/backend/project
[info] Updating {file:/builds/kwiqjobs/backend/project/}backend-build...
[info] Resolving com.typesafe.play#sbt-plugin;2.5.4 ...
[info] Resolving com.typesafe.play#sbt-plugin;2.5.4 ...
[info] Resolving com.typesafe.play#sbt-routes-compiler_2.10;2.5.4 ...
[info] Resolving com.typesafe.play#sbt-routes-compiler_2.10;2.5.4 ...
[info] Resolving org.scala-lang#scala-library;2.10.6 ...
[info] Resolving com.typesafe.play#twirl-api_2.10;1.1.1 ...
[info] Resolving com.typesafe.play#twirl-api_2.10;1.1.1 ...
... a **lot** more
[info] [SUCCESSFUL ] com.typesafe.sbt#sbt-twirl;1.1.1!sbt-twirl.jar (1033ms)
[info] downloading https://repo.scala-sbt.org/scalasbt/sbt-plugin-releases/com.typesafe.sbt/sbt-native-packager/scala_2.10/sbt_0.13/1.0.3/jars/sbt-native-packager.jar ...
[info] [SUCCESSFUL ] com.typesafe.sbt#sbt-native-packager;1.0.3!sbt-native-packager.jar (954ms)
[info] downloading https://repo.scala-sbt.org/scalasbt/sbt-plugin-releases/com.typesafe.sbt/sbt-web/scala_2.10/sbt_0.13/1.3.0/jars/sbt-web.jar ...
[info] [SUCCESSFUL ] com.typesafe.sbt#sbt-web;1.3.0!sbt-web.jar (1010ms)
[info] downloading https://repo.scala-sbt.org/scalasbt/sbt-plugin-releases/com.typesafe.sbt/sbt-js-engine/scala_2.10/sbt_0.13/1.1.3/jars/sbt-js-engine.jar ...
[info] [SUCCESSFUL ] com.typesafe.sbt#sbt-js-engine;1.1.3!sbt-js-engine.jar (1147ms)
[info] downloading https://repo1.maven.org/maven2/com/typesafe/play/twirl-api_2.10/1.1.1/twirl-api_2.10-1.1.1.jar ...
[info] [SUCCESSFUL ] com.typesafe.play#twirl-api_2.10;1.1.1!twirl-api_2.10.jar (89ms)
[info] downloading https://repo1.maven.org/maven2/commons-io/commons-io/2.4/commons-io-2.4.jar ...
[info] [SUCCESSFUL ] commons-io#commons-io;2.4!commons-io.jar (48ms)
a **lot** more
[info] Done updating.
[info] Compiling 228 Scala sources and 4 Java sources to /builds/kwiqjobs/backend/target/scala-2.11/classes...
[info] 'compiler-interface' not yet compiled for Scala 2.11.8. Compiling...
[info] Compilation completed in 17.735 s
[success] Total time: 149 s, completed Jan 20, 2017 2:22:52 PM
Build succeeded
而且我想摆脱所有 下载。
您可以做 4 件事：
- 拥有 docker 图片
- 缓存
- 文物
- 使用自己的缓存解决方案
最好的解决方案是将它们结合起来。
- 您可以使用所需的所有依赖项构建自己的 docker 映像，这是最快的解决方案，因为它不必下载所有内容，但它会引入另一个您需要注意的难题的。您可以使用
for storing it and have gitlab build it and then use it.
- 您可以在 Gitlab CI 作业中使用 cache，这样它就不必一直下载所有内容。 sbt 的默认缓存似乎是 ~/.ivy2 所以添加
cache:
paths:
- ~/.ivy2/
作为 gitlab 文件中的第一行，为每个阶段使用缓存。
- 将目标目录定义为 artifact 以在构建之间传递它，这样您就不必在每个阶段都构建它。
artifacts:
paths:
- target/
- 如果gitlab提供的选项不够用，你可以将需要缓存的文件存储在自己的s3/minio/nfs中。这将是一个非常定制的解决方案，因此您必须找到自己的解决方法。
如果您不想使用自定义图像，最好的解决方案是使用 Gitlab CI 的 caching mechanism。
做对有点难，但是 this blog post 描述了如何做 SBT。
示例.gitlab-ci.yml
转自博客post，小错误自行更正：
# some parts originally from https://github.com/randm-ch/units-of-information/blob/master/.gitlab-ci.yml
image: "hseeberger/scala-sbt"
variables:
SBT_VERSION: "0.13.9"
SBT_OPTS: "-Dsbt.global.base=sbt-cache/.sbtboot -Dsbt.boot.directory=sbt-cache/.boot -Dsbt.ivy.home=sbt-cache/.ivy"
cache:
key: "$CI_BUILD_REF_NAME" # contains either the branch or the tag, so it's caching per branch
untracked: true
paths:
- "sbt-cache/.ivy/cache"
- "sbt-cache/.boot"
- "sbt-cache/.sbtboot"
- "sbt-cache/target"
stages:
- test
test:
script:
- sbt test
第二个例子，也包括apt-get缓存
这是我在我的项目中使用的，可用于更一般的用例和 Docker 图片：
image: java:8
stages:
- test
variables:
SBT_VERSION: "0.13.9"
SBT_OPTS: "-Dsbt.global.base=sbt-cache/.sbtboot -Dsbt.boot.directory=sbt-cache/.boot -Dsbt.ivy.home=sbt-cache/.ivy"
SBT_CACHE_DIR: "sbt-cache/.ivy/cache"
cache:
key: "$CI_BUILD_REF_NAME" # contains either the branch or the tag, so it's caching per branch
untracked: true
paths:
- "apt-cache/"
- "sbt-cache/.ivy/cache"
- "sbt-cache/.boot"
- "sbt-cache/.sbtboot"
- "sbt-cache/target"
before_script:
- export APT_CACHE_DIR=`pwd`/apt-cache
- mkdir -pv $APT_CACHE_DIR
- ls $APT_CACHE_DIR || echo "no apt-cache dir found"
- apt-get -o dir::cache::archives=$APT_CACHE_DIR update -y
- apt-get -o dir::cache::archives=$APT_CACHE_DIR install apt-transport-https -y
# Install SBT
- mkdir -pv $SBT_CACHE_DIR
- ls $SBT_CACHE_DIR || echo "no ivy2 cache fir found"
- echo "deb http://dl.bintray.com/sbt/debian /" | tee -a /etc/apt/sources.list.d/sbt.list
- apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 642AC823
- apt-get -o dir::cache::archives=$APT_CACHE_DIR update -y
- apt-get -o dir::cache::archives=$APT_CACHE_DIR install sbt -y
- sbt -v sbtVersion
test:
stage: test
script:
- sbt -v sbtVersion
我们有一个 play2/scala 应用程序，我们正在使用 gitlab ci 构建它。
我们的.gitlab-ci.yml（至少重要的部分）如下所示：
image: hseeberger/scala-sbt
variables:
SBT_GLOBAL_BASE_DIR: "$CI_PROJECT_DIR/cache/.sbt"
IVY2_CACHE_DIR: "$CI_PROJECT_DIR/cache/.ivy2"
SBT_BOOT_DIR: "$CI_PROJECT_DIR/cache/.sbt/boot"
M2_HOME_DIR: "$CI_PROJECT_DIR/cache/.m2"
before_script:
# Log the sbt version
- sbt sbt-version
build:
stage: build
script:
- ./build.sh
与 build.sh:
sbt -Dsbt.global.base=$SBT_GLOBAL_BASE_DIR \
-Dsbt.ivy.home=$IVY2_CACHE_DIR \
-Dsbt.boot.directory=$SBT_BOOT_DIR \
compile
不幸的是，我们的管道在所有步骤（构建、验证、部署）中总是运行大约 30-40 分钟。大部分时间它花在一遍又一遍地下载 sbt 什么是真的烦人。
我可能对gitlab ci runners了解不够，但据我了解，通过使用hseeberger/scala-sbt作为图像，sbt应该是全球可用的，应该不需要下载它.
然后 this 来自 gitlab 的解决方案也不是必需的。
无论如何，只要服务器运行任何 sbt 命令，如果 sbt 在每次部署期间不会被下载总共 6 次，我会很高兴。
有人可以向我解释如何以正确的方式使用正确的 image 或 image 或者我如何缓存 sbt 内容吗？
更新
在过去的几天里，我与 docker 和 gitlab ci 打了很多仗。我发现这个问题与 don't downloading the internet 中描述的几乎相同。似乎拥有所有依赖项cies 是一项艰巨的任务，最好通过安装它们来完成。不幸的是，这在共享的 gitlab ci runner 上是不可能的。
我继续前进并发现 sbt-docker which allows you to build docker containers from a build.sbt file. With the package basic approach I tried to include all the locally available dependencies for the project into the container as global sbt plugins。但这也没有帮助。
我最后的发现是这个关于 maven solution 的答案，并试图将其转化为我们的 sbt 项目：
.gitlab-ci.yml
image: hseeberger/scala-sbt
variables:
MAVEN_OPTS: -Dmaven.repo.local=/cache/maven.repository
stages:
- build
- test
- staging
- deploy
build:
stage: build
script:
- sbt compile -Dsbt.ivy.home=/cache/.ivy2 -Dsbt.global.base=/cache/.sbt/0.13 -Dsbt.boot.directory=/cache/.sbt/boot -Dsbt.repository.config=/cache/.sbt/repositories
我可以再次访问 gitlab ci 日志。它们基本上如下所示：
[info] Loading project definition from /builds/kwiqjobs/backend/project
[info] Updating {file:/builds/kwiqjobs/backend/project/}backend-build...
[info] Resolving com.typesafe.play#sbt-plugin;2.5.4 ...
[info] Resolving com.typesafe.play#sbt-plugin;2.5.4 ...
[info] Resolving com.typesafe.play#sbt-routes-compiler_2.10;2.5.4 ...
[info] Resolving com.typesafe.play#sbt-routes-compiler_2.10;2.5.4 ...
[info] Resolving org.scala-lang#scala-library;2.10.6 ...
[info] Resolving com.typesafe.play#twirl-api_2.10;1.1.1 ...
[info] Resolving com.typesafe.play#twirl-api_2.10;1.1.1 ...
... a **lot** more
[info] [SUCCESSFUL ] com.typesafe.sbt#sbt-twirl;1.1.1!sbt-twirl.jar (1033ms)
[info] downloading https://repo.scala-sbt.org/scalasbt/sbt-plugin-releases/com.typesafe.sbt/sbt-native-packager/scala_2.10/sbt_0.13/1.0.3/jars/sbt-native-packager.jar ...
[info] [SUCCESSFUL ] com.typesafe.sbt#sbt-native-packager;1.0.3!sbt-native-packager.jar (954ms)
[info] downloading https://repo.scala-sbt.org/scalasbt/sbt-plugin-releases/com.typesafe.sbt/sbt-web/scala_2.10/sbt_0.13/1.3.0/jars/sbt-web.jar ...
[info] [SUCCESSFUL ] com.typesafe.sbt#sbt-web;1.3.0!sbt-web.jar (1010ms)
[info] downloading https://repo.scala-sbt.org/scalasbt/sbt-plugin-releases/com.typesafe.sbt/sbt-js-engine/scala_2.10/sbt_0.13/1.1.3/jars/sbt-js-engine.jar ...
[info] [SUCCESSFUL ] com.typesafe.sbt#sbt-js-engine;1.1.3!sbt-js-engine.jar (1147ms)
[info] downloading https://repo1.maven.org/maven2/com/typesafe/play/twirl-api_2.10/1.1.1/twirl-api_2.10-1.1.1.jar ...
[info] [SUCCESSFUL ] com.typesafe.play#twirl-api_2.10;1.1.1!twirl-api_2.10.jar (89ms)
[info] downloading https://repo1.maven.org/maven2/commons-io/commons-io/2.4/commons-io-2.4.jar ...
[info] [SUCCESSFUL ] commons-io#commons-io;2.4!commons-io.jar (48ms)
a **lot** more
[info] Done updating.
[info] Compiling 228 Scala sources and 4 Java sources to /builds/kwiqjobs/backend/target/scala-2.11/classes...
[info] 'compiler-interface' not yet compiled for Scala 2.11.8. Compiling...
[info] Compilation completed in 17.735 s
[success] Total time: 149 s, completed Jan 20, 2017 2:22:52 PM
Build succeeded
而且我想摆脱所有 下载。
您可以做 4 件事：
- 拥有 docker 图片
- 缓存
- 文物
- 使用自己的缓存解决方案
最好的解决方案是将它们结合起来。
- 您可以使用所需的所有依赖项构建自己的 docker 映像，这是最快的解决方案，因为它不必下载所有内容，但它会引入另一个您需要注意的难题的。您可以使用
- 您可以在 Gitlab CI 作业中使用 cache，这样它就不必一直下载所有内容。 sbt 的默认缓存似乎是 ~/.ivy2 所以添加
cache: paths: - ~/.ivy2/
作为 gitlab 文件中的第一行，为每个阶段使用缓存。
- 将目标目录定义为 artifact 以在构建之间传递它，这样您就不必在每个阶段都构建它。
artifacts: paths: - target/
- 如果gitlab提供的选项不够用，你可以将需要缓存的文件存储在自己的s3/minio/nfs中。这将是一个非常定制的解决方案，因此您必须找到自己的解决方法。
如果您不想使用自定义图像，最好的解决方案是使用 Gitlab CI 的 caching mechanism。
做对有点难，但是 this blog post 描述了如何做 SBT。
示例.gitlab-ci.yml
转自博客post，小错误自行更正：
# some parts originally from https://github.com/randm-ch/units-of-information/blob/master/.gitlab-ci.yml
image: "hseeberger/scala-sbt"
variables:
SBT_VERSION: "0.13.9"
SBT_OPTS: "-Dsbt.global.base=sbt-cache/.sbtboot -Dsbt.boot.directory=sbt-cache/.boot -Dsbt.ivy.home=sbt-cache/.ivy"
cache:
key: "$CI_BUILD_REF_NAME" # contains either the branch or the tag, so it's caching per branch
untracked: true
paths:
- "sbt-cache/.ivy/cache"
- "sbt-cache/.boot"
- "sbt-cache/.sbtboot"
- "sbt-cache/target"
stages:
- test
test:
script:
- sbt test
第二个例子，也包括apt-get缓存
这是我在我的项目中使用的，可用于更一般的用例和 Docker 图片：
image: java:8
stages:
- test
variables:
SBT_VERSION: "0.13.9"
SBT_OPTS: "-Dsbt.global.base=sbt-cache/.sbtboot -Dsbt.boot.directory=sbt-cache/.boot -Dsbt.ivy.home=sbt-cache/.ivy"
SBT_CACHE_DIR: "sbt-cache/.ivy/cache"
cache:
key: "$CI_BUILD_REF_NAME" # contains either the branch or the tag, so it's caching per branch
untracked: true
paths:
- "apt-cache/"
- "sbt-cache/.ivy/cache"
- "sbt-cache/.boot"
- "sbt-cache/.sbtboot"
- "sbt-cache/target"
before_script:
- export APT_CACHE_DIR=`pwd`/apt-cache
- mkdir -pv $APT_CACHE_DIR
- ls $APT_CACHE_DIR || echo "no apt-cache dir found"
- apt-get -o dir::cache::archives=$APT_CACHE_DIR update -y
- apt-get -o dir::cache::archives=$APT_CACHE_DIR install apt-transport-https -y
# Install SBT
- mkdir -pv $SBT_CACHE_DIR
- ls $SBT_CACHE_DIR || echo "no ivy2 cache fir found"
- echo "deb http://dl.bintray.com/sbt/debian /" | tee -a /etc/apt/sources.list.d/sbt.list
- apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 642AC823
- apt-get -o dir::cache::archives=$APT_CACHE_DIR update -y
- apt-get -o dir::cache::archives=$APT_CACHE_DIR install sbt -y
- sbt -v sbtVersion
test:
stage: test
script:
- sbt -v sbtVersion