使用 docker-compose 的 Cassandra 初始化脚本
Init script for Cassandra with docker-compose
我想在我的 Cassandra 容器的开头创建键空间和列族。
我在 docker-compose.yml
文件中尝试了以下内容:
# shortened for clarity
cassandra:
hostname: my-cassandra
image: my/cassandra:latest
command: "cqlsh -f init-database.cql"
图像 my/cassandra:latest
在 /
中包含 init-database.cql
。但这似乎不起作用。
有没有办法做到这一点?
我们最近试图解决 KillrVideo 中的类似问题,这是 Cassandra 的参考应用程序。我们正在使用 Docker Compose 来启动应用程序所需的环境,其中包括 DataStax Enterprise(即 Cassandra)节点。我们希望该节点在第一次开始安装 CQL 模式时进行一些引导(使用 cqlsh
到 运行 .cql
文件中的语句,就像您尝试做的那样).基本上我们采用的方法是为我们的 Docker 入口点编写一个 shell 脚本:
- 正常启动节点,但在后台。
- 等到端口 9042 可用(这是客户端连接到 运行 CQL 语句的地方)。
- 使用
cqlsh -f
到 运行 一些 CQL 语句并初始化模式。
- 停止在后台 运行ning 的节点。
- 继续正常启动节点的 Docker 图像的通常入口点(在前台,如 Docker 所期望的那样)。
我们只是使用文件的存在来指示节点是否已经被引导,并在启动时检查它以确定我们是否需要执行上述逻辑或可以正常启动它。您可以在 killrvideo-dse-docker repository on GitHub.
中看到结果
这种方法有一个警告。这对我们非常有用,因为在我们的参考应用程序中,我们只启动了一个节点(即我们没有创建具有多个节点的集群)。如果您 运行 多个节点,您可能需要确保只有 一个 节点执行引导以创建模式,因为多个客户端修改模式同时可能会导致您的集群出现一些问题。 (这个 is a known issue 并希望在某个时候得到修复。)
我也在寻找这个问题的答案,下面是我完成它的方法。
这里 Cassandra 的第二个实例有一个带有 schema.cql 的卷并运行 CQLSH 命令
我的版本 加上 healthcheck 这样我们就可以去掉 sleep命令
version: '2.2'
services:
cassandra:
image: cassandra:3.11.2
container_name: cassandra
ports:
- "9042:9042"
environment:
- "MAX_HEAP_SIZE=256M"
- "HEAP_NEWSIZE=128M"
restart: always
volumes:
- ./out/cassandra_data:/var/lib/cassandra
healthcheck:
test: ["CMD", "cqlsh", "-u cassandra", "-p cassandra" ,"-e describe keyspaces"]
interval: 15s
timeout: 10s
retries: 10
cassandra-load-keyspace:
container_name: cassandra-load-keyspace
image: cassandra:3.11.2
depends_on:
cassandra:
condition: service_healthy
volumes:
- ./src/main/resources/cassandra_schema.cql:/schema.cql
command: /bin/bash -c "echo loading cassandra keyspace && cqlsh cassandra -f /schema.cql"
NetFlix 版本使用 sleep
version: '3.5'
services:
cassandra:
image: cassandra:latest
container_name: cassandra
ports:
- "9042:9042"
environment:
- "MAX_HEAP_SIZE=256M"
- "HEAP_NEWSIZE=128M"
restart: always
volumes:
- ./out/cassandra_data:/var/lib/cassandra
cassandra-load-keyspace:
container_name: cassandra-load-keyspace
image: cassandra:latest
depends_on:
- cassandra
volumes:
- ./src/main/resources/cassandra_schema.cql:/schema.cql
command: /bin/bash -c "sleep 60 && echo loading cassandra keyspace && cqlsh cassandra -f /schema.cql"
P.S 我在 Netflix Repos
之一找到了这条路
我通过修补 cassandra 的 docker-entrypoint.sh
解决了这个问题,因此它将在启动时执行位于 /docker-entrypoint-initdb.d
中的 sh
和 cql
文件。这类似于 MySQL docker 容器的工作方式。
基本上,我在 docker-entrypoint.sh
的末尾添加了一个小脚本(就在最后一行 exec "$@"
之前),一旦 cassandra 启动,它将 运行 cql 脚本.简化版是:
INIT_DIR=docker-entrypoint-initdb.d
# this whole block will execute in the background
(
cd $INIT_DIR
# wait for cassandra to be ready
while ! cqlsh -e 'describe cluster' > /dev/null 2>&1; do sleep 6; done
echo "[=10=]: Cassandra cluster ready: executing cql scripts found in $INIT_DIR"
# find and execute cql scripts, in name order
for f in $(find . -type f -name "*.cql" -print | sort); do
echo "[=10=]: running $f"
cqlsh -f "$f"
echo "[=10=]: $f executed"
done
) &
此解决方案适用于所有 cassandra 版本(至少到 3.11,截至撰写本文时为止)。
因此,您只需构建和使用此 cassandra 映像版本,然后使用 docker-compose 卷将适当的初始化脚本添加到容器中。
完整的要点 具有更强大的入口点补丁(和示例)可用 here。
我想在我的 Cassandra 容器的开头创建键空间和列族。
我在 docker-compose.yml
文件中尝试了以下内容:
# shortened for clarity
cassandra:
hostname: my-cassandra
image: my/cassandra:latest
command: "cqlsh -f init-database.cql"
图像 my/cassandra:latest
在 /
中包含 init-database.cql
。但这似乎不起作用。
有没有办法做到这一点?
我们最近试图解决 KillrVideo 中的类似问题,这是 Cassandra 的参考应用程序。我们正在使用 Docker Compose 来启动应用程序所需的环境,其中包括 DataStax Enterprise(即 Cassandra)节点。我们希望该节点在第一次开始安装 CQL 模式时进行一些引导(使用 cqlsh
到 运行 .cql
文件中的语句,就像您尝试做的那样).基本上我们采用的方法是为我们的 Docker 入口点编写一个 shell 脚本:
- 正常启动节点,但在后台。
- 等到端口 9042 可用(这是客户端连接到 运行 CQL 语句的地方)。
- 使用
cqlsh -f
到 运行 一些 CQL 语句并初始化模式。 - 停止在后台 运行ning 的节点。
- 继续正常启动节点的 Docker 图像的通常入口点(在前台,如 Docker 所期望的那样)。
我们只是使用文件的存在来指示节点是否已经被引导,并在启动时检查它以确定我们是否需要执行上述逻辑或可以正常启动它。您可以在 killrvideo-dse-docker repository on GitHub.
中看到结果这种方法有一个警告。这对我们非常有用,因为在我们的参考应用程序中,我们只启动了一个节点(即我们没有创建具有多个节点的集群)。如果您 运行 多个节点,您可能需要确保只有 一个 节点执行引导以创建模式,因为多个客户端修改模式同时可能会导致您的集群出现一些问题。 (这个 is a known issue 并希望在某个时候得到修复。)
我也在寻找这个问题的答案,下面是我完成它的方法。
这里 Cassandra 的第二个实例有一个带有 schema.cql 的卷并运行 CQLSH 命令
我的版本 加上 healthcheck 这样我们就可以去掉 sleep命令
version: '2.2'
services:
cassandra:
image: cassandra:3.11.2
container_name: cassandra
ports:
- "9042:9042"
environment:
- "MAX_HEAP_SIZE=256M"
- "HEAP_NEWSIZE=128M"
restart: always
volumes:
- ./out/cassandra_data:/var/lib/cassandra
healthcheck:
test: ["CMD", "cqlsh", "-u cassandra", "-p cassandra" ,"-e describe keyspaces"]
interval: 15s
timeout: 10s
retries: 10
cassandra-load-keyspace:
container_name: cassandra-load-keyspace
image: cassandra:3.11.2
depends_on:
cassandra:
condition: service_healthy
volumes:
- ./src/main/resources/cassandra_schema.cql:/schema.cql
command: /bin/bash -c "echo loading cassandra keyspace && cqlsh cassandra -f /schema.cql"
NetFlix 版本使用 sleep
version: '3.5'
services:
cassandra:
image: cassandra:latest
container_name: cassandra
ports:
- "9042:9042"
environment:
- "MAX_HEAP_SIZE=256M"
- "HEAP_NEWSIZE=128M"
restart: always
volumes:
- ./out/cassandra_data:/var/lib/cassandra
cassandra-load-keyspace:
container_name: cassandra-load-keyspace
image: cassandra:latest
depends_on:
- cassandra
volumes:
- ./src/main/resources/cassandra_schema.cql:/schema.cql
command: /bin/bash -c "sleep 60 && echo loading cassandra keyspace && cqlsh cassandra -f /schema.cql"
P.S 我在 Netflix Repos
之一找到了这条路我通过修补 cassandra 的 docker-entrypoint.sh
解决了这个问题,因此它将在启动时执行位于 /docker-entrypoint-initdb.d
中的 sh
和 cql
文件。这类似于 MySQL docker 容器的工作方式。
基本上,我在 docker-entrypoint.sh
的末尾添加了一个小脚本(就在最后一行 exec "$@"
之前),一旦 cassandra 启动,它将 运行 cql 脚本.简化版是:
INIT_DIR=docker-entrypoint-initdb.d
# this whole block will execute in the background
(
cd $INIT_DIR
# wait for cassandra to be ready
while ! cqlsh -e 'describe cluster' > /dev/null 2>&1; do sleep 6; done
echo "[=10=]: Cassandra cluster ready: executing cql scripts found in $INIT_DIR"
# find and execute cql scripts, in name order
for f in $(find . -type f -name "*.cql" -print | sort); do
echo "[=10=]: running $f"
cqlsh -f "$f"
echo "[=10=]: $f executed"
done
) &
此解决方案适用于所有 cassandra 版本(至少到 3.11,截至撰写本文时为止)。
因此,您只需构建和使用此 cassandra 映像版本,然后使用 docker-compose 卷将适当的初始化脚本添加到容器中。
完整的要点 具有更强大的入口点补丁(和示例)可用 here。