将 Apache Cassandra 与 Apache Ignite 集成

Question

我正在尝试将 Apache Ignite 与 Apache Cassandra(3.11.2) 集成，因为我想使用 Ignite 来缓存我现有的 Cassandra 数据库中存在的数据。

在浏览了在线资源之后，到目前为止，我已经完成了以下操作：

已下载 Apache Ignite。
将“libs/optional/”中的所有文件夹复制到“libs/”（我不知道 Cassandra 需要哪些文件夹）。
在配置文件夹中创建了 3 个 xml，即“cassandra-config.xml”、“connection-settings.xml”和“persistance-settings.xml”。目前我对 Cassandra 和 Ignite 使用相同的节点 (172.16.129.68)。

卡桑德拉-config.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xsi:schemaLocation="
        http://www.springframework.org/schema/beans
        http://www.springframework.org/schema/beans/spring-beans.xsd">
<!-- Cassandra connection settings -->
<import resource="connection-settings.xml" />

<!-- Persistence settings for 'cache1' -->
<bean id="cache1_persistence_settings" class="org.apache.ignite.cache.store.cassandra.persistence.KeyValuePersistenceSettings">
        <constructor-arg type="org.springframework.core.io.Resource" value="file:/home/cass/apache_ignite/apache-ignite-fabric-2.4.0-bin/config/persistance-settings.xml" />
</bean>
<!-- Ignite configuration -->
<bean id="ignite.cfg" class="org.apache.ignite.configuration.IgniteConfiguration">
    <property name="cacheConfiguration">
        <list>
            <!-- Configuring persistence for "cache1" cache -->
            <bean class="org.apache.ignite.configuration.CacheConfiguration">
                <property name="name" value="cache1"/>
                <property name="readThrough" value="true"/>
                <property name="writeThrough" value="true"/>
                <property name="writeBehindEnabled" value="true"/>
                <property name="cacheStoreFactory">
                    <bean class="org.apache.ignite.cache.store.cassandra.CassandraCacheStoreFactory">
                        <property name="dataSourceBean" value="cassandraAdminDataSource"/>
                        <property name="persistenceSettingsBean" value="cache1_persistence_settings"/>
                    </bean>
                </property>
            </bean>
        </list>
    </property>
    <!-- Explicitly configure TCP discovery SPI to provide list of initial nodes. -->
    <property name="discoverySpi">
        <bean class="org.apache.ignite.spi.discovery.tcp.TcpDiscoverySpi">
            <property name="ipFinder">
                <!--
                    Ignite provides several options for automatic discovery that can be used
                    instead os static IP based discovery. For information on all options refer
                    to our documentation: http://apacheignite.readme.io/docs/cluster-config
                -->
                <!-- Uncomment static IP finder to enable static-based discovery of initial nodes. -->
                <!--<bean class="org.apache.ignite.spi.discovery.tcp.ipfinder.vm.TcpDiscoveryVmIpFinder">-->
                <bean class="org.apache.ignite.spi.discovery.tcp.ipfinder.multicast.TcpDiscoveryMulticastIpFinder">
                    <property name="addresses">
                        <list>
                            <!-- In distributed environment, replace with actual host IP address. -->
                            <value>172.16.129.68:47500..47509</value>
                        </list>
                    </property>
                </bean>
            </property>
        </bean>
    </property>
</bean>

连接-settings.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xsi:schemaLocation="
        http://www.springframework.org/schema/beans
        http://www.springframework.org/schema/beans/spring-beans.xsd">

<bean id="loadBalancingPolicy" class="com.datastax.driver.core.policies.TokenAwarePolicy">
    <constructor-arg type="com.datastax.driver.core.policies.LoadBalancingPolicy">
        <bean class="com.datastax.driver.core.policies.RoundRobinPolicy"/>
    </constructor-arg>
</bean>

<bean id="cassandraAdminDataSource" class="org.apache.ignite.cache.store.cassandra.datasource.DataSource">
    <property name="port" value="9042"/>
    <property name="contactPoints" value="172.16.129.68"/>
    <property name="readConsistency" value="ONE"/>
    <property name="writeConsistency" value="ONE"/>
    <property name="loadBalancingPolicy" ref="loadBalancingPolicy"/>
</bean>

坚持-settings.xml

<persistence keyspace="test" table="epc_table">
    <keyPersistence class="java.lang.String" strategy="PRIMITIVE" column="imsi"/>
    <valuePersistence strategy="BLOB"/>
</persistence>

我运行以下命令从 bin 文件夹启动 Ignite。

ignite.sh../config/cassandra-config.xml

现在，我想通过 sqlline 查看一下 cassandra table。我尝试了以下方法：

./sqlline.sh -u jdbc:cassandra://172.16.129.68:9042/test //(test is the name of the keyspace)

我得到以下输出：

No known driver to handle "jdbc:cassandra://172.16.129.68:9042/test". Searching for known drivers...
java.lang.NullPointerException
sqlline version 1.3.0
0: jdbc:cassandra://172.16.129.68:9042/test>

我也试过：

./sqlline.sh -u jdbc:ignite:thin://172.16.129.68

但是当我使用“!tables”时，我看不到任何 table。

究竟遗漏了什么？如何使用 sqlline access/modify Cassandra 中存在的 table？

操作系统：RHEL 6.5

Answer 1

Apache Ignite 是一个键值数据库，默认情况下没有创建您可以使用 JDBC 连接器查看的 table。 CacheStore 是一种将 Ignite 与外部数据库或任何其他存储集成的方法，它以键值对的形式加载数据。

在你的配置中，你说 Ignite 你想要存储和加载条目 in/from Cassandra，但 Ignite 仍然不知道条目结构（顺便说一句，Ignite 真的不关心将什么对象放入其中） .

为了能够列出 table 并对其进行查询，您需要创建 table。为此，您需要在 /lib 目录中进行 ignite-indexing 并设置 QueryEntity or indexed types 如果您已经注释了 POJO。这是此类配置的示例：

<bean class="org.apache.ignite.configuration.CacheConfiguration">
<property name="name" value="mycache"/>
<!-- Configure query entities -->
<property name="queryEntities">
    <list>
        <bean class="org.apache.ignite.cache.QueryEntity">
            <property name="keyType" value="java.lang.Long"/>
            <property name="valueType" value="org.apache.ignite.examples.Person"/>

            <property name="fields">
                <map>
                    <entry key="id" value="java.lang.Long"/>
                    <entry key="orgId" value="java.lang.Long"/>
                    <entry key="firstName" value="java.lang.String"/>
                    <entry key="lastName" value="java.lang.String"/>
                    <entry key="resume" value="java.lang.String"/>
                    <entry key="salary" value="java.lang.Double"/>
                </map>
            </property>

            <property name="indexes">
                <list>
                    <bean class="org.apache.ignite.cache.QueryIndex">
                        <constructor-arg value="id"/>
                    </bean>
                    <bean class="org.apache.ignite.cache.QueryIndex">
                        <constructor-arg value="orgId"/>
                    </bean>
                    <bean class="org.apache.ignite.cache.QueryIndex">
                        <constructor-arg value="salary"/>
                    </bean>
                </list>
            </property>
        </bean>
    </list>
</property>

如果您配置它，您将能够在 SQLine 上登记和查询 table。（请注意，您无法查询未加载到 Ignite 的数据。要加载它们，您可以使用 IgniteCache.get() 启用 readThrough 选项或 IgniteCache.loadCache() 从 Cassandra table).

要使用 JDBC 查询 Cassandra，您需要一个 JDBC 驱动程序，例如 DBSchema.

将 Apache Cassandra 与 Apache Ignite 集成

Integrating Apache Cassandra with Apache Ignite

cassandra

ignite

cassandra-3.0

sqlline