使用 HBaseTestingUtility 进行单元测试

Question

我正在尝试使用 HBaseTestingUtility 库调试 java 代码。我已经创建了 table。我需要： - 在 "myTable" 中插入一个带有键的值 - 使用键从 "myTable" 中获取值 - 验证返回值是否等于我创建的值这是我填写的代码：

package HbaseUniteTest;

import jdk.nashorn.api.scripting.ScriptUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.io.compress.Compression;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.junit.Assert;

import static org.junit.Assert.assertEquals;

public class TestCreateTableClass
{
    private final static String tableName = "myTable";
    private static ScriptUtils HTableUtil;

    public static void main( String[] args ) throws Exception {

        //Start the "mini cluster"
        HBaseTestingUtility testingUtility = new HBaseTestingUtility();
        testingUtility.startMiniCluster();

        //Get the configuration
        //Configuration conf = ...
        Configuration conf = testingUtility.getConfiguration();

        //Instantiate a connection
        Connection connection = ConnectionFactory.createConnection(conf);

        //Define table "myTable"
        HTableDescriptor table = new HTableDescriptor(TableName.valueOf(tableName));
        table.addFamily(new HColumnDescriptor("cf1").setCompressionType(Compression.Algorithm.NONE));

        //Create table "myTable"
        connection.getAdmin().createTable(table);

        //Get the first (and only) table name
        String first_table = connection.getAdmin().listTableNames()[0].getNameAsString();

        //Verify the returned Table name is equal to the table name we provided
        assertEquals(tableName,first_table);

        //Insert a value with a key in "myTable"
        byte[] key = Bytes.toBytes("some-key");
        Put put = new Put(key);
        put.add(Bytes.toBytes("colfam1"), Bytes.toBytes("qual1.1"), System.currentTimeMillis(), Bytes.toBytes("val1.1"));
        put.add(Bytes.toBytes("colfam1"), Bytes.toBytes("qual1.2"), System.currentTimeMillis(), Bytes.toBytes("val1.2"));
        put.add(Bytes.toBytes("colfam2"), Bytes.toBytes("qual2.1"), System.currentTimeMillis(), Bytes.toBytes("val2.1"));
        Result converted = HTableUtil.convert(put);
        table.put(put);
        Result readFromTable = table.get(new Get(key));
        Assert.assertArrayEquals(readFromTable.raw(), converted.raw());


        //Get the value from "myTable" with the key

        //Verify the returned value is equal to the value you created


        //Stop the mini cluster
        testingUtility.shutdownMiniCluster();
        System.out.println("END OF TEST");
    }

    public static void setHTableUtil(ScriptUtils HTableUtil) {
        TestCreateTableClass.HTableUtil = HTableUtil;
    }
}

但是，我收到以下错误： 1.函数put.add()

这行代码报错

put.add(Bytes.toBytes("colfam1"), Bytes.toBytes("qual1.1"), System.currentTimeMillis(), Bytes.toBytes("val1.1"));

这行代码的第二个错误：

 Result converted = HTableUtil.convert(put);

Java 找不到这 3 个方法的符号 put()、get()、raw()

table.put(put);
Result readFromTable = table.get(new Get(key));
        Assert.assertArrayEquals(readFromTable.raw(), converted.raw());

我还注意到一些关于 class HTableDescriptor、HColumnDescriptor 的警告已被弃用。我在互联网上查了一下，他们建议使用 "TableDescriptorBuilder" 来代替，但我不确定如何使用它。（参考：https://github.com/apache/hbase/blob/master/hbase-client/src/main/java/org/apache/hadoop/hbase/HTableDescriptor.java）

Answer 1

1.函数put.add().
这行代码的错误我认为您可以像这样使用 addColumn() 来添加列。

put.addColumn(Bytes.toBytes("colfam1"), Bytes.toBytes("qual1.1"), System.currentTimeMillis(), Bytes.toBytes("val1.1"));
put.addColumn(Bytes.toBytes("colfam1"), Bytes.toBytes("qual1.2"), System.currentTimeMillis(), Bytes.toBytes("val1.2"));
put.addColumn(Bytes.toBytes("colfam2"), Bytes.toBytes("qual2.1"), System.currentTimeMillis(), Bytes.toBytes("val2.1"));

2。这行代码的第二个错误：
我不熟悉'ScriptUtils'，但我认为它有效。

Result converted = (Result) HTableUtil.convert(put, Result.class);

3。 Java 找不到这 3 个方法的符号 put()、get()、raw()
这是因为您一直使用 'HTableDescriptor' 来进行 put()、get() 或 raw()。 'HTableDescriptor' 用于创建 DDL 之类的 table。您需要使用 Table class 来使用 put()、get() 或 raw() 进行操作。

Table createdTable = connection.getTable(TableName.valueOf(tableName));
createdTable.put(put);
Result readFromTable = createdTable.get(new Get(key));

此外，我相信 class 'Result' 不提供 raw()。因此，您可以像这样使用 Result.compareResults() 比较两个结果。

Result.compareResults(readFromTable, converted);

4.如何使用'TableDescriptorBuilder'
正如我上面所说，'Descriptor' 是用于定义 table、列族、列等的 class。所以，当你make/create他们的时候，你需要使用它。

//Define table "myTable"
TableDescriptorBuilder table = TableDescriptorBuilder.newBuilder(TableName.valueOf(tableName));
table.setColumnFamily(ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("cf1")).setCompressionType(Compression.Algorithm.NONE).build());

//Create table "myTable"
connection.getAdmin().createTable(table.build());

使用 HBaseTestingUtility 进行单元测试

Unit test using HBaseTestingUtility

java

hadoop

hbase