jackson-dataformat-csv:没有 POJO 的映射数值
jackson-dataformat-csv: Mapping number value without POJO
我正在尝试使用 jackson-dataformat-csv
解析 CSV 文件,我想将数字列映射到数字 java 类型。
CsvSchema schema = CsvSchema.builder().setUseHeader(true)
.addColumn("firstName", CsvSchema.ColumnType.STRING)
.addColumn("lastName", CsvSchema.ColumnType.STRING)
.addColumn("age", CsvSchema.ColumnType.NUMBER)
.build();
CsvMapper csvMapper = new CsvMapper();
MappingIterator<Map<String, Object>> mappingIterator = csvMapper
.readerFor(Map.class)
.with(schema)
.readValues(is);
while (mappingIterator.hasNext()) {
Map<String, Object> entryMap = mappingIterator.next();
Number age = (Number) entryMap.get("age");
}
我希望 entryMap.get("age")
应该是 Number
,但我得到的却是 String
。
我的 CSV 文件:
firstName,lastName,age
John,Doe,21
Error,Name,-10
我知道 CsvSchema
适用于 POJO,但我需要处理任意 CSV 模式,因此我无法为每种情况创建新的 java class。
有什么方法可以将 CSV 解析为类型化的 Map
或 Array
?
目前无法使用 CsvSchema
配置 Map
反序列化。进程使用 com.fasterxml.jackson.databind.deser.std.MapDeserializer
现在不检查模式。我们可以编写自定义 Map
解串器。 GitHub 上有一个问题:CsvMapper does not respect CsvSchema.ColumnType when using @JsonAnySetter 其中 cowtowncoder
回答:
At this point schema type is not used much for anything, but I agree
it should.
编辑
我决定仔细看看在幕后使用 com.fasterxml.jackson.databind.deser.std.MapDeserializer
这个事实我们能做些什么。实现自定义 Map
反序列化器来处理类型将很难实现和注册,但我们可以使用有关 ValueInstantiator
的知识。让我们定义新的 Map
类型,它知道如何处理 ColumnType
信息:
class CsvMap extends HashMap<String, Object> {
private final CsvSchema schema;
private final NumberFormat numberFormat = NumberFormat.getInstance();
public CsvMap(CsvSchema schema) {
this.schema = schema;
}
@Override
public Object put(String key, Object value) {
value = convertIfNeeded(key, value);
return super.put(key, value);
}
private Object convertIfNeeded(String key, Object value) {
CsvSchema.Column column = schema.column(key);
if (column.getType() == CsvSchema.ColumnType.NUMBER) {
try {
return numberFormat.parse(value.toString());
} catch (ParseException e) {
// leave it as it is
}
}
return value;
}
}
对于没有 no-arg
构造函数的新类型,我们应该创建新的 ValueInstantiator
:
class CsvMapInstantiator extends ValueInstantiator.Base {
private final CsvSchema schema;
public CsvMapInstantiator(CsvSchema schema) {
super(CsvMap.class);
this.schema = schema;
}
@Override
public Object createUsingDefault(DeserializationContext ctxt) {
return new CsvMap(schema);
}
@Override
public boolean canCreateUsingDefault() {
return true;
}
}
用法示例:
import com.fasterxml.jackson.databind.DeserializationContext;
import com.fasterxml.jackson.databind.MappingIterator;
import com.fasterxml.jackson.databind.ObjectReader;
import com.fasterxml.jackson.databind.deser.ValueInstantiator;
import com.fasterxml.jackson.databind.module.SimpleModule;
import com.fasterxml.jackson.dataformat.csv.CsvMapper;
import com.fasterxml.jackson.dataformat.csv.CsvSchema;
import java.io.File;
import java.io.IOException;
import java.text.NumberFormat;
import java.text.ParseException;
import java.util.HashMap;
public class CsvApp {
public static void main(String[] args) throws IOException {
File csvFile = new File("./resource/test.csv").getAbsoluteFile();
CsvSchema schema = CsvSchema.builder()
.addColumn("firstName", CsvSchema.ColumnType.STRING)
.addColumn("lastName", CsvSchema.ColumnType.STRING)
.addColumn("age", CsvSchema.ColumnType.NUMBER)
.build().withHeader();
// Create schema aware map module
SimpleModule csvMapModule = new SimpleModule();
csvMapModule.addValueInstantiator(CsvMap.class, new CsvMapInstantiator(schema));
// register map
CsvMapper csvMapper = new CsvMapper();
csvMapper.registerModule(csvMapModule);
// get reader for CsvMap + schema
ObjectReader objectReaderWithSchema = csvMapper
.readerWithSchemaFor(CsvMap.class)
.with(schema);
MappingIterator<CsvMap> mappingIterator = objectReaderWithSchema.readValues(csvFile);
while (mappingIterator.hasNext()) {
CsvMap entryMap = mappingIterator.next();
Number age = (Number) entryMap.get("age");
System.out.println(age + " (" + age.getClass() + ")");
}
}
}
下面 CSV
负载的以上代码:
firstName,lastName,age
John,Doe,21
Error,Name,-10.1
打印:
21 (class java.lang.Long)
-10.1 (class java.lang.Double)
它看起来像一个 hack,但我想展示这种可能性。
您可以使用 univocity-parsers 来处理这类事情。它更快、更灵活:
CsvParserSettingssettings = new CsvParserSettings(); //configure the parser if needed
CsvParser parser = new CsvParser(settings);
for (Record record : parser.iterateRecords(is)) {
Short age = record.getShort("age");
}
要获得类型化映射,请告诉解析器您正在使用的列的类型是什么:
parser.getRecordMetadata().setTypeOfColumns(Short.class, "age" /*, and other column names*/);
//to get 0 instead of nulls when the field is empty in the file:
parser.getRecordMetadata().setDefaultValueOfColumns("0", "age", /*, and other column names*/);
// then parse
for (Record record : parser.iterateRecords(is)) {
Map<String,Object> map = record.toFieldMap();
}
希望对您有所帮助
免责声明:我是这个图书馆的作者。它是开源且免费的(Apache 2.0 许可证)
我正在尝试使用 jackson-dataformat-csv
解析 CSV 文件,我想将数字列映射到数字 java 类型。
CsvSchema schema = CsvSchema.builder().setUseHeader(true)
.addColumn("firstName", CsvSchema.ColumnType.STRING)
.addColumn("lastName", CsvSchema.ColumnType.STRING)
.addColumn("age", CsvSchema.ColumnType.NUMBER)
.build();
CsvMapper csvMapper = new CsvMapper();
MappingIterator<Map<String, Object>> mappingIterator = csvMapper
.readerFor(Map.class)
.with(schema)
.readValues(is);
while (mappingIterator.hasNext()) {
Map<String, Object> entryMap = mappingIterator.next();
Number age = (Number) entryMap.get("age");
}
我希望 entryMap.get("age")
应该是 Number
,但我得到的却是 String
。
我的 CSV 文件:
firstName,lastName,age
John,Doe,21
Error,Name,-10
我知道 CsvSchema
适用于 POJO,但我需要处理任意 CSV 模式,因此我无法为每种情况创建新的 java class。
有什么方法可以将 CSV 解析为类型化的 Map
或 Array
?
目前无法使用 CsvSchema
配置 Map
反序列化。进程使用 com.fasterxml.jackson.databind.deser.std.MapDeserializer
现在不检查模式。我们可以编写自定义 Map
解串器。 GitHub 上有一个问题:CsvMapper does not respect CsvSchema.ColumnType when using @JsonAnySetter 其中 cowtowncoder
回答:
At this point schema type is not used much for anything, but I agree it should.
编辑
我决定仔细看看在幕后使用 com.fasterxml.jackson.databind.deser.std.MapDeserializer
这个事实我们能做些什么。实现自定义 Map
反序列化器来处理类型将很难实现和注册,但我们可以使用有关 ValueInstantiator
的知识。让我们定义新的 Map
类型,它知道如何处理 ColumnType
信息:
class CsvMap extends HashMap<String, Object> {
private final CsvSchema schema;
private final NumberFormat numberFormat = NumberFormat.getInstance();
public CsvMap(CsvSchema schema) {
this.schema = schema;
}
@Override
public Object put(String key, Object value) {
value = convertIfNeeded(key, value);
return super.put(key, value);
}
private Object convertIfNeeded(String key, Object value) {
CsvSchema.Column column = schema.column(key);
if (column.getType() == CsvSchema.ColumnType.NUMBER) {
try {
return numberFormat.parse(value.toString());
} catch (ParseException e) {
// leave it as it is
}
}
return value;
}
}
对于没有 no-arg
构造函数的新类型,我们应该创建新的 ValueInstantiator
:
class CsvMapInstantiator extends ValueInstantiator.Base {
private final CsvSchema schema;
public CsvMapInstantiator(CsvSchema schema) {
super(CsvMap.class);
this.schema = schema;
}
@Override
public Object createUsingDefault(DeserializationContext ctxt) {
return new CsvMap(schema);
}
@Override
public boolean canCreateUsingDefault() {
return true;
}
}
用法示例:
import com.fasterxml.jackson.databind.DeserializationContext;
import com.fasterxml.jackson.databind.MappingIterator;
import com.fasterxml.jackson.databind.ObjectReader;
import com.fasterxml.jackson.databind.deser.ValueInstantiator;
import com.fasterxml.jackson.databind.module.SimpleModule;
import com.fasterxml.jackson.dataformat.csv.CsvMapper;
import com.fasterxml.jackson.dataformat.csv.CsvSchema;
import java.io.File;
import java.io.IOException;
import java.text.NumberFormat;
import java.text.ParseException;
import java.util.HashMap;
public class CsvApp {
public static void main(String[] args) throws IOException {
File csvFile = new File("./resource/test.csv").getAbsoluteFile();
CsvSchema schema = CsvSchema.builder()
.addColumn("firstName", CsvSchema.ColumnType.STRING)
.addColumn("lastName", CsvSchema.ColumnType.STRING)
.addColumn("age", CsvSchema.ColumnType.NUMBER)
.build().withHeader();
// Create schema aware map module
SimpleModule csvMapModule = new SimpleModule();
csvMapModule.addValueInstantiator(CsvMap.class, new CsvMapInstantiator(schema));
// register map
CsvMapper csvMapper = new CsvMapper();
csvMapper.registerModule(csvMapModule);
// get reader for CsvMap + schema
ObjectReader objectReaderWithSchema = csvMapper
.readerWithSchemaFor(CsvMap.class)
.with(schema);
MappingIterator<CsvMap> mappingIterator = objectReaderWithSchema.readValues(csvFile);
while (mappingIterator.hasNext()) {
CsvMap entryMap = mappingIterator.next();
Number age = (Number) entryMap.get("age");
System.out.println(age + " (" + age.getClass() + ")");
}
}
}
下面 CSV
负载的以上代码:
firstName,lastName,age
John,Doe,21
Error,Name,-10.1
打印:
21 (class java.lang.Long)
-10.1 (class java.lang.Double)
它看起来像一个 hack,但我想展示这种可能性。
您可以使用 univocity-parsers 来处理这类事情。它更快、更灵活:
CsvParserSettingssettings = new CsvParserSettings(); //configure the parser if needed
CsvParser parser = new CsvParser(settings);
for (Record record : parser.iterateRecords(is)) {
Short age = record.getShort("age");
}
要获得类型化映射,请告诉解析器您正在使用的列的类型是什么:
parser.getRecordMetadata().setTypeOfColumns(Short.class, "age" /*, and other column names*/);
//to get 0 instead of nulls when the field is empty in the file:
parser.getRecordMetadata().setDefaultValueOfColumns("0", "age", /*, and other column names*/);
// then parse
for (Record record : parser.iterateRecords(is)) {
Map<String,Object> map = record.toFieldMap();
}
希望对您有所帮助
免责声明:我是这个图书馆的作者。它是开源且免费的(Apache 2.0 许可证)