使用 jsoncpp 时从 JSon 中剥离私有数据的最佳方法
Best way to strip private data from JSon when using jsoncpp
问题很简单。一些 JSon
数据与服务器交换。
由于通信相当复杂,我需要记录尽可能复杂的信息,看看是否:
- 服务器发送代码省略的新值
- JSon 已发送错字
- 等等
但与此同时,任何私人数据都应该被虚拟数据隐藏。
所以改为在日志中查看:
{
"secuityToken" : "asdasdgas234fsdfsaD",
"message" : "user private message"
}
应该看到这样的东西:
{
"secuityToken" : "********",
"message" : "*******"
}
我的代码是 C++,所以 jsoncpp
正在使用中。
我能看到的最好的蟑螂是:
bool ProcessServerMessage(const std::string& message)
{
Json::Value jsonValue;
Json::Reader reader;
if (reader.parse(sMessage, jsonValue, false))
{
auto logValue = ShadowPrivateData(jsonValue, listOfKeysWithPrivateData);
LOG() << " JSOn recived: " << logValue;
…
}
问题是 ShadowPrivateData
应该是什么样子才最通用?
对我来说,在这里一个简单的方法就足够了。只需为 jsonValue
的所有成员递归调用 ShadowPrivateData
。在每个递归步骤中,您应该确定 jsonValue
是数组、对象还是两者都不是,然后正确地遍历它。为此使用 isArray
and isObject
。
当遍历对象或数组的字段时,如果该字段不是聚合(对象或数组),请在 listOfKeysWithPrivateData
中搜索它的名称。如果在列表中找到字段名称,确定字段的类型(使用 isString
, isDouble
, isIntegral
等)并用适当的值替换字段:用星号替换字符串,用零替换数字,等等
将 listOfKeysWithPrivateData
声明为 std::set<std::string>
或类似的东西以执行对数搜索而不是线性搜索。
如何遍历聚合对象?对数组使用 getMemberNames
for objects and size
。换句话说,jsoncpp 为 json 对象内省提供了完整的方法集合。
如果实施得当,这种方法应该审查 jsonValue
中的所有敏感数据,而不管它的复杂性。
所以我接受了@Sergey 的提议,并得到了这样的东西:
// in header
class CJSONUtils
{
public:
static Json::Value HidePrivateData(const Json::Value& value,
const std::vector<std::string>& pathSufixes);
private:
static void ShadowPrivateData(Json::Value& value,
const std::vector<std::string>& pathSufixes,
const std::string& sPath);
static bool IsPrivatePath(const std::string& sPath,
const std::vector<std::string>& pathSufixes);
static std::string MaskPrivateText(const std::string& sPrivateText);
};
// in cpp
#include "JSONUtils.h"
#include "StringUtils.h"
#include <algorithm>
#include <json/json.h>
using namespace std;
using namespace Json;
Value CJSONUtils::HidePrivateData(const Value& value,
const vector<string>& pathSufixes)
{
Value result { value };
ShadowPrivateData(result, pathSufixes, {});
return result;
}
void CJSONUtils::ShadowPrivateData(Value& value,
const vector<string>& pathSufixes,
const string& sPath)
{
switch (value.type())
{
case nullValue:
case intValue:
case uintValue:
case realValue:
case booleanValue:
break;
case stringValue:
if (IsPrivatePath(sPath, pathSufixes))
{
value = Value { MaskPrivateText(value.asString()) };
}
break;
case arrayValue:
for (auto& arrayValue : value)
{
ShadowPrivateData(arrayValue, pathSufixes, sPath + "[]");
}
break;
case objectValue:
for (auto it = value.begin(); it != value.end(); ++it)
{
ShadowPrivateData(*it, pathSufixes, sPath + "." + it.key().asString());
}
break;
}
}
bool CJSONUtils::IsPrivatePath(const string& sPath,
const vector<string>& pathSufixes)
{
return std::any_of(pathSufixes.begin(),
pathSufixes.end(),
[&](const string& sSufix)
{
return EndsWith(sPath, sSufix);
});
}
std::string CJSONUtils::MaskPrivateText(const std::string& sPrivateText)
{
if (sPrivateText.length() < 15)
{
return std::string(sPrivateText.length(), '*');
}
ostringstream result;
result << "< *" << sPrivateText.length() << " characters * >";
return result.str();
}
现在因为 Json::Value
重载了流运算符,所以可以这样使用:
LOG() << " JSON received: " << CJSONUtils::HidePrivateData(jsonRoot, listOfPrivateItemsPaths);
我已经为它编写了测试 (gtest),它的效果非常好。
问题很简单。一些 JSon
数据与服务器交换。
由于通信相当复杂,我需要记录尽可能复杂的信息,看看是否:
- 服务器发送代码省略的新值
- JSon 已发送错字
- 等等
但与此同时,任何私人数据都应该被虚拟数据隐藏。
所以改为在日志中查看:
{
"secuityToken" : "asdasdgas234fsdfsaD",
"message" : "user private message"
}
应该看到这样的东西:
{
"secuityToken" : "********",
"message" : "*******"
}
我的代码是 C++,所以 jsoncpp
正在使用中。
我能看到的最好的蟑螂是:
bool ProcessServerMessage(const std::string& message)
{
Json::Value jsonValue;
Json::Reader reader;
if (reader.parse(sMessage, jsonValue, false))
{
auto logValue = ShadowPrivateData(jsonValue, listOfKeysWithPrivateData);
LOG() << " JSOn recived: " << logValue;
…
}
问题是 ShadowPrivateData
应该是什么样子才最通用?
对我来说,在这里一个简单的方法就足够了。只需为 jsonValue
的所有成员递归调用 ShadowPrivateData
。在每个递归步骤中,您应该确定 jsonValue
是数组、对象还是两者都不是,然后正确地遍历它。为此使用 isArray
and isObject
。
当遍历对象或数组的字段时,如果该字段不是聚合(对象或数组),请在 listOfKeysWithPrivateData
中搜索它的名称。如果在列表中找到字段名称,确定字段的类型(使用 isString
, isDouble
, isIntegral
等)并用适当的值替换字段:用星号替换字符串,用零替换数字,等等
将 listOfKeysWithPrivateData
声明为 std::set<std::string>
或类似的东西以执行对数搜索而不是线性搜索。
如何遍历聚合对象?对数组使用 getMemberNames
for objects and size
。换句话说,jsoncpp 为 json 对象内省提供了完整的方法集合。
如果实施得当,这种方法应该审查 jsonValue
中的所有敏感数据,而不管它的复杂性。
所以我接受了@Sergey 的提议,并得到了这样的东西:
// in header
class CJSONUtils
{
public:
static Json::Value HidePrivateData(const Json::Value& value,
const std::vector<std::string>& pathSufixes);
private:
static void ShadowPrivateData(Json::Value& value,
const std::vector<std::string>& pathSufixes,
const std::string& sPath);
static bool IsPrivatePath(const std::string& sPath,
const std::vector<std::string>& pathSufixes);
static std::string MaskPrivateText(const std::string& sPrivateText);
};
// in cpp
#include "JSONUtils.h"
#include "StringUtils.h"
#include <algorithm>
#include <json/json.h>
using namespace std;
using namespace Json;
Value CJSONUtils::HidePrivateData(const Value& value,
const vector<string>& pathSufixes)
{
Value result { value };
ShadowPrivateData(result, pathSufixes, {});
return result;
}
void CJSONUtils::ShadowPrivateData(Value& value,
const vector<string>& pathSufixes,
const string& sPath)
{
switch (value.type())
{
case nullValue:
case intValue:
case uintValue:
case realValue:
case booleanValue:
break;
case stringValue:
if (IsPrivatePath(sPath, pathSufixes))
{
value = Value { MaskPrivateText(value.asString()) };
}
break;
case arrayValue:
for (auto& arrayValue : value)
{
ShadowPrivateData(arrayValue, pathSufixes, sPath + "[]");
}
break;
case objectValue:
for (auto it = value.begin(); it != value.end(); ++it)
{
ShadowPrivateData(*it, pathSufixes, sPath + "." + it.key().asString());
}
break;
}
}
bool CJSONUtils::IsPrivatePath(const string& sPath,
const vector<string>& pathSufixes)
{
return std::any_of(pathSufixes.begin(),
pathSufixes.end(),
[&](const string& sSufix)
{
return EndsWith(sPath, sSufix);
});
}
std::string CJSONUtils::MaskPrivateText(const std::string& sPrivateText)
{
if (sPrivateText.length() < 15)
{
return std::string(sPrivateText.length(), '*');
}
ostringstream result;
result << "< *" << sPrivateText.length() << " characters * >";
return result.str();
}
现在因为 Json::Value
重载了流运算符,所以可以这样使用:
LOG() << " JSON received: " << CJSONUtils::HidePrivateData(jsonRoot, listOfPrivateItemsPaths);
我已经为它编写了测试 (gtest),它的效果非常好。