您可以将 Matlab 数组和结构的复合数据存储和查询到数据库中吗?
Can you store and query compound data of Matlab arrays and structures into a database?
如何将位于 'struct within struct within struct' 中的 Matlab 数组存储到数据库中,以便我可以检索字段和数组?
下面详细说明了我为什么需要这个:
我有大量数据保存为 .mat 文件....麻烦的是我需要加载一个完整的 .mat 文件才能开始在那里操作和绘制数据。如果该文件很大,将它加载到内存中就成了一项艰巨的任务。
这些 .mat 文件是分析晶体管原始电气测量数据的结果。所有 .mat 文件都具有相同的结构,但每个文件对应一个不同且唯一的晶体管。
现在说我想比较A和B中所有常见晶体管的某个参数,我必须手动搜索并加载我需要的所有.mat文件,然后尝试进行比较。没有简单的方法可以将所有这些 .mat 文件合并到一个 .mat 文件中(因为它们都具有相同的变量名称但具有不同的数据)。即使这是可能的,我也不知道如何从 .mat 文件中查询特定条目。
如果没有我可以从中查询特定条目的结构化数据库,我看不出有什么方法可以轻松地做到这一点。然后我可以使用任何编程语言(继续使用 Matlab 或切换到 python)来方便地进行比较和绘图...等等。没有分散的 .mat 文件的麻烦。
问题在于 .mat 文件中的数据是以结构和大数组的形式构建的。据我所知,将其存储在一个简单的 SQL 数据库中并不是一项简单的任务。我使用 HDF5 进行了查找,但从 examples 我看到,我必须执行大量低级命令才能将这些结构存储在 HDF 文件中,我不确定是否可以将 HDF 文件的一部分加载到Matlab/python 或者如果我还必须先将整个文件加载到内存中。
这里的目标是将所有现有的(和将要创建的).mat 文件(及其结构和数组的复合数据结构)合并到一个数据库文件中,我可以从中查询具体条目。是否有数据库解决方案可以保留我的复杂数据的结构? HDF 是正确的选择吗?还是我缺少一个简单的解决方案?
编辑:
我需要保存和检索的数据示例:
All(16).rf.SS(3,2).data
其中 All
是一个包含 7 个字段的结构数组。 rf
字段中的每个结构都是一个包含数组、整数、字符串和结构的结构。其中一个结构名为 SS
,它又是一个结构数组,每个结构包含一个名为 data
.
的 2x2 数组
将 .mat 文件合并为一个数据结构
一般来说,没有简单的方法可以将....mat 文件合并到单个 .mat 文件中(因为它们都具有相同的变量名称但具有不同的数据).
假设您有两个文件,data1.mat
和 data2.mat
,每个文件包含两个变量,a
和 b
。你可以这样做:
>> s = load('data1')
s =
struct with fields:
a: 'foo'
b: 3
>> s(2) = load('data2')
s =
1×2 struct array with fields:
a
b
现在你有一个 struct array (见下面的注释)。您可以像这样访问其中的数据:
>> s(1).a
ans =
'foo'
>> s(2).a
ans =
'bar'
但您也可以一次获取每个字段的所有值,作为 comma-separated list,您可以将其分配给元胞数组或矩阵:
>> s.a
ans =
'foo'
ans =
'bar'
>> allAs = {s.a}
allAs =
1×2 cell array
{'foo'} {'bar'}
>> allBs = [s.b]
allBs =
3 4
注意: 烦人的是,似乎您必须先创建具有正确字段的结构,然后才能使用索引对其进行分配。也就是说
s = struct;
s(1) = load('data1')
不行,但是
s = struct('a', [], 'b', [])
s(1) = load('data1')
可以。
为 .mat 文件建立索引
如果您不需要能够搜索每个 .mat 文件中的所有数据,只需搜索某些字段,您可以在 MATLAB 中构建一个索引,其中仅包含每个 .mat 文件中的相关元数据以及一个对文件本身的引用(例如文件名)。作为长期解决方案,这不太可靠,因为您必须确保索引与文件保持同步,但设置工作量应该较少。
将数据结构扁平化为与数据库兼容的 table
如果您真的想将所有内容都保存在数据库中,那么您可以将数据结构转换为表格形式,其中任何多维元素(例如结构或数组)都 'flattened' 转换为 table 行,每个(适当命名的)table 变量有一个标量值。
例如,如果您有一个包含字段 s.a
和 s.b
的结构体 s
,并且 s.b
是一个 2 x 2 矩阵,您可以调用变量 [ =23=、s_b_1_1
、s_b_1_2
、s_b_2_1
和 s_b_2_2
- 可能不是理想的数据库设计,但您明白了。
您应该能够调整 this answer and/or the MATLAB File Exchange submissions flattenstruct2cell and flatten-nested-cell-arrays 中的代码以满足您的需要。
如何将位于 'struct within struct within struct' 中的 Matlab 数组存储到数据库中,以便我可以检索字段和数组?
下面详细说明了我为什么需要这个:
我有大量数据保存为 .mat 文件....麻烦的是我需要加载一个完整的 .mat 文件才能开始在那里操作和绘制数据。如果该文件很大,将它加载到内存中就成了一项艰巨的任务。
这些 .mat 文件是分析晶体管原始电气测量数据的结果。所有 .mat 文件都具有相同的结构,但每个文件对应一个不同且唯一的晶体管。
现在说我想比较A和B中所有常见晶体管的某个参数,我必须手动搜索并加载我需要的所有.mat文件,然后尝试进行比较。没有简单的方法可以将所有这些 .mat 文件合并到一个 .mat 文件中(因为它们都具有相同的变量名称但具有不同的数据)。即使这是可能的,我也不知道如何从 .mat 文件中查询特定条目。
如果没有我可以从中查询特定条目的结构化数据库,我看不出有什么方法可以轻松地做到这一点。然后我可以使用任何编程语言(继续使用 Matlab 或切换到 python)来方便地进行比较和绘图...等等。没有分散的 .mat 文件的麻烦。
问题在于 .mat 文件中的数据是以结构和大数组的形式构建的。据我所知,将其存储在一个简单的 SQL 数据库中并不是一项简单的任务。我使用 HDF5 进行了查找,但从 examples 我看到,我必须执行大量低级命令才能将这些结构存储在 HDF 文件中,我不确定是否可以将 HDF 文件的一部分加载到Matlab/python 或者如果我还必须先将整个文件加载到内存中。
这里的目标是将所有现有的(和将要创建的).mat 文件(及其结构和数组的复合数据结构)合并到一个数据库文件中,我可以从中查询具体条目。是否有数据库解决方案可以保留我的复杂数据的结构? HDF 是正确的选择吗?还是我缺少一个简单的解决方案?
编辑:
我需要保存和检索的数据示例:
All(16).rf.SS(3,2).data
其中 All
是一个包含 7 个字段的结构数组。 rf
字段中的每个结构都是一个包含数组、整数、字符串和结构的结构。其中一个结构名为 SS
,它又是一个结构数组,每个结构包含一个名为 data
.
将 .mat 文件合并为一个数据结构
一般来说,没有简单的方法可以将....mat 文件合并到单个 .mat 文件中(因为它们都具有相同的变量名称但具有不同的数据).
假设您有两个文件,data1.mat
和 data2.mat
,每个文件包含两个变量,a
和 b
。你可以这样做:
>> s = load('data1')
s =
struct with fields:
a: 'foo'
b: 3
>> s(2) = load('data2')
s =
1×2 struct array with fields:
a
b
现在你有一个 struct array (见下面的注释)。您可以像这样访问其中的数据:
>> s(1).a
ans =
'foo'
>> s(2).a
ans =
'bar'
但您也可以一次获取每个字段的所有值,作为 comma-separated list,您可以将其分配给元胞数组或矩阵:
>> s.a
ans =
'foo'
ans =
'bar'
>> allAs = {s.a}
allAs =
1×2 cell array
{'foo'} {'bar'}
>> allBs = [s.b]
allBs =
3 4
注意: 烦人的是,似乎您必须先创建具有正确字段的结构,然后才能使用索引对其进行分配。也就是说
s = struct;
s(1) = load('data1')
不行,但是
s = struct('a', [], 'b', [])
s(1) = load('data1')
可以。
为 .mat 文件建立索引
如果您不需要能够搜索每个 .mat 文件中的所有数据,只需搜索某些字段,您可以在 MATLAB 中构建一个索引,其中仅包含每个 .mat 文件中的相关元数据以及一个对文件本身的引用(例如文件名)。作为长期解决方案,这不太可靠,因为您必须确保索引与文件保持同步,但设置工作量应该较少。
将数据结构扁平化为与数据库兼容的 table
如果您真的想将所有内容都保存在数据库中,那么您可以将数据结构转换为表格形式,其中任何多维元素(例如结构或数组)都 'flattened' 转换为 table 行,每个(适当命名的)table 变量有一个标量值。
例如,如果您有一个包含字段 s.a
和 s.b
的结构体 s
,并且 s.b
是一个 2 x 2 矩阵,您可以调用变量 [ =23=、s_b_1_1
、s_b_1_2
、s_b_2_1
和 s_b_2_2
- 可能不是理想的数据库设计,但您明白了。
您应该能够调整 this answer and/or the MATLAB File Exchange submissions flattenstruct2cell and flatten-nested-cell-arrays 中的代码以满足您的需要。