什么是符号图中节点的信息熵
What is the information entropy of a node in a symbolic graph
我正在尝试培养对信息熵的更好直觉。我想看的示例案例是一个符号图，其中叶子是比根更具体的实体类型。
如果图中的每个节点都可以使用相同的位数来记录，例如 64 位 id 句柄.. 是否会认为更具体的 'Jack Pine' 节点更高或比 'Tree' 节点更低的熵？
post 12 小时后更新：也许这个概念不能用熵来理解。假设符号 'jack pine' 比符号 'tree' 包含更多信息，但可以使用相同数量的比特传输 - 在这种情况下，接收符号的观察者根据先前的知识在他们的脑海中解压缩信息..因此接收 'jack pine' 的符号比接收符号 [=] 给他们更多的信息24=] 因为他们了解特定类型的树。这是否意味着 'jack pine' 熵较低，因为它对给定信号具有更多信息，因此压缩率更高？
如果我假设每个分支都有相等的概率，那么从树到一种树会增加一点熵。从一棵松树变成一种松树又增加了一点熵。知道它是杰克松比只知道它是树的熵多两位。
我正在尝试培养对信息熵的更好直觉。我想看的示例案例是一个符号图，其中叶子是比根更具体的实体类型。
如果图中的每个节点都可以使用相同的位数来记录，例如 64 位 id 句柄.. 是否会认为更具体的 'Jack Pine' 节点更高或比 'Tree' 节点更低的熵？
post 12 小时后更新：也许这个概念不能用熵来理解。假设符号 'jack pine' 比符号 'tree' 包含更多信息，但可以使用相同数量的比特传输 - 在这种情况下，接收符号的观察者根据先前的知识在他们的脑海中解压缩信息..因此接收 'jack pine' 的符号比接收符号 [=] 给他们更多的信息24=] 因为他们了解特定类型的树。这是否意味着 'jack pine' 熵较低，因为它对给定信号具有更多信息，因此压缩率更高？
如果我假设每个分支都有相等的概率，那么从树到一种树会增加一点熵。从一棵松树变成一种松树又增加了一点熵。知道它是杰克松比只知道它是树的熵多两位。