Efficient Information
architecture
前言
本期将以Causal emergence from effective information:Neither causal nor emergent?这一篇论文导读的形式，介绍因果涌现中的一些基本概念。
因果涌现这一概念由Eric Hoel提出，毕业于UW-Madison，neuroscience PhD。
整体理解
所谓的因果涌现是指动力系统的一类特殊的涌现现象，即系统在宏观尺度会展现出更强的因果特性。 比如：
- 蚁群能够驾驭树叶之舟在溪流上航行
- 有机物细胞 -> 大脑 -> 自由意志
本文中特指对于一类马尔可夫动力学系统来说，在对其状态空间进行适当的粗粒化以后，所形成的宏观动力学会展现出比微观更强的因果特性。
这几个概念将在下文中展开说明。
衡量指标
信息论出发点
熵：描述不确定性 取单一变量： $$ h(x)=-\log_2P(x) $$ 整体熵/不确定性，计算数学期望： $$H(X)=\sum_{X \in A_x}P(x)h(x)$$
希望做的是减少其中的不确定性，从而对未来进行更加准确的预测。
因而可以引入互信息，在观测和$X$互相影响的$Y$后，导致$X$分布变化后，产生一个新熵，熵变小。
变化之前的熵减去变化之后的熵，也即互信息的大小。
比较逻辑
前文提到宏观尺度展现的因果特性比微观更强，这其中存在着一组比较的逻辑，我们不妨把问题拆分为三步
-
是否具有可比性
-
同一尺度下的比较
-
不同尺度下的比较
在这一阶段，需要引入马尔可夫转移矩阵的概念：
马尔可夫转移矩阵是一种数学工具，用于描述马尔可夫过程中状态的转移情况。在马尔可夫过程中，状态的转移只与当前状态有关，而与之前的状态无关。马尔可夫转移矩阵是一个方阵，其中每个元素表示从一个状态到另一个状态的概率。可以通过计算马尔可夫转移矩阵来预测未来的状态。
可比性
以下图为例，$M_1$代表共考虑四种态，矩阵中第一行第三个元素表示从第一个态转换为第三个态的概率为1，同理可推，这一系统中态的转移过程是1 -> 3 -> 4 -> 2 -> 1（对初始值并不敏感，后续一定进入循环），而$M_2$矩阵的系统则可预测性/规律性没有这么强。
同一尺度比较
上一个例子即为同一尺度比较（直观体现为矩阵大小相同，没有进行粗粒化，也即类似机器学习中维度压缩的概念），这里再做展开补充说明。
EI有效信息是衡量一个系统能够传递多少关于其过去和未来的信息的标准。一个系统如果具有绝对的因果性，传递的信息量（也即有效信息）就越大。而以布尔代数的视角看，$n$个0-1元件最多能传输$2^n$单位的信息，也即n bit的信息（详情见比特定义），与下图中最左情况保持一致。
而如果如最右图所示，未来和现在没有任何关系，状态转移完全是均等概率的随机，所以不能传递任何关于其过去和未来的信息。因而有效信息达到了最低点。
具体计算公式如下，算法为做平均，$do$算子即为施加的干涉： $$ \begin{gather*} EI=MI(I_D,E_D)=\\ \sum _{i \in U(I)}P(do(s_{t-1}=i))(\sum _{s_t}P(s_t|do(s_{t-1}=i))\ln \frac{P(s_t|do(s_{t-1}=i))}{P(s_t)}) \end{gather*} $$
不同尺度比较
在比较了同一尺度下的因果特性强弱之后，不妨回到因果涌现的定义，探究不同尺度下的结果。
仍以布尔网络为例，左侧为微观态，右侧为宏观态。
表格描述：
A：微观态下，以左侧第一行为例，ABCD中任何一个节点（元件）在相连两个节点状态都为0时（元件都关闭时），转换为0的概率为0.7，而转换为1的概率则为0.3。
B：宏观态下，将AB、CD分别组合起来，以右侧第一行为例，任何一个组合后的节点（元件）在另一组合后的节点状态为off时，转换为off的概率为0.91，而转换为on的概率为0.09。
马尔可夫转移矩阵描述：
C：微观态下，行表示$t-1$时刻的状态，列表示$t$时刻的状态，从上到下从左到右分别为0000到1111（每个节点/元件有2种状态，4个节点/元件，共16种组合），矩阵灰度表示转移确定性。
D：把微观节点做分组，捏成宏观节点（此处逻辑可理解为串联），称之为粗粒化的过程。
E：宏观态下，同理，从上到下从左到右分别为off off到on on，有效信息（灰度）更高，出现了涌现。
局限性
因果？
- 并没有给出宏观层面真正的因果作用力，而更像是一种新颖的因果解释方式
- 没有微观层面的因果，只是宏观层面一定程度上的“自说自话”
- 如果宏观态随附于微观态，那么多尺度分析就无从进行
涌现？
-
Causal emergence is when the macro beats the micro in terms of efficacy, informativeness, or power of its causal relationships.
- Eric Hoel目前研究的更像是一种弱涌现，而非强涌现
参考文献
