Infomax算法

1988年Linker提出了Infomax（InformationMaximization）原则，即信息传输极大原则。可描述为：网络的输入端和输出端的互信息达到最大时，等价于输出端各分量间的冗余信息得到去除。

算法的思路是：对每个观测向量X（t）先通过线性变换求-。个中间向量Y=WX（t）。然后通过非线性变换Zi=g（Yi）求得输出向量Z。

根据互信息的性质可知：分量到分量的非线性映射aQ对互信息不产任何的影响，Z）的最小化也意味着1Y的最小化e于是针对Zt建文一个县标函数，这里选择Z（U的熵作为且标函数、因为墙是一个随机量无序性的度量。如果Z（t的各分量的统计独立性越高则相应Z（t）的熵越大，所以只需求得使得目标函数达到最大的W即求得了ICA的解。

此思路是模仿单层前向神经网络，X和Z分别网络的输入与输出。