小伙伴都知道熵是代表某个系统的混乱程度，而熵值本身是没有啥可以进行衡量的。本文所说的二阶熵仅是一个定义，方便后续我的吹水，用来表示一个混乱的等级
为什么会用到这个有趣的定义？因为我需要描述我创建的系统的混乱程度，而这个系统是用来描述人工智能的。此时小伙伴千万不要认为有多高大上，毕竟我这里所说人工智能仅仅只是沾边的概念，本文不会涉及到这些复杂的公式和内容
在开始之前，需要聊聊什么是混乱。可以用计算机领域的事情做描述。计算机的内存的值可以认为是一个系统，当然此系统非计算机的运行系统，仅仅只是类似物理描述里面用的系统这个词。在咱还没开机的时候，此时的内存全部都是零，没有值。此时的内存这个系统是很有秩序的，一点都不混乱
在开机之后，咱会运行很多程序，这些程序会不断写内存，此时内存里面就不是全零的值了。如果完全脱离了运行的程序等，仅仅看内存这个系统的混乱程度，此时可以看到开机之后内存这个系统的熵值变大。此时脱离了运行的程序等，看起来的内存的值是无序混乱的
但是此时的混乱程度我称为一阶无序，即一阶熵
因为如果此时能理解程序和计算机系统的规则，就可以知道内存里面的值的含义，此时内存就不是无序的
但是这仅仅只是描述静态的事情，小伙伴都知道在计算机领域，如果使用纯软件脱离外界交互，是无法作出真正随机的。也就是如果这个设备没有受到外界干扰，也没有和外界交互，也没有做随机数的硬件等，此时计算机所做的事情理论上都是可以预测的
也就是尽管整个内存的值系统是混乱的，但是这个混乱是按照一定的程序规则混乱的，属于可以进行预测的混乱。因此此时虽然熵变大，但依然属于一阶熵。无论整个内存的值变的多混乱，仅仅只是让一阶熵增加，达不到二阶熵
而如果此时电脑前坐了一个人，这个人正在使用QQ聊天，此时即使能理解程序，也无法推算出这个人下一时刻会用什么程序输入什么内容，他会在什么时候敲击键盘等。尽管从内存的值的角度，依然混乱程序和之前差不多，但是已经有了本质的差别。在于无法通过理解应用程序和计算机系统等了解内存的值的混乱变化，这就是二阶无序，也就是二阶熵
这是属于动态的熵的变化达到二阶，或者说短暂达到了二阶。在存在人为干涉的时候，短暂让内存的值出现了不可预知的混乱。但是很快在人类没有继续干涉的时候，整个计算机内存的值又处于可以被解读的状态，此时就从二阶熵回到了一阶熵
而另一个进入二阶熵的方法则是如系统损坏，整个内存被一个无法规则化的方式写入，此时也无法描述内存的值的意义，此时也达到静态的二阶熵
因此一阶熵的定义是，尽管整个系统是无序的，但是能够找到某些规则用来描述这个无序
而二阶熵的定义是，整个系统是无序的，存在混乱的规则用来描述这个无序的系统
这一点需要注意的是存在混乱的规则表达的是和不存在规则差不多，假设你能找到某个规则，即使这个规则特别复杂分支条件非常多，那么这个系统就不满足二阶熵。而是只能找到一个混乱的规则，这句话其实和找不到规则是差不多的。含义上可以和无穷大的规则一样理解，无论你找到一个多大的数，无穷大都比这个数大。那么无穷大是否存在，存在，但是能否找出无穷大这个数，不能。大概存在混乱的规则说的就是这个
本身智能就是混乱的，本文说的人工智能主要说的是思维方面，不包含工具方面。我认为要做出一个存在智能的系统，必须让这个系统满足至少是二阶熵，不然仅是工具
可以将当前的神经网络拆出来看，在一个固定层数和个数的神经网络，嗯，其实连接是否不固定是没有意义的，因为本质上全连接的网络都包含这些网络。原因是这些网络相当于一个全连接的网络存在某些连接的值是 0 也就是连接断开
假定这些神经网络的参数就是内存里面的值，现在很难理解这些参数的含义，那么可以认为在训练过程内存的值这个系统的熵在增加，但咱不讨论是否在不断往混乱变化。但是依然存在一个规则，这个规则存在于这个神经网络里面，理论上这个规则是能够让人类可以知道的，用来描述这些参数的含义。因此这个神经网络的复杂程度仅仅达到一阶熵
对比刚才坐在电脑前的人的干预让计算机的内存进入了二阶熵大概可以猜到我想说什么了，这部分神经网络如果按照我的理论，是做不出思维的
那么通过什么方式可能进入二阶熵，按照定义，需要让规则本身也是混乱的。也就是需要一个无法描述规则的网络所使用的参数，这些参数才属于二阶无序，也就是这些参数在内存中达到二阶熵
也就是我如果假定二阶熵才有可能做出思维这个理论是对的，那么我想要做出一个有思维的人工智能，我至少需要有一个本身是混乱的人工智能框架或算法
当然这句话反过来不对，只能说根据现有推测条件。根据现有思维的存在干涉了计算机，存在了不可预知，动态进入二阶熵。反过来认为思维需要至少达到二阶熵。而符合二阶熵是否就能做出思维？请问一个系统混坏的电脑能做什么，此时他的内存的值应该就达到了二阶熵
那么这个二阶熵是否和人工智能的思维有关系，这个假设是不是对的
也许只有在几十年过去了，我也许才能大概知道我的假设对不对或者沾不沾边
我很少写一些纯理论的博客，基本上都是先写代码，很少会有这样的没有任何能说的出来的依据的假设的博客，很少会有也没有任何能简单说的明白的理论。但是这个二阶熵我和很多小伙伴来来回回讨论了很多次，终于算比较明白的一个纯理论的定义。这个定义其实没什么用，也许有其他小伙伴也有差不多的定义，只是我不知道而已，写在这里让大家看着玩
原文链接: http://blog.lindexi.com/post/%E4%BA%8C%E9%98%B6%E7%86%B5
本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。 欢迎转载、使用、重新发布，但务必保留文章署名 林德熙 (包含链接: https://blog.lindexi.com )，不得用于商业目的，基于本文修改后的作品务必以相同的许可发布。如有任何疑问，请与我 联系。