抽象的熵

       记得当时在围观第二批毕设答辩的时候，蔡骋老师曾经问过一个给出许多公式的一个同学一个问题"给我们解释一下‘熵’的概念"，当时不仅是那个同学傻了，我也傻了。我记得高中物理课上和化学课上都学过的啊，做题的时候经常会有个‘熵’的东西的，奈何具体是什么确实答不上来了。蔡骋老师不在台上为难学生，就帮忙回答了，“这是一个系统有序程度的度量，那么你说说系统越有序熵的值越大还是越小呢？”，那时我确实想起来了，高中学的时候是系统越均匀，熵的值越大的。那个同学没有回答上来，我叽歪了声“越有序越大”，结果旁边有一个老师极为不给面子的说“越有序越小”。当时耿耿于怀，差点想问问蔡骋老师是不是这样，虽然做毕设的时候我确实也遇到过这个“熵”的概念，但是一直没有理解到底什么是“熵”，一个多月过去了，今天突然想弄个明白。

      在百科上搜了下，其实还是不是很理解。姑且先在此做个笔记。

      “熵”起初是个物理学上热力学的概念，指热能除以温度的商，标志热量转化为功的程度。熵的提出者表示熵能表示任何一种能量在空间中分布的均匀程度，能量分布的越均匀，熵就越大（哈哈，果然对得起我的记忆力，高中没有白上了）。后面百科里给出了很多热力学的解释，包括一些推倒和证明还有一些结论啊，对物理不感冒的就看不下去了。我也知道这样其实很不好很不应该的，但是实在是不感兴趣了。

      接下来，在信息论中，信息论之父香农先生将“熵”的概念进入信息论，熵表示的是不确定性的度量，香农把信息定义为“用来消除不确定性的”东西。信息熵指某种特定信息出现的概率，信息熵也可以说是系统有序化程度的一个度量，一个系统越有序熵越低；一个系统越混乱，信息熵越大。（哎呀，其实我还是不明白啊，你怎么就这么定义了呢？）

      百科里还有一段论述，香农先生表示对信息的销毁也是一个不可逆的过程，如同你把半杯热水混入半杯凉水中，温度中和了一样，在热力学这是熵增加了。产生信息，则是系统引入负熵的过程，所以信息熵的符号与热力学熵应该是符号相反的。（不是很理解）当一种信息出现的概率高时，被引用的程度就高，可以表示信息的价值越大。物理学中热熵只能增加不能减少；信息论中，相反地，熵只能减少不能增加。

      好吧，这很抽象啊，还得继续研究啊，希望理解的同学给点提示啊！