游戏AI--决策（1）

机器学习的引入

机器学习最近由于AlphaGo和数据挖掘的大热而变得流行起来，然而我们可以让它变得更加cool，在接下来的模块中，我将讲述我对游戏中应用机器学习的理解以及我的现有成果。

应用机器学习的意义

游戏进行中，尤其是网络游戏，会积累大量的数据，数据赋予了计算机行为意识，而我们如果能“告诉”计算机数据归纳总结的方法，那计算机可能会产生惊人的思维能力，而机器学习就是这样的一种神奇的工具。

前景

目前的游戏由于同质化严重，所以一个高度智能的游戏体验会带给玩家难以想象的快感，而且笔者以为，很有可能在某一天，我们能在游戏中建立真正的人工智能，因为游戏世界高度抽象化，数据的提取难度大大降低，当然，这有点跑题了。

应用机器学习的决策逻辑

游戏的进行，决策和事件无疑是最重要的两个条件，传统的游戏中，我们使用大量的条件判断来进行决策，不仅在逻辑上很繁琐，而且有一个重大的问题，它是“死的”，比如玩家经过一个怪物，怪物必定会攻击玩家，如果要改善这一决策，那需要添加许多条件，比如针对怪物的“攻击性”，重写判断逻辑。
机器学习则不然，我们可以根据以前的记录进行训练，每个怪物都是独特的，即使他们隶属于同一个类，“个性”将使AI十分丰富。

目标–鱼类的遗传

由于机器学习的数学模型非常复杂（对笔者来说是这样的，花了很多功夫才看懂），我们先讲一个应用，然后我们根据其需求来应用机器学习。

在之前的游戏底层逻辑中，笔者曾说过想要实现一款海洋模拟的游戏，之前的只言片语可能已经能描述大概的框架了，不知道也没关系，此处我们有一个问题：捕食行为
捕食行为基本上是动物最重要的行为了，此处有三个需要决策的问题，在进入捕食状态前的判断中，我们需要知道：
1、是否需要捕食
2、捕食什么鱼类（前提是在食物链上的）
3、哪个地方适合捕食

是否捕食

在传统游戏中，设定一个饥饿值，这个值随着时间递减，减少到一定程度就去捕食。
而这种状态是不合理的：

• 首先，我们吃东西并不一定是饥饿，其他的因素都有可能使其变化。
• 其次，这种if(1)else(0)的变化在空间上表现出来的是跳跃性的曲线，不符合我们越饥饿越想吃东西这样的特性。
• 然后，我们的决策没有随机性，很容易预测，很“无聊”。

解决方案

我们设定一个合理的初始函数：

H(x)=x1∗θ1+x2∗θ2+...+xn∗θn

矩阵（向量）表达：

H(x)=XTθ

其实就是多元一次方程，H函数得到一个值，然后我们根据值进行决策。

此处提及几个概念:
θ我们称其为权值，意思是该变量对决策产生影响的重要程度。
x此处称为特性。

根据此函数，我们输入一系列x，就能得出决策结果。然后你们可能发现了一个问题，θ怎么解决，我们先根据经验定义一个值，然后进行训练，最终得出一个权值。

遗传

所谓遗传是怎么一回事呢，此处我们每个鱼类种群共享一个H函数，鱼在生产下一代的时候，将完全继承（clone）或者部分继承（block copy）该函数，此处我们降维处理，将其直接复制。在这种机制下，拥有好的H函数的鱼群将存活下来，并且繁衍生息，而拥有差的H函数的鱼群就被淘汰了。

针对H函数进行训练，LogisticRegression

此处不会讲解关于机器学习的基本知识，太多而且笔者水平有限，讲解不清楚。
下面的模块讲解LogisticRegression（以下简称LR）的基本理解，如果不感兴趣可以跳过直接看公式。

我们已经知道了H函数，此处称为数学模型。

H(x)=x1∗θ1+x2∗θ2+...+xn∗θn

现在我们有很多的已知的数据：

x1 x2 x3 H(x)，或者叫做y 1 2 3 4 2 3 4 5

诸如此类的，此处的数据最好是数值型，如果是标称型（ex.颜色：红，黄，蓝），有比较复杂的转换过程，推荐使用其他的学习算法诸如树回归一类的。
误差函数：H函数根据我们现在已知的权值会得出一个结果，但是它和上表中的H(x)是不同的，我们把现在的权值代入每一组数据求结果，然后用真实结果（表中的H(x)，用y表示）做差，这就是误差函数。

J(θ)=12∑i=0n（H(xi)−yi)2

梯度下降
此处我们要克服误差，所以要沿着误差函数变化最快的方向改善我们的θ，该方向叫做梯度方向，二维数学表达式为：

∇f(x,y)=(∂f(x,y)∂x,∂f(x,y)∂y)

多维时相同，也就是对误差函数求偏导。
结果如下：

∑i=0n(yi−H(xi))∗xi

随机梯度下降
为了减少计算复杂度，此处我们使用随机梯度下降，将误差函数的比较范围由整个数据集合变为其中一次（此处直接为新添加的一次）：

(yi−H(xi))∗xi

然后我们的沿着这个方向一点点的改善,的到训练的迭代公式：

好了，公式就是这个，以上是推导过程：

θ:=θ−α∇f(xT)

LR代码部分：

首先引入c++矩阵库：Eigen，这个库一般般，用起来不是很顺手，由于字符对齐问题，用VS编译的同学，该库的矩阵类型请自行使用引用&。

#pragma once#include<Eigen/Dense>#include"cocos2d.h"#include<vector>using namespace Eigen;template<class ElementType, int ElementNum>class LogisticRegression//the number of sample elements is best less than 16 {public:    LogisticRegression(std::string owner)    {        assert(ElementNum < 16 &&            "TOO LONG!!!!");        this->getDataFromFile();        _owner = owner;    }    ~LogisticRegression()  {}    virtual bool initWithData(Matrix<ElementType, ElementNum, 1 >& weightMatrix,double pace)    {        _pace = pace;        try        {            _weightMatrix = weightMatrix;        }        catch (ElementType)        {            return false;        }        return true;    }public:    virtual bool getDataFromFile()    {        for (int i = 0; i < _weightMatrix.rows(); i++)        {            _weightMatrix(i, 0) = (ElementType)cocos2d::UserDefault::getInstance()->getDoubleForKey(                cocos2d::StringUtils::format("Fish_%s_weight_%d,", _owner, i).c_str()                );        }    }    void training(Matrix<ElementType, ElementNum + 1, 1>& data)//a group of data    {        Matrix<ElementType, ElementNum, 1> xi;        for (int i = 0; i < ElementNum; i++)        {            xi(i, 0) = data(i, 0);        }        _weightMatrix = _weightMatrix + _pace*(data(ElementNum, 0) - H_func(xi))*xi;    }    void training(Matrix<ElementType, ElementNum + 1, Eigen::Dynamic>& datas, bool overwide)//more than one    {        for (int i = 0; i < datas.cols(); i++)        {            Matrix<ElementType, ElementNum + 1, 1> data = data.col(i);            training(data);        }    }    ElementType resultBeforeSigmoid(Matrix<ElementType, ElementNum, 1>& data)    {        return data.dot(_weightMatrix);    }    bool result(Matrix<ElementType, ElementNum, 1>& data)//we use boolean to describe the result    {        return sigmoid(resultBeforeSigmoid(data));    }    virtual bool record()    {        for (int i = 0; i < _weightMatrix.rows(); i++)        {            cocos2d::UserDefault::getInstance()->setDoubleForKey(                cocos2d::StringUtils::format("Fish_%s_weight_%d,", _owner, i).c_str(),                (double)_weightMatrix(i, 0)                );        }    }protected:    bool sigmoid(ElementType num)    {        ElementType  result = 1 / (1 + exp(-1 * num));        return result > 0.5;    }    double H_func(Matrix<ElementType, ElementNum, 1>& data)    {        return data.dot(_weightMatrix);    }private:    Matrix<ElementType, ElementNum, 1> _weightMatrix;    double _pace;//the speed of convergence    std::string _owner;};

此处并没有对大规模训练做优化，读取数据也需要童鞋们自己动手，一个基本的类，我们讲完了所有的决策再来谈谈怎么在实例中应用这些模块。

---

准备写一个有关游戏底层算法，物理算法，以及AI（重点是机器学习在游戏中的应用）的长篇博客，欢迎大家指正交流╰(￣▽￣)╯