Gym小记（六）

试用gym wrappers

        gym wrappers用于将环境进行打包，我们可以使用这个模块来记录自己的算法在环境中的表现，并拍摄自己算法学习的视频，示例如下：

import gymfrom gym import wrappersenv=gym.make('CartPole-v0')env=wrappers.Monitor(env,'/tmp/cartpole-experiment-1')for i_episode in range(20):        observation=env.reset()        for t in range(100):                env.render()                print(observation)                action=env.action_space.sample()                s,r,done,info=env.step(action)                if done:                        print("Episode finished after {} timestep".format(t+1))                        break

        其中我们仅仅比平时多了一个对env的封装wrappers.Monitor，便会在我们所指定的目录汇总记录我们算法的性能。我们可以直接看Monitor类的定义，从而加深对这个类的理解。查看指定目录：

        可见，文件夹中包含了两种格式的文件，一种是.json文件格式，一种是.mp4格式文件。.mp4格式就不用多说，如果没有合适的视频查看器，那可以用浏览器打开。下面介绍一下.json格式文件。

        JSON（JavaScript Object Notation）是一种轻量级的数据交换格式。JSON采用完全独立于语言的文本格式，这些特性使得JSON成为理想的数据交换语言，它易于阅读和编写，同时易于机器解析和生成。

        JSON有两种基础结构：

        1）”名称/值“对的集合（A collection of name/value pairs）。不同的语言中，它被理解为对象（object），记录（record），结构（struct），字典（dictionary），哈希表（hash table），有键列表（keyed list），或者关联数组（associative array）。

        2）值的有序列表（An ordered list of values）。在大部分语言中，它被理解为数组（array）。

        下面我们打开openaigym.episode_batch.0.15433.stats.json文件来看一下：

        上面是我整理了之后的样子，因为它本身是所有数据都在一行的，所以截屏的话只能看见前面的数据，于是我就给它分行了。

        从示例中可以看出JSON的两种基础数据结构，比如episode_types是名称，后面的["t","t","t","t","t","t","t","t","t","t","t","t","t","t","t","t","t","t","t","t","t","t"...]就是值的有序列表。

        该文件中记录的是我们训练过程中的各种数据，此外，另外两个文件openaigym.manifest.0.15433.manifest.json和openaigym.video.0.15433.video000000.meta.json则分别如下图所示：

        1）openaigym.manifest.0.15433.manifest.json：

        2）openaigym.video.0.15433.video000000.meta.json：

        了解完gym.wrappers.Monitor所记录的文件之后，我们继续考虑如何将这些结果上传到OpenAI Gym：

gym.upload('/tmp/cartpole-experiment-1',api_key='sk_Gmo4wYBhRoeJ9shfSS8hvg'）

        这样便将结果上传到了OpenAI Gym。不过upload函数现在暂时不能用了：

        NotImplementedError，所以这样看来我们暂时是不能用upload功能将我们的代码上传到OpenAI Gym咯～。

        但是我们可以看看以前用upload得到的结果：

[2017-05-11 00:11:13,592] [CartPole-v0] Uploading 20 episodes of training data[2017-05-11 00:11:21,614] [CartPole-v0] Uploading videos of 3 training episodes (8459 bytes)[2017-05-11 00:11:33,060] [CartPole-v0] Creating evaluation object from /tmp/cartpole-experiment-1 with learning curve and training video[2017-05-11 00:11:33,669] ****************************************************You successfully uploaded your evaluation on CartPole-v0 toOpenAI Gym! You can find it at:    https://gym.openai.com/evaluations/eval_mVPNxudETYOY9eCCwwWzw****************************************************