程序博客网 > 手机网络代理ip

Hadoop2.6.0中YARN底层状态机实现分析

来源：互联网 发布：手机网络代理ip 编辑：程序博客网 时间：2024/06/01 17:06

以下内容转自http://blog.csdn.net/beliefer/article/details/51190842


Hadoop2.6.0中YARN底层状态机实现分析


前言

Hadoop2.x.x版本的底层实现中作了很多优化：用状态机对各种对象生命周期和状态转移进行管理；采用事件机制避免线程同步与阻塞；采用Protocol Buffers优化RPC性能；采用Apache Avro优化日志等。本文主要针对YARN中状态机的实现进行分析，在这个过程中，会捎带一些事件的内容。

事件

YARN中的很多组件之间进行通信，主要借助于事件。为了可读性、可维护性及可扩展性，YARN中的事件由事件名称和事件类型组成。比如JobImpl处理的事件名称为JobEvent，而事件类型为JobEventType。有关Hadoop2.6.0的事件分类与实现可以参考《Hadoop2.6.0的事件分类与实现》一文。

状态

YARN中的每个组件都有其自身所处的一系列状态，比如JobImpl内部的一系列状态都定义在JobStateInternal中，如代码清单1所示。

代码清单1

[java] view plain copy
  1. public enum JobStateInternal {  
  2.   NEW,  
  3.   SETUP,  
  4.   INITED,  
  5.   RUNNING,  
  6.   COMMITTING,  
  7.   SUCCEEDED,  
  8.   FAIL_WAIT,  
  9.   FAIL_ABORT,  
  10.   FAILED,  
  11.   KILL_WAIT,  
  12.   KILL_ABORT,  
  13.   KILLED,  
  14.   ERROR,  
  15.   REBOOT  
  16. }  

我们看到JobImpl的内部状态包括新建（NEW）、初始化（INITED）、运行中（RUNNING）、提交中（COMMITTING）、成功（SUCCEEDED）、失败（FAILED）等。

转换（过渡）

我们已经了解了事件与状态的基本实现与概念，那么事件与状态有什么关系？从哲学角度讲，状态是一个事物的静止属性，而事件则是一个事物与外界沟通的桥梁，只有静止却没有变化，那么它只是一滩死水。事物只有在接收信息后动起来，才算与外界有了互动。一个事物动起来就会潜移默化的发生改变，它内部就会发生转换。一个对象当前处于状态state0，当对象接收到事件Event后，将引发转换动作transition，最终当前对象的状态过渡到state1，这个过程可以用图1来表示。


图1 状态迁移示例

YARN中与过渡相关的类图如图2所示。


图2 YARN中与过渡相关的类图

YARN中的各个组件的变化都离不开状态的过度与变化，于是对这种行为进行了抽象，这种转换分为两类：单弧过渡与多弧过渡。（这种翻译不知道是否准确，我认为从一个状态到另一个状态的转换发生时，就像是在两个状态之间划了一道弧线一样）

单弧过渡

YARN中单弧过渡的实现代码如代码清单2，它的作用是当有限状态机（FSM）中的状态转换为已经注册到状态机的某种状态时，伴随的行为。

代码清单2

[java] view plain copy
  1. @Public  
  2. @Evolving  
  3. public interface SingleArcTransition<OPERAND, EVENT> {  
  4.   /** 
  5.    * Transition hook. 
  6.    *  
  7.    * @param operand the entity attached to the FSM, whose internal  
  8.    *                state may change. 
  9.    * @param event causal event 
  10.    */  
  11.   public void transition(OPERAND operand, EVENT event);  
  12.   
  13. }  

由于SingleArcTransition的具体实现类只负责接收到事件后的具体操作或行为，并没有包含状态相关的信息，所以在状态机执行状态过渡时，并不是直接调用SingleArcTransition具体实现类的transition方法，而是由接口Transition定义（见代码清单3）真正的转态过渡（包括行为和状态改变）。

代码清单3

[java] view plain copy
  1. private interface Transition<OPERAND, STATE extends Enum<STATE>,  
  2.         EVENTTYPE extends Enum<EVENTTYPE>, EVENT> {  
  3.   STATE doTransition(OPERAND operand, STATE oldState,  
  4.                      EVENT event, EVENTTYPE eventType);  
  5. }  

SingleInternalArc作为Transition接口的实现类，在代理SingleArcTransition的同时，负责状态变换，见代码清单4。

代码清单4

[java] view plain copy
  1. private class SingleInternalArc  
  2.                   implements Transition<OPERAND, STATE, EVENTTYPE, EVENT> {  
  3.   
  4.   private STATE postState;  
  5.   private SingleArcTransition<OPERAND, EVENT> hook; // transition hook  
  6.   
  7.   SingleInternalArc(STATE postState,  
  8.       SingleArcTransition<OPERAND, EVENT> hook) {  
  9.     this.postState = postState;  
  10.     this.hook = hook;  
  11.   }  
  12.   
  13.   @Override  
  14.   public STATE doTransition(OPERAND operand, STATE oldState,  
  15.                             EVENT event, EVENTTYPE eventType) {  
  16.     if (hook != null) {  
  17.       hook.transition(operand, event);  
  18.     }  
  19.     return postState;  
  20.   }  
  21. }  

多弧过渡

YARN中多弧过渡的实现代码如代码清单5，它的作用是当有限状态机（FSM）中的状态转换为已经注册到状态机的多个有效状态中的一个时，伴随的行为与操作。

代码清单5

[java] view plain copy
  1. @Public  
  2. @Evolving  
  3. public interface MultipleArcTransition  
  4.         <OPERAND, EVENT, STATE extends Enum<STATE>> {  
  5.   
  6.   /** 
  7.    * Transition hook. 
  8.    * @return the postState. Post state must be one of the  
  9.    *                      valid post states registered in StateMachine. 
  10.    * @param operand the entity attached to the FSM, whose internal  
  11.    *                state may change. 
  12.    * @param event causal event 
  13.    */  
  14.   public STATE transition(OPERAND operand, EVENT event);  
  15.   
  16. }  
由于MultipleArcTransition的具体实现类只负责接收到事件后的具体操作或行为，并没有包含状态相关的信息，所以在状态机执行状态过渡时，并不是直接调用MultipleArcTransition具体实现类的transition方法，而是通过代理类MultipleInternalArc，见代码清单6。MultipleInternalArc也实现了Transition接口，并在代理MultipleArcTransition的转换行为的同时，负责状态变换。

代码清单6

[java] view plain copy
  1. private class MultipleInternalArc  
  2.             implements Transition<OPERAND, STATE, EVENTTYPE, EVENT>{  
  3.   
  4.   // Fields  
  5.   private Set<STATE> validPostStates;  
  6.   private MultipleArcTransition<OPERAND, EVENT, STATE> hook;  // transition hook  
  7.   
  8.   MultipleInternalArc(Set<STATE> postStates,  
  9.                  MultipleArcTransition<OPERAND, EVENT, STATE> hook) {  
  10.     this.validPostStates = postStates;  
  11.     this.hook = hook;  
  12.   }  
  13.   
  14.   @Override  
  15.   public STATE doTransition(OPERAND operand, STATE oldState,  
  16.                             EVENT event, EVENTTYPE eventType)  
  17.       throws InvalidStateTransitonException {  
  18.     STATE postState = hook.transition(operand, event);  
  19.   
  20.     if (!validPostStates.contains(postState)) {  
  21.       throw new InvalidStateTransitonException(oldState, eventType);  
  22.     }  
  23.     return postState;  
  24.   }  
  25. }  

为了将所有状态机中的状态过渡与状态建立起映射关系，YARN中提供了ApplicableTransition接口用于将SingleInternalArc和MultipleInternalArc添加到状态机的拓扑表中，提高在检索状态对应的过渡实现时的性能，ApplicableTransition的实现类为ApplicableSingleOrMultipleTransition类，其apply方法用于代理SingleInternalArc和MultipleInternalArc，将它们添加到状态拓扑表中。ApplicableTransition接口的定义见代码清单7，ApplicableSingleOrMultipleTransition的实现见代码清单8。

代码清单7

[java] view plain copy
  1. private interface ApplicableTransition  
  2.            <OPERAND, STATE extends Enum<STATE>,  
  3.             EVENTTYPE extends Enum<EVENTTYPE>, EVENT> {  
  4.   void apply(StateMachineFactory<OPERAND, STATE, EVENTTYPE, EVENT> subject);  
  5. }  

代码清单8

[java] view plain copy
  1. static private class ApplicableSingleOrMultipleTransition  
  2.            <OPERAND, STATE extends Enum<STATE>,  
  3.             EVENTTYPE extends Enum<EVENTTYPE>, EVENT>  
  4.         implements ApplicableTransition<OPERAND, STATE, EVENTTYPE, EVENT> {  
  5.   final STATE preState;  
  6.   final EVENTTYPE eventType;  
  7.   final Transition<OPERAND, STATE, EVENTTYPE, EVENT> transition;  
  8.   
  9.   ApplicableSingleOrMultipleTransition  
  10.       (STATE preState, EVENTTYPE eventType,  
  11.        Transition<OPERAND, STATE, EVENTTYPE, EVENT> transition) {  
  12.     this.preState = preState;  
  13.     this.eventType = eventType;  
  14.     this.transition = transition;  
  15.   }  
  16.   
  17.   @Override  
  18.   public void apply  
  19.            (StateMachineFactory<OPERAND, STATE, EVENTTYPE, EVENT> subject) {  
  20.     Map<EVENTTYPE, Transition<OPERAND, STATE, EVENTTYPE, EVENT>> transitionMap  
  21.       = subject.stateMachineTable.get(preState);  
  22.     if (transitionMap == null) {  
  23.       // I use HashMap here because I would expect most EVENTTYPE's to not  
  24.       //  apply out of a particular state, so FSM sizes would be   
  25.       //  quadratic if I use EnumMap's here as I do at the top level.  
  26.       transitionMap = new HashMap<EVENTTYPE,  
  27.         Transition<OPERAND, STATE, EVENTTYPE, EVENT>>();  
  28.       subject.stateMachineTable.put(preState, transitionMap);  
  29.     }  
  30.     transitionMap.put(eventType, transition);  
  31.   }  
  32. }  

可以看到ApplicableSingleOrMultipleTransition的apply方法就是为构建状态拓扑表而开发的。

状态机

YARN中状态机的实现类是StateMachineFactory，它主要包含4个属性信息：

  • transitionsListNode：过渡列表节点。根据其名字不太容易理解，我这里说得简单点，就是将状态机的一个个过渡的ApplicableTransition实现串联为一个列表，每个节点包含一个ApplicableTransition实现及指向下一个节点的引用，其实现见代码清单9所示。

代码清单9

[java] view plain copy
  1. private class TransitionsListNode {  
  2.   final ApplicableTransition<OPERAND, STATE, EVENTTYPE, EVENT> transition;  
  3.   final TransitionsListNode next;  
  4.   
  5.   TransitionsListNode  
  6.       (ApplicableTransition<OPERAND, STATE, EVENTTYPE, EVENT> transition,  
  7.       TransitionsListNode next) {  
  8.     this.transition = transition;  
  9.     this.next = next;  
  10.   }  
  11. }  

transitionsListNode形成的过渡列表节点可以用图3表示。


图3 transitionsListNode过渡链表结构


  • stateMachineTable：状态拓扑表，为了提高检索状态对应的过渡map而冗余的数据结构，此结构在optimized为真时，通过对transitionsListNode链表进行处理产生。stateMachineTable的结构可以用图4来表示。


图4 状态拓扑表数据结构

  • defaultInitialState：对象创建时，内部有限状态机的默认初始状态。比如：JobImpl的内部状态机默认初始状态是JobStateInternal.NEW。
  • optimized：布尔类型，用于标记当前状态机是否需要优化性能，即构建状态拓扑表stateMachineTable。


共有构造器

StateMachineFactory的公有构造器只有一个，其实现见代码清单10。

代码清单10

[java] view plain copy
  1. public StateMachineFactory(STATE defaultInitialState) {  
  2.   this.transitionsListNode = null;  
  3.   this.defaultInitialState = defaultInitialState;  
  4.   this.optimized = false;  
  5.   this.stateMachineTable = null;  
  6. }  
可见新建的StateMachineFactory实例只有一个默认初始状态参数defaultInitialState。

私有构造器

StateMachineFactory的私有构造器有两个，其中代码清单11中的构造器在addTransition方法中使用。从其实现看出，此构造器的主要作用是构建transitionsListNode链表。

代码清单11

[java] view plain copy
  1. private StateMachineFactory  
  2.     (StateMachineFactory<OPERAND, STATE, EVENTTYPE, EVENT> that,  
  3.      ApplicableTransition<OPERAND, STATE, EVENTTYPE, EVENT> t) {  
  4.   this.defaultInitialState = that.defaultInitialState;  
  5.   this.transitionsListNode   
  6.       = new TransitionsListNode(t, that.transitionsListNode);  
  7.   this.optimized = false;  
  8.   this.stateMachineTable = null;  
  9. }  
而代码清单12中的构造器则在installTopology方法中使用。

代码清单12

[java] view plain copy
  1. private StateMachineFactory  
  2.     (StateMachineFactory<OPERAND, STATE, EVENTTYPE, EVENT> that,  
  3.      boolean optimized) {  
  4.   this.defaultInitialState = that.defaultInitialState;  
  5.   this.transitionsListNode = that.transitionsListNode;  
  6.   this.optimized = optimized;  
  7.   if (optimized) {  
  8.     makeStateMachineTable();  
  9.   } else {  
  10.     stateMachineTable = null;  
  11.   }  
  12. }  
代码清单12中的构造器当optimized参数为true时，调用了makeStateMachineTable方法，makeStateMachineTable的实现见代码清单13所示。

代码清单13

[java] view plain copy
  1. private void makeStateMachineTable() {  
  2.   Stack<ApplicableTransition<OPERAND, STATE, EVENTTYPE, EVENT>> stack =  
  3.     new Stack<ApplicableTransition<OPERAND, STATE, EVENTTYPE, EVENT>>();  
  4.   
  5.   Map<STATE, Map<EVENTTYPE, Transition<OPERAND, STATE, EVENTTYPE, EVENT>>>  
  6.     prototype = new HashMap<STATE, Map<EVENTTYPE, Transition<OPERAND, STATE, EVENTTYPE, EVENT>>>();  
  7.   
  8.   prototype.put(defaultInitialState, null);  
  9.   
  10.   // I use EnumMap here because it'll be faster and denser.  I would  
  11.   //  expect most of the states to have at least one transition.  
  12.   stateMachineTable  
  13.      = new EnumMap<STATE, Map<EVENTTYPE,  
  14.                          Transition<OPERAND, STATE, EVENTTYPE, EVENT>>>(prototype);  
  15.   
  16.   for (TransitionsListNode cursor = transitionsListNode;  
  17.        cursor != null;  
  18.        cursor = cursor.next) {  
  19.     stack.push(cursor.transition);  
  20.   }  
  21.   
  22.   while (!stack.isEmpty()) {  
  23.     stack.pop().apply(this);  
  24.   }  
  25. }  
通过阅读makeStateMachineTable的实现，不难看出其作用：

  1. 创建堆栈stack，用于将transitionsListNode链表中各个节点持有的ApplicableSingleOrMultipleTransition压入栈中；
  2. 创建状态拓扑表stateMachineTable，并在此拓扑表中插入一个额外的默认初始状态defaultInitialState与null的映射；
  3. 迭代访问transitionsListNode链表，并将各个节点持有的ApplicableSingleOrMultipleTransition压入栈中；
  4. 依次弹出栈顶的ApplicableSingleOrMultipleTransition，并应用其apply方法（已在前面小节介绍），持续不断的构建状态拓扑表stateMachineTable。
至此，关于YARN状态机的基本概念和接口叙述完毕。下面分析状态机构建过程。

状态机构建

为了简化叙述，本节以JobImpl中状态机的构建为例。由于JobImpl的状态机预设的（调用addTransition方法）加入的ApplicableSingleOrMultipleTransition非常多，我们节选其中的2个作为典型进行分析。最后还会分析installTopology方法的实现。JobImpl中状态机的定义见代码清单14。

代码清单14

[java] view plain copy
  1. protected static final  
  2.   StateMachineFactory<JobImpl, JobStateInternal, JobEventType, JobEvent>   
  3.      stateMachineFactory  
  4.    = new StateMachineFactory<JobImpl, JobStateInternal, JobEventType, JobEvent>  
  5.             (JobStateInternal.NEW)  
  6.   
  7.         // Transitions from NEW state  
  8.         .addTransition(JobStateInternal.NEW, JobStateInternal.NEW,  
  9.             JobEventType.JOB_DIAGNOSTIC_UPDATE,  
  10.             DIAGNOSTIC_UPDATE_TRANSITION)  
  11.         .addTransition(JobStateInternal.NEW, JobStateInternal.NEW,  
  12.             JobEventType.JOB_COUNTER_UPDATE, COUNTER_UPDATE_TRANSITION)  
  13.         .addTransition  
  14.             (JobStateInternal.NEW,  
  15.             EnumSet.of(JobStateInternal.INITED, JobStateInternal.NEW),  
  16.             JobEventType.JOB_INIT,  
  17.             new InitTransition())  
  18.         // 省略其它addTransition调用  
  19.         // create the topology tables  
  20.         .installTopology();  

构建JobImpl的状态机的步骤如下：
  1. 调用StateMachineFactory构造器创建一个初始的状态机；
  2. 调用addTransition(STATE preState, STATE postState, EVENTTYPE eventType, SingleArcTransition<OPERAND, EVENT> hook)方法添加单弧过渡。从其实现（见代码清单15）可以知道addTransition方法将SingleArcTransition封装为SingleInternalArc，然后将SingleInternalArc封装为ApplicableSingleOrMultipleTransition，最后调用之前说的第一个私有构造器构建transitionsListNode链表；
  3. 调用addTransition(STATE preState, Set<STATE> postStates, EVENTTYPE eventType, MultipleArcTransition<OPERAND, EVENT, STATE> hook)方法添加多弧过渡。从其实现（见代码清单16）可以知道addTransition方法将MultipleArcTransition封装为MultipleInternalArc，然后将MultipleInternalArc封装为ApplicableSingleOrMultipleTransition，最后调用之前说的第一个私有构造器构建transitionsListNode链表；
  4. 最后调用installTopology方法，其实现见代码清单17。installTopology正是在使用之前说的第二个私有构造器构建状态拓扑表stateMachineTable；
代码清单15
[java] view plain copy
  1. public StateMachineFactory  
  2.            <OPERAND, STATE, EVENTTYPE, EVENT>  
  3.         addTransition(STATE preState, STATE postState,  
  4.                       EVENTTYPE eventType,  
  5.                       SingleArcTransition<OPERAND, EVENT> hook){  
  6.   return new StateMachineFactory<OPERAND, STATE, EVENTTYPE, EVENT>  
  7.       (this, new ApplicableSingleOrMultipleTransition<OPERAND, STATE, EVENTTYPE, EVENT>  
  8.          (preState, eventType, new SingleInternalArc(postState, hook)));  
  9. }  

代码清单16

[java] view plain copy
  1. public StateMachineFactory  
  2.            <OPERAND, STATE, EVENTTYPE, EVENT>  
  3.         addTransition(STATE preState, Set<STATE> postStates,  
  4.                       EVENTTYPE eventType,  
  5.                       MultipleArcTransition<OPERAND, EVENT, STATE> hook){  
  6.   return new StateMachineFactory<OPERAND, STATE, EVENTTYPE, EVENT>  
  7.       (this,  
  8.        new ApplicableSingleOrMultipleTransition<OPERAND, STATE, EVENTTYPE, EVENT>  
  9.          (preState, eventType, new MultipleInternalArc(postStates, hook)));  
  10. }  

代码清单17

[java] view plain copy
  1. public StateMachineFactory  
  2.            <OPERAND, STATE, EVENTTYPE, EVENT>  
  3.         installTopology() {  
  4.   return new StateMachineFactory<OPERAND, STATE, EVENTTYPE, EVENT>(this, true);  
  5. }  

再来看看代码清单14中列出的DIAGNOSTIC_UPDATE_TRANSITION，其实现如下。

[java] view plain copy
  1. private static final DiagnosticsUpdateTransition  
  2.     DIAGNOSTIC_UPDATE_TRANSITION = new DiagnosticsUpdateTransition();  
DiagnosticsUpdateTransition的代码实现如下，可见其类型的确是SingleArcTransition。COUNTER_UPDATE_TRANSITION也是类似，故不再赘述。

[java] view plain copy
  1. private static class DiagnosticsUpdateTransition implements  
  2.     SingleArcTransition<JobImpl, JobEvent> {  
  3.   @Override  
  4.   public void transition(JobImpl job, JobEvent event) {  
  5.     job.addDiagnostic(((JobDiagnosticsUpdateEvent) event)  
  6.         .getDiagnosticUpdate());  
  7.   }  
  8. }  

代码清单14中的InitTransition，其实现如下。具体逻辑此处就不必详述了，有兴趣的同学可以继续进行分析。

[java] view plain copy
  1. public static class InitTransition   
  2.     implements MultipleArcTransition<JobImpl, JobEvent, JobStateInternal> {  
  3.   
  4.   @Override  
  5.   public JobStateInternal transition(JobImpl job, JobEvent event) {  
  6.       // 省略具体逻辑  
  7.     }  
  8.   }  
  9. }  

状态转移
StateMachineFactory状态转换的代码如下。
[java] view plain copy
  1. private STATE doTransition  
  2.          (OPERAND operand, STATE oldState, EVENTTYPE eventType, EVENT event)  
  3.     throws InvalidStateTransitonException {  
  4.   // We can assume that stateMachineTable is non-null because we call  
  5.   //  maybeMakeStateMachineTable() when we build an InnerStateMachine ,  
  6.   //  and this code only gets called from inside a working InnerStateMachine .  
  7.   Map<EVENTTYPE, Transition<OPERAND, STATE, EVENTTYPE, EVENT>> transitionMap  
  8.     = stateMachineTable.get(oldState);  
  9.   if (transitionMap != null) {  
  10.     Transition<OPERAND, STATE, EVENTTYPE, EVENT> transition  
  11.         = transitionMap.get(eventType);  
  12.     if (transition != null) {  
  13.       return transition.doTransition(operand, oldState, event, eventType);  
  14.     }  
  15.   }  
  16.   throw new InvalidStateTransitonException(oldState, eventType);  
  17. }  

通过阅读其实现，doTransition方法的执行步骤如下：

  1. 根据组件（例如JobImpl）当前状态（oldState）从状态拓扑表stateMachineTable中获取oldState对应的Transition映射表；
  2. 如果oldState对应的Transition映射表不为null，则根据事件类型EVENTTYPE从映射表中获取对应的Transition；
  3. 如果存在对应的Transition，那么调用其doTransition方法进行真正的转态转移（过渡）。


后记：个人总结整理的《深入理解Spark：核心思想与源码分析》一书现在已经正式出版上市，目前京东、当当、天猫等网站均有销售，欢迎感兴趣的同学购买。

京东：http://item.jd.com/11846120.html 
当当：http://product.dangdang.com/23838168.html 


 
 
  
  
阅读全文
                                             
        0        0           
	
				
		









 手机网络代理ip
    		手机网络代理ip



原创粉丝点击



		

热门IT博客


nginx -tnginx -t




c语言制表符空多少个c语言制表符空多少个




网游与现实知乎




超级玛丽java源代码




android 访问网络权限




centos 查看网卡ip




雕刻机编程教程




淘宝联盟高级账户佣金




centos7 apache 安装




淘宝助理是干什么的




python 读取txt文件




堆排序算法n




淘宝号查号网站




mac边栏图标大小




linux执行elf文件




淘宝开直通车的技巧




js模块化框架




mac上的3d软件




男士西装定制.知乎




db2数据库的安装使用



		

热门问题
    老师的惩罚
    人脸识别
    我在镇武司摸鱼那些年
    重生之率土为王
    我在大康的咸鱼生活
    盘龙之生命进化
    天生仙种
    凡人之先天五行
    春回大明朝
    姑娘不必设防，我是瞎子
    凤起路
    凤起路地铁站
    神医凤轻尘免费阅读全文
    九皇叔埋在凤轻尘体内
    九皇叔在凤轻尘体内926
    凤辣子
    凤还巢 张晚知
    股票凤还巢
    凤还巢唱词
    类似 凤还巢
    凤还巢免费下载
    凤还巢 我想吃肉
    凤还巢之连成
    凤还巢试听
    京剧凤还巢她明知
    凤还巢txt
    万渣朝凤
    满朝凤华
    万兽朝凤帝尊放肆宠
    万渣朝凤酷漫屋
    衢州凤朝国际大酒店
    凤来朝妖孽王爷请让道
    傅家金龙传奇之朝凤阁
    凤还朝
    凤还朝,邪王请自重
    有凤还朝
    凤还朝妖孽王爷请让道txt下载
    凤还朝妖孽世子请让道
    凤还朝逆天废材大小姐
    凤还朝妖孽王爷请让道txt
    凤还朝 妖孽王爷请让道
    凤还朝妖孽王请让道
    凤还朝,妖孽王爷请让道
    凤还朝妖孽王请让道txt下载
    凤镜九歌
    唐代双凤铜镜
    凤镜夜
    上海寻凤阁
    凤天阁
    凤阳招标网
    凤阳县人力资源和社会保障局


	










程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里