Floodlight的forwarding模块流程简单分析

http://lamoop.com/post/2013-11-28/40060265578

主模块在初始化并启动各个二级模块后，通过Netty网络应用框架监听6633端口，当有packet-in进来的时候，会调用各个二级模块的receive函数（java中似乎喜欢称之为方法，那下面就都用”方法”来表述吧），此处暂不详表。

对于Forward模块很轻松可以定位到Forwarding.java文件，但是这个文件中或者说Forwarding类中并没有定义receive方法，其实这里可以通过两个途径找到receive函数：1、Forwarding类中首先定义了一个processPacketInMessage方法，见名知义，这个方法是负责处理packet-in消息的，那么通过eclipse中的”open call hierarchy”直接定位到调用该方法的方法，发现是ForwardingBase.java文件中的receive方法；2、Farwording类在声明时继承了ForwardingBase类，可以直接即继承了ForwardingBase类的receive方法。

为了方便描述，以下分析只分析我们关心的流程：Forwarding模块如何向各个交换机添加flow。
通过以上描述，我们找到了Forwarding模块处理packet-in的入口receive方法，该方法中调用了processPacketInMessage方法，该方法又调用doForwardFlow方法。

下面描述doForwardFlow方法的实现细节：

首先声明一个OFMatch对象，并将packet-in中的相关信息加载到该对象中：

OFMatch match = new OFMatch(); match.loadFromPacket(pi.getPacketData(), pi.getInPort());

 

然后通过packet-in消息获取目标和源设备（idevice），即以下代码：

 

IDevice dstDevice =IDeviceService.fcStore.get(cntx, IDeviceService.CONTEXT_DST_DEVICE);if (dstDevice != null) {IDevice srcDevice =IDeviceService.fcStore.get(cntx, IDeviceService.CONTEXT_SRC_DEVICE);

再然后定位发生packet-in消息的switch所属于的island的标志

Long srcIsland = topology.getL2DomainId(sw.getId());

接下来，判断目标和源设备是否处于同一个island，是则继续，否则执行doFlood方法（类似广播），代码如下：

boolean on_same_island = false;boolean on_same_if = false;for (SwitchPort dstDap : dstDevice.getAttachmentPoints()) {long dstSwDpid = dstDap.getSwitchDPID();Long dstIsland = topology.getL2DomainId(dstSwDpid);if ((dstIsland != null) && dstIsland.equals(srcIsland)) {on_same_island = true;if ((sw.getId() == dstSwDpid) &&(pi.getInPort() == dstDap.getPort())) {on_same_if = true;}break;}}if (!on_same_island) {// Flood since we don’t know the dst deviceif (log.isTraceEnabled()) {log.trace(“No first hop island found for destination ” +“device {}, Action = flooding”, dstDevice);}doFlood(sw, pi, cntx);return;}

如果在同一个island中，则通过getAttachmentPoints方法获取目标和源设备相连的交换机的端口信息

SwitchPort[] srcDaps = srcDevice.getAttachmentPoints();Arrays.sort(srcDaps, clusterIdComparator);SwitchPort[] dstDaps = dstDevice.getAttachmentPoints();Arrays.sort(dstDaps, clusterIdComparator);

获取到的结果是两个排序的端口数组，数组的元素类似：

SwitchPort [switchDPID=7, port=2, errorStatus=null]

 

再接下来进入一个while循环，循环的终止条件是取完上一步得到的两个数组中的元素，目标是找到属于同一个island的分布在两个数组中的元素。循环内部先通过getL2DomainId方法判断，所选取的与目标和源相连接的交换机是否在同一个island，如果不在，则根据两个island标志的大小选择性的选取srcDaps或dstDaps中的其它元素，继续比较，之所以可以这么做，是因为两个数组是经过排序的，而且key就是各个交换机所属的island标志，代码为while循环最后的if-else语句：

} else if (srcVsDest < 0) {iSrcDaps++;} else {iDstDaps++;}

如果找到两个island相同的元素，会调用routingEngine的getRoute方法获取两个端口之间的路由，这才是我们真正关心的流程。这里并未继续跟踪getRoute是如何获取两个交换机端口之间的最短路径（官网提到获取的路由是最短路径），其获取的结果类似：

 [[id=00:00:00:00:00:00:00:07, port=2], [id=00:00:00:00:00:00:00:07, port=3], [id=00:00:00:00:00:00:00:05, port=2], [id=00:00:00:00:00:00:00:05, port=3], [id=00:00:00:00:00:00:00:01, port=2], [id=00:00:00:00:00:00:00:01, port=1], [id=00:00:00:00:00:00:00:02, port=3], [id=00:00:00:00:00:00:00:02, port=1], [id=00:00:00:00:00:00:00:03, port=3], [id=00:00:00:00:00:00:00:03, port=1]] 

 

接下来利用最初生成的OFMatch对象信息定义一个规则：

wildcard_hints = ((Integer) sw.getAttribute(IOFSwitch.PROP_FASTWILDCARDS)).intValue()& ~OFMatch.OFPFW_IN_PORT& ~OFMatch.OFPFW_DL_VLAN& ~OFMatch.OFPFW_DL_SRC& ~OFMatch.OFPFW_DL_DST& ~OFMatch.OFPFW_NW_SRC_MASK& ~OFMatch.OFPFW_NW_DST_MASK;

最后调用pushRoute方法，下发路由策略，即flow信息。

pushRoute(route, match, wildcard_hints, pi, sw.getId(), cookie,cntx, requestFlowRemovedNotifn, false,OFFlowMod.OFPFC_ADD);

继续追踪pushRoute函数，其在ForwardingBase.java中实现，其实就是循环上面route获取到的最短路径，在每个交换机上添加一条flow，包含inport和outport，当然上面提到的wildcard_hints也会通过setMatch方法设置到没条flow中。

以上过程建立了从07:2（[id=00:00:00:00:00:00:00:07, port=2]）到03:1的一条单向通路，从03:1到07:2的通路又是一个相同的过程。
再回到Forwarding.java文件，PushRoute结束之后，while循环会同时增加两个数组的元素下标，继续进行比较判断，这个地方我被迷惑掉了，既然已经找到一条通路，并下发了流表，那接下来的比较意义是什么？找到一个比之前的路径有优的路径？但是流表已经下发了，找到了又会发生什么，而且前面的路径应该是没有记录的，怎么判断更优呢？很奇怪为什么在pushRoute之后没有break掉while循环，邮件开发论坛。

开发论坛回复：the purpose in incrementing those variables is to support forwarding in multi island toplogies. Each island in this case gets a separate route pushed.

无法想象多island的拓扑结构o(╯□╰)o，按照回复所说的，在doForwardFlow函数的第二步

IDevice dstDevice =IDeviceService.fcStore.get(cntx, IDeviceService.CONTEXT_DST_DEVICE);   if (dstDevice != null) {IDevice srcDevice =IDeviceService.fcStore.get(cntx, IDeviceService.CONTEXT_SRC_DEVICE);

获取到的结果

Device [deviceKey=5, entityClass=DefaultEntityClass, MAC=00:00:00:00:00:01, IPs=[10.0.0.1], APs=[SwitchPort [switchDPID=2, port=1, errorStatus=null]]] 

其中APs应该是AttachmentPoints的缩写，如果是多island拓扑结构，这里APs应该是由多个SwitchPort构成的数组！但是想象不出一个设备（一块网卡）如何连接到两个交换机上（猜测桥接）。

无论如何，针对单island的情况上述流程分析是行的通的。