全面了解数据库设计中分类算法
来源：互联网 发布：db2查看sql执行计划 编辑：程序博客网 时间：2024/05/22 13:36
转自：http://blog.csdn.net/hyzhx/archive/2008/03/21/2201465.aspx
分类算法要解决的问题
在网站建设中，分类算法的应用非常的普遍。在设计一个电子商店时，要涉及到商品分类；在设计发布系统时，要涉及到栏目或者频道分类；在设计软件下载这样的程序时，要涉及到软件的分类；如此等等。可以说，分类是一个很普遍的问题。
我常常面试一些程序员，而且我几乎毫无例外地要问他们一些关于分类算法的问题。下面的举几个我常常询问的问题。你认为你可以很轻松地回答么？
1、分类算法常常表现为树的表示和遍历问题。那么，请问：如果用数据库中的一个Table来表达树型分类，应该有几个字段？
2、如何快速地从这个Table恢复出一棵树？
3、如何判断某个分类是否是另一个分类的子类？
4、如何查找某个分类的所有产品？
5、如何生成分类所在的路径。
6、如何新增分类？
在不限制分类的级数和每级分类的个数时，这些问题并不是可以轻松回答的。本文试图解决这些问题。
分类的数据结构
我们知道：分类的数据结构实际上是一棵树。在《数据结构》课程中，大家可能学过Tree的算法。由于在网站建设中我们大量使用数据库，所以我们将从Tree在数据库中的存储谈起。
为简化问题，我们假设每个节点只需要保留Name这一个信息。我们需要为每个节点编号。编号的方法有很多种。在数据库中常用的就是自动编号。这在Access、SQL Server、Oracle中都是这样。假设编号字段为ID。
为了表示某个节点ID1是另外一个节点ID2的父节点，我们需要在数据库中再保留一个字段，说明这个分类是属于哪个节点的儿子。把这个字段取名为FatherID。如这里的ID2，其FatherID就是ID1。
这样，我们就得到了分类Catalog的数据表定义：
Create Table [Catalog]([ID] [int] NOT NULL,[Name] [nvarchar](50) NOT NULL,[FatherID] [int] NOT NULL);
约定：我们约定用-1作为最上面一层分类的父亲编码。编号为-1的分类。这是一个虚拟的分类。它在数据库中没有记录。
如何恢复出一棵树
上面的Catalog定义的最大优势，就在于用它可以轻松地恢复出一棵树?分类树。为了更清楚地展示算法，我们先考虑一个简单的问题：怎样显示某个分类的下一级分类。我们知道，要查询某个分类FID的下一级分类，SQL语句非常简单：
select Name from catalog where FatherID=FID
显示这些类别时，我们可以这样：
<%REM oConn---数据库连接，调用GetChildren时已经打开REM FID-----当前分类的编号Function GetChildren(oConn,FID)strSQL = "select ID,Name from catalog where FatherID="&FIDset rsCatalog = oConn.Execute(strSQL)%><UL><%Do while not rsCatalog.Eof %><LI><%=rsCatalog("Name")%><%Loop%></UL><% rsCatalog.CloseEnd Function%>现在我们来看看如何显示FID下的所有分类。这需要用到递归算法。我们只需要在GetChildren函数中简单地对所有ID进行调用：GetChildren(oConn,Catalog(“ID”))就可以了。
<%REM oConn---数据库连接，已经打开REM FID-----当前分类的编号Function GetChildren(oConn,FID)strSQL = "select Name from catalog where FatherID="&FIDset rsCatalog = oConn.Execute(strSQL)%><UL><%Do while not rsCatalog.Eof %><LI><%=rsCatalog("Name")%><%=GetChildren(oConn,Catalog("ID"))%><%Loop%></UL><% rsCatalog.CloseEnd Function%>修改后的GetChildren就可以完成显示FID分类的所有子分类的任务。要显示所有的分类，只需要如此调用就可以了：
<%REM strConn--连接数据库的字符串，请根据情况修改set oConn = Server.CreateObject("ADODB.Connection")oConn.Open strConn=GetChildren(oConn,-1)oConn.Close%>如何查找某个分类的所有产品
现在来解决我们在前面提出的第四个问题。第三个问题留作习题。我们假设产品的数据表如下定义：
Create Table Product([ID] [int] NOT NULL,[Name] [nvchar] NOT NULL,[FatherID] [int] NOT NULL);
其中，ID是产品的编号，Name是产品的名称，而FatherID是产品所属的分类。对第四个问题，很容易想到的办法是：先找到这个分类FID的所有子类，然后查询所有子类下的所有产品。实现这个算法实际上很复杂。代码大致如下：
<%Function GetAllID(oConn,FID)Dim strTempIf FID=-1 thenstrTemp = ""elsestrTemp =","end ifstrSQL = "select Name from catalog where FatherID="&FIDset rsCatalog = oConn.Execute(strSQL)Do while not rsCatalog.Eof strTemp=strTemp&rsCatalog("ID")&GetAllID(oConn,Catalog("ID")) REM 递归调用LooprsCatalog.CloseGetAllID = strTempEnd FunctionREM strConn--连接数据库的字符串，请根据情况修改set oConn = Server.CreateObject("ADODB.Connection")oConn.Open strConnFID = Request.QueryString("FID")strSQL = "select top 100 * from Product where FatherID in ("&GetAllID(oConn,FID)&")"set rsProduct=oConn.Execute(strSQL)%><UL><%Do while not rsProduct.EOF%><LI><%=rsProduct("Name")%><% Loop%></UL><%rsProduct.CloseoConn.Close %>这个算法有很多缺点。试列举几个如下：
1、 由于我们需要查询FID下的所有分类，当分类非常多时，算法将非常地不经济，而且，由于要构造一个很大的strSQL，试想如果有1000个分类，这个strSQL将很大，能否执行就是一个问题。
2、 我们知道，在SQL中使用In子句的效率是非常低的。这个算法不可避免地要使用In子句，效率很低。
我发现80%以上的程序员钟爱这样的算法，并在很多系统中大量地使用。细心的程序员会发现他们写出了很慢的程序，但苦于找不到原因。他们反复地检查SQL的执行效率，提高机器的档次，但效率的增加很少。
最根本的问题就出在这个算法本身。算法定了，能够再优化的机会就不多了。我们下面来介绍一种算法，效率将是上面算法的10倍以上。
分类编码算法
问题就出在前面我们采用了顺序编码，这是一种最简单的编码方法。大家知道，简单并不意味着效率。实际上，编码科学是程序员必修的课程。下面，我们通过设计一种编码算法，使分类的编号ID中同时包含了其父类的信息。一个五级分类的例子如下：
此例中，用32(4+7+7+7+7)位整数来编码，其中，第一级分类有4位，可以表达16种分类。第二级到第五级分类分别有7位，可以表达128个子分类。
显然，如果我们得到一个编码为 1092787200 的分类，我们就知道：由于其编码为
0100 0001001 0001010 0111000 0000000
所以它是第四级分类。其父类的二进制编码是0100 0001001 0001010 0000000 0000000，十进制编号为1092780032。依次我们还可以知道，其父类的父类编码是0100 0001001 0000000 0000000 0000000，其父类的父类的父类编码是0100 0000000 0000000 0000000 0000000。
现在我们在一般的情况下来讨论类别编码问题。设类别的层次为k，第i层的编码位数为Ni， 那么总的编码位数为N(N1+N2+..+Nk)。我们就得到任何一个类别的编码形式如下：
2^(N-(N1+N2+…+Ni))*j + 父类编码
其中，i表示第i层，j表示当前层的第j个分类。这样我们就把任何分类的编码分成了两个部分，其中一部分是它的层编码，一部分是它的父类编码。由下面公式定一的k个编码我们称为特征码：（因为i可以取k个值，所以有k个）
2^N-2^(N-(N1+N2+…+Ni))
对于任何给定的类别ID，如果我们把ID和k个特征码“相与”，得到的非0编码，就是其所有父类的编码！
位编码算法
对任何顺序编码的Catalog表，我们可以设计一个位编码算法，将所有的类别编码规格化为位编码。在具体实现时，我们先创建一个临时表：
Create TempCatalog([OldID] [int] NOT NULL,[NewID] [int] NOT NULL,[OldFatherID] [int] NOT NULL,[NewFatherID] [int] NOT NULL);
在这个表中，我们保留所有原来的类别编号OldID和其父类编号OldFatherID，以及重新计算的满足位编码要求的相应编号NewID、NewFatherID。
程序如下：
<%REM oConn---数据库连接，已经打开REM OldFather---原来的父类编号REM NewFather---新的父类编号REM N---编码总位数REM Ni--每一级的编码位数数组REM Level--当前的级数sub FormatAllID(oConn,OldFather,NewFather,N,Nm,Ni byref,Level)strSQL = "select CatalogID , FatherID from Catalog where FatherID=" & OldFatherset rsCatalog=oConn.Execute( strSQL )j = 1do while not rsCatalog.EOFi = 2 ^(N - Nm) * jif Level then i= i + NewFatherOldCatalog = rsCatalog("CatalogID")NewCatalog = iREM 写入临时表:
strSQL = "Insert into TempCatalog (OldCatalogID , NewCatalogID , OldFatherID , NewFatherID)"strSQL = strSQL & " values(" & OldCatalog & " , " & NewCatalog & " , " & OldFather & " , " & NewFather & ")"Conn.Execute strSQLREM 递归调用FormatAllID:Nm = Nm + Ni(Level+1) FormatAllID oConn,OldCatalog , NewCatalog ,N,Nm,Ni,Level + 1rsCatalog.MoveNextj = j+1looprsCatalog.Closeend sub%>调用这个算法的一个例子如下：
<%REM 定义编码参数，其中N为总位数，Ni为每一级的位数。Dim N,Ni(5) Ni(1) = 4N = Ni(1) for i=2 to 5Ni(i) = 7N = N + Ni(i)next
REM 打开数据库，创建临时表:
strSQL = "Create TempCatalog( [OldID] [int] NOT NULL, [NewID] [int] NOT NULL, [OldFatherID] [int] NOT NULL, [NewFatherID] [int] NOT NULL);"Set Conn = Server.CreateObject("ADODB.Connection") Conn.Open Application("strConn")Conn.Execute strSQLREM 调用规格化例程:
FormatAllID Conn,-1,-1,N,Ni(1),Ni,0REM ---------------------------------------------REM 在此处更新所有相关表的类别编码为新的编码即可。REM ----------------------------------------------
REM 关闭数据库:
strSQL= "drop table TempCatalog;"Conn.Execute strSQLConn.Close%>
第四个问题
现在我们回头看看第四个问题：怎样得到某个分类下的所有产品。由于采用了位编码，现 在问题变得很简单。我们很容易推算：某个产品属于某个类别的条件是Product.FatherID&（Catalog.ID的特征码）= Catalog.ID。其中“&”代表位与算法。这在SQL Server中是直接支持的。
举例来说：产品所属的类别为：1092787200，而当前类别为1092780032。当前类别对应的特征值为：4294950912，由于1092787200&4294950912=8537400，所以这个产品属于分类8537400。
我们前面已经给出了计算特征码的公式。特征码并不多，而且很容易计算，可以考虑在Global.asa中Application_OnStart时间触发时计算出来，存放在Application(“Mark”)数组中。
当然，有了特征码，我们还可以得到更加有效率的算法。我们知道，虽然我们采用了位编 码，实际上还是一种顺序编码的方法。表现出第I级的分类编码肯定比第I+1级分类的编码要小。根据这个特点，我们还可以由FID得到两个特征码，其中一个 是本级位特征码FID0，一个是上级位特征码FID1。而产品属于某个分类FID的充分必要条件是：
Product.FatherID>FID0 and Product.FatherID<FID1
下面的程序显示分类FID下的所有产品。由于数据表Product已经对FatherID进行索引，故查询速度极快：
<%REM oConn---数据库连接，已经打开REM FID---当前分类REM FIDMark---特征值数组，典型的情况下为Application(“Mark”)REM k---数组元素个数，也是分类的级数Sub GetAllProduct(oConn,FID,FIDMark byref,k)' 根据FID计算出特征值FID0,FID1for i=k to 1if (FID and FIDMark = FID ) then exitnext strSQL = "select Name from Product where FatherID>"FIDMark(i)&" and FatherID<"FIDMark(i-1)set rsProduct=oConn.Execute(strSQL)%><UL><%Do While Not rsProduct.Eof%><LI><%=rsProduct("Name")Loop%></UL><%rsProduct.CloseEnd Sub%>
第二个问题 :如何快速恢复出一棵树？
关于第5个问题、第6个问题，就留作习题吧。有了上面的位编码，一切都应该迎刃而解。
参考文章：
按照前段时间说过的位编码算法实现了一个类（ http://www.chinaunix.net/forum/27/20031122/207556.html ），放出来大家看看，大家帮我改进。
<?phpClass BinTree{ //树结构 /************************************* example: $Structure = array(4,7,7,7,7); 树有4层，第一层4位编码，第二、第三、第四、第五层7位编码 ************************************/ var $Structure; /// 存储树的每层信息的数组 /************************************* //特征码 //2^N-2^(N-(N1+N2+…+Ni)) example: $Layer = array( 层的二进制编码长度 层的特征码 每一层每节点的公差 1 =>; array('len' =>; 4, 'mark' =>; 4026531840, 'tolerance' =>; 268435456), 2 =>; array('len' =>; 7, 'mark' =>; 4292870144, 'tolerance' =>; 2097152), 3 =>; array('len' =>; 7, 'mark' =>; 4294950912, 'tolerance' =>; 16384), 4 =>; array('len' =>; 7, 'mark' =>; 4294967168, 'tolerance' =>; 128), 5 =>; array('len' =>; 7, 'mark' =>; 4294967295, 'tolerance' =>; 1) ); *************************************/ var $Layer; //二进制编码总长度 var $binMarkLen; //现在用来分析的目标节点，十进制 var $_decCurrentNode; //现在用来分析的目标节点，二进制 var $_binCurrentNode; //CurrentNodeID的所属的层 var $_CurrentLayer; // 初始化树 function BinTree($Structure) { $this->;binMarkLen = array_sum($Structure); $tmpLen = 0; foreach ( $Structure as $k =>; $v ) { $this->;Layer[$k+1]['len'] = $v; $tmpLen += $v; $this->;Layer[$k+1]['mark'] = pow(2, $this->;binMarkLen) - pow(2, $this->;binMarkLen - $tmpLen); $this->;Layer[$k+1]['tolerance'] = pow(2, $this->;binMarkLen - $tmpLen); } return true; } // 解析当前节点 function _parseNode($Node) { $this->;_decCurrentNode = $Node; //节点二进制编码 $this->;_binCurrentNode = FillBit(base_convert($Node, 10, 2), $this->;binMarkLen); //节点处于树的第几层 $start = 0; foreach ( $this->;Layer as $k =>; $v ) { $binMark = substr($this->;_binCurrentNode, $start, $v['len']); $testMark = str_repeat('0', $v['len']); $start += $v['len']; if ( $binMark == $testMark ) { $this->;_CurrentLayer = $k - 1; break; } $this->;_CurrentLayer = count($this->;Layer); } } // 清除上次解析的结果 function _unparseNode() { $this->;_decCurrentNode = null; $this->;_binCurrentNode = null; $this->;_CurrentLayer = null; } // 获得父节点 // 如果$all不为空则以数组格式返回所有父节点，否则仅返回上一层节点 function getParent($Node, $all = '') { if ( $this->;_decCurrentNode != $Node ) { $this->;_parseNode($Node); } if ( $this->;_CurrentLayer == 1 ) { $ParentNode = 0; } else { if ( $all ) { for ( $i = 1; $i < $this->;_CurrentLayer; $i++ ) { $ParentNode[$i] = $Node & $this->;Layer[$i]['mark']; } } else { $ParentNode = $Node & $this->;Layer[$this->;_CurrentLayer - 1]['mark']; } } return $ParentNode; } // 获得下级子节点值 // 如果$j没有赋值则返回所有的子节点 function getChild($Node, $j = '') { if ( $this->;_decCurrentNode != $Node ) { $this->;_parseNode($Node); } if ( $this->;_CurrentLayer == count($this->;Layer) ) { return false; } else { $ChildLayer = $this->;_CurrentLayer + 1; if ( $j >; 0 ) { if ( ($j >; 0 ) and ($j < pow(2, $this->;Layer[$ChildLayer]['len'])) ) { $ChildNode = $this->;Layer[$ChildLayer]['tolerance'] * $j + $Node; } else { return false; } } else { for ( $i = 1; $i < pow(2, $this->;Layer[$ChildLayer]['len']); $i++ ) { $ChildNode[] = $this->;Layer[$ChildLayer]['tolerance'] * $i + $Node; } } } return $ChildNode; } // 得到同一层的下一个节点 function getNextNode($Node) { if ( $this->;_decCurrentNode != $Node ) { $this->;_parseNode($Node); } $thisLayer = $this->;_CurrentLayer; $ParentNode = $this->;getParent($Node); $this->;_unparseNode(); $j = ($Node - $ParentNode)/$this->;Layer[$thisLayer]['tolerance']; if ( $j+1 < pow(2, $this->;Layer[$thisLayer]['len']) ) { return $this->;Layer[$thisLayer]['tolerance'] + $Node; } else { return false; } }}Class DBBinTree extends BinTree{ //树实例所在的表 var $Table; //树实例所在的字段 var $Column; // 初始化 function DBBinTree($Structure, $table, $column) { parent::BinTree($Structure); $this->;Table = $table; $this->;Column = $column; return true; } // 获得父节点 // 如果$all不为空则以数组格式返回所有父节点，否则仅返回上一层节点 function SelectParent($Node, $all = '') { global $db; $ParentNode = $this->;getParent($Node, $all); if ( is_array($ParentNode) ) { $sql = "select * from ". $this->;Table ." where ". $this->;Column ." in (". implode(',', $ParentNode) .")"; } else { $sql = "select * from ". $this->;Table ." where ". $this->;Column ." = ". $ParentNode; } $rowset = $db->;getAll($sql); if ( !$db->;isError($rowset) ) { return $rowset; } else { return false; } } // 获得子节点 // 如果$all不为空则以数组格式返回所有子节点，否则仅返回下一层节点 function SelectChild($Node, $all = '') { global $db; $this->;_parseNode($Node); $sql = "select * from ". $this->;Table ." where ". $this->;Column ." >; ". $Node ." and ". $this->;Column ." < ". $this->;getNextNode($Node); $res = $db->;query($sql); if ( !$db->;isError($res) ) { if ( $all ) { while ( $row = $res->;fetchRow() ) { $rowset[] = $row; } } else { $Child = $this->;getChild($Node); while ( $row = $res->;fetchRow() ) { if ( in_array($row[$this->;Column], $Child) ) { $rowset[] = $row; } } } return $rowset; } else { return false; } }}?>;
- 全面了解数据库设计中分类算法
- 全面了解数据库设计中分类算法
- 全面了解数据库设计中分类算法
- 全面了解数据库设计中分类算法
- 全面了解“设计模式”
- 无限级分类算法数据库设计
- 数据库复制技术全面了解
- 5分钟全面了解“设计模式”
- 数据库设计中高效率的分类算法介绍
- 全面了解DB2数据库中的各数据类型
- 全面了解DB2数据库中的各数据类型
- 全面了解DB2数据库中的各数据类型
- 数据库系统设计全面介绍
- 数据库系统设计全面介绍
- 关于数据库中存储信息分类的设计说明
- 全面了解系统中 svchost.exe文件
- 全面了解系统中svchost.exe文件
- 全面了解系统中svchost.exe文件
- 我的第一个linux驱动-s3c6410 gpio
- Replace Error Code with Exception （以异常取代错误码）
- SK Combinators
- asp.net 分页
- .net官方编码方法和命名规则
- 全面了解数据库设计中分类算法
- 正则表达式-学习
- Printk的loglevel和日志记录分析
- 对于开源代码中很多处注释中都会出现的 This is a hack 的理解
- Qt中的.pro文件
- HTTP协议的header【网摘】
- 在Linux下获取全国各地IP地址段方法
- ubuntu+apache2+php禁止输出notice信息
- C++基础知识笔记（一）
