php代码优化系列(一)--数据库读取
来源:互联网 发布:vanilla js 编辑:程序博客网 时间:2024/04/29 12:36
php编程时,特别是在处理大量的数据的时候,往往会发生内存超过系统的最大值的情况。这有很多原因,其中的一个原因就是不恰当的使用他提供的内部的函数,下面举一个例子来说明:
任务:从数据库中读取100万条记录,存成xml格式。
这似乎是一个很简单的问题,但是初学者往往错误的使用了php提供的函数,而发现程序根本无法运行,当然数据量小的时候都是不会有问题的。
读取数据库的误区:
如果你用某些封装的类库,可能会提供类似下面的一个函数:
{
$rs = mysql_query($sql);
$result = array();
if (is_resource($rs)) {
while ($line = mysql_fetch_assoc($rs)) {
$result[] = $line;
}
} else if ($rs === false) {
return false;
}
return $result;
}
在数据量很小的时候这个函数很好用,执行一个sql,直接返回一个数组。但是要是数据量是一百万的话,你直接这样做的话,那么至少要消耗200M的内存,因为一个100万记录的数据,全部放在一个数组里面,至少要200M。那么怎么做呢,上面这个函数给了我们思路。$rs = mysql_query($sql); 这句返回的是一个资源,资源是什么,你可以不用深究,你可以认为是一个指针,指向你查询记录的一个指针。即使你有1000万的记录,这个资源占用的内存也是很小很小的。$line = mysql_fetch_assoc($rs)这一句就是把指针玩下移一个距离,然后读取该行的记录。这个很像是file_get_contents 读取文件和 fopen 和 fread 组合读取文件差别。比如你读取一个100M的文件,用file_get_contents就要占用100M 的内存,用fopen和 fread组合,你就可以先用fopen获取一个函数的指针,然后用fread每次读取一个固定的字节。这样不会出现大量内存使用的情况,当然平时一个文件才几个k,那就算了,不用这样来节省内存。
有了以上的分析我们就知道这个程序该怎么样写了。
{
$xml = "<?xml version=\"1.0\" encoding=\"iso-8859-1\" ?><records>";
$i = 0;
$rs = mysql_query($sql); //获取数据库资源
$fp = fopen($filepath, 'w+'); //获取文件资源
while ($line = mysql_fetch_assoc($rs)) //读取一行
{
$xml .= buildOneXmlNode($line);
$i++;
if ($i > 0 && $i % 1000 == 0) { //为了避免频繁的io,提高效率,我们这里以1000条记录为限,做了一个缓存。1000条记录大概要迫8M的内存。
fwrite($fp, $xml);
$xml = '';
$i = 0;
}
}
fwrite($fp, $xml . "</records>");//不要忘了这一行,$xml 可能还有没有保存的数据。还有标签要闭合。
fclose($fp);
}
这样,我们就可以导出100W量级的数据了,可以尝试一下。注意这个bulidonenode()函数根据你具体的xml的格式,进行处理,这里只是说明思想。
- php代码优化系列(一)--数据库读取
- php代码优化系列(一)--数据库读取
- Mysql数据库优化系列(一)------Mysql服务器优化思路
- Mysql数据库优化系列(一)------Mysql服务器优化思路
- mysql 优化系列(一) Mysql数据库引擎性能测试
- php读取sqlite数据库入门实例代码
- php操作读取数据库数据基本代码
- 优化MYSQL数据库 Monxin专用(PHP代码函数)
- Java代码优化系列(一)开篇立碑
- Android-php后台优化之数据库优化(一)表的优化1
- Android-php后台优化之数据库优化(一)表的优化2
- 代码优化(一)
- 数据库系列(一)
- PHP相关系列 - 优化你的PHP代码
- PHP相关系列 - 优化你的PHP代码
- PHP相关系列 - 优化你的PHP代码
- PHP相关系列 - 优化你的PHP代码
- PHP相关系列 - 优化你的PHP代码
- Linux进程间通信源码剖析,共享内存(shmget函数详解)
- UpdatePanel 报错 Microsoft JScript 运行时错误: Sys.WebForms.PageRequestManagerParserErrorException:解决办法
- jQuery按键响应事件keypress对应的按键编码keycode
- 点击popupwindow窗口之外的区域使popupwindow消失
- oracle 日期 查询
- php代码优化系列(一)--数据库读取
- broadcast 广播
- 相同bit1的最大的数
- HEAP[xxx.exe]:Invalid Address specified to RtlValidateHeap 错误的解决方法总结
- 行为模式——责任链(Chain of Responsibility)模式
- 各类分析函数调用关系图的工具
- 初学MFC
- C#--Dictionary用法
- error C2668: “sqrt”: 对重载函数的调用不明确