PHP大量数据循环时内存耗尽问题的解决方案

来源：互联网发布：mac office2016机锋编辑：程序博客网时间：2024/04/28 02:48

最近在开发一个PHP程序时遇到了下面的错误：

PHP Fatal error: Allowed memory size of 9999999999 bytes exhausted

错误信息显示允许的最大内存已经耗尽。遇到这样的错误起初让我很诧异，但转眼一想，也不奇怪，因为我正在开发的这个程序是要用一个foreach循环语句在一个有百万条记录的表里全表搜索具有特定特征的数据，也就是说，一次要把百万条数据取出，然后逐条检查每天数据。可想而知，百万条数据全部加载到内存中，内存不爆才怪。

缓冲的查询是默认的，下面的例子将演示如何执行无缓冲的查询每个API：

它们之间的区别：

无缓冲的MySQL查询执行查询，然后返回一个资源时，数据仍在MySQL服务器等待被读取。这种使用较少的内存在PHP的一面，但可以增加服务器的负载；

缓冲查询结果立即从MySQL服务器转移到PHP然后保存在PHP进程的内存。如果数据过多就会耗尽内存

非缓冲查询方法一: mysqli

<?php
$mysqli = new mysqli("localhost", "my_user", "my_password", "world");
$uresult = $mysqli->query("SELECT Name FROM City", MYSQLI_USE_RESULT);

if ($uresult) {
   while ($row = $uresult->fetch_assoc()) {
       echo $row['Name'] . PHP_EOL;
   }
}
$uresult->close();
?>

非缓冲查询方法二: pdo_mysql

<?php
$pdo = new PDO("mysql:host=localhost;dbname=world", 'my_user', 'my_pass');
$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);

$uresult = $pdo->query("SELECT Name FROM City");
if ($uresult) {
   while ($row = $uresult->fetch(PDO::FETCH_ASSOC)) {
       echo $row['Name'] . PHP_EOL;
   }
}
?>

非缓冲查询方法三: mysql

<?php
$conn = mysql_connect("localhost", "my_user", "my_pass");
$db = mysql_select_db("world");

$uresult = mysql_unbuffered_query("SELECT Name FROM City");
if ($uresult) {
   while ($row = mysql_fetch_assoc($uresult)) {
       echo $row['Name'] . PHP_EOL;
   }
}
?>

Note:

mysql_unbuffered_query()的好处是有代价的：在 mysql_unbuffered_query()返回的结果集之上不能使用 mysql_num_rows()和 mysql_data_seek()。此外在向 MySQL 发送一条新的 SQL 查询之前，必须提取掉所有未缓存的 SQL 查询所产生的结果行。

例如：

<?php
$conn = mysql_connect("localhost", "root","");
$db = mysql_select_db("dh");
$uresult = mysql_query("SELECT * FROM serve");
$num_rows = mysql_num_rows ( $uresult );
echo $num_rows;//此处结果为0
var_dump($uresult);
if ($uresult) {
while ($row = mysql_fetch_assoc($uresult)) {
echo $row['id'] . PHP_EOL;
}
}

?>

/**********************************************

<?php
$conn = mysql_connect("localhost", "root","");
$db = mysql_select_db("dh");
$uresult = mysql_query("SELECT id FROM serve");
var_dump($uresult);
if ($uresult) {
while ($row = mysql_fetch_assoc($uresult)) {
echo $row['id'] . PHP_EOL;
}
}
$num_rows = mysql_num_rows ( $uresult );
echo $num_rows;//此处结果为正常值
?>

0 0