海量数据处理

需求：
在两个不同的数据库实例里的两张不同的表中找出近5个月内，account_id字段下相同的数据。
一张表数量级百万行，另一张表千万行。

分析：
因为是在不同实例下，所以不能直接在数据库里操作，要通过脚本来，本次使用php。
要先从两张表里把所需要的数据查找出来，这里要用原生的PDO，利用query，为什么呢要用原生的pdo呢，因为一些框架封装好的pdo是把数据都存放在数组中，但是海量的数据存在数组中，肯定是不行的。而用query，返回的数据集是 PDOStatement类型，这是迭代器的接口实现。其中还要注意，要取消掉缓存结果集，$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false)。这样能大大提高效率。以上说的可以参考两个文章：
php处理大数据
php导出mysql大数据
有个问题，query只能执行一条sql，执行完要将其取出来或是释放资源，这样的话，解决方法是开两个pdo。

将返回的数据集通过算法分到不同的文件下。

 ini_set('max_execution_time', '0');        $sqlWeb = "select 语句";        $pdoWeb = new \PDO('mysql:host=*;dbname=*', '*', '*');        $pdoWeb->setAttribute(\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);        $rowsWeb = $pdoWeb->query($sqlWeb);        foreach ($rowsWeb as $row) {            $cat = $this->myHash($row['account_id']);            file_put_contents(base_path() . '/datafile/web/temp_pc' . $cat . '.txt', $row['account_id'] . PHP_EOL, FILE_APPEND);        }

这边用的文件划分算法是：通过计算每个数据的每个字符的ascii码的大小+5000，然后%1000，最终结果觉得被划分到哪个文件。
`public function myHash($key)
{

    $len = strlen($key);    //key中每个字符所对应的ASCII的值    $asciiTotal = 0;    for ($i = 0; $i < $len; $i++) {        $asciiTotal += ord($key[$i]) + 5000;    }    return $asciiTotal % 1000;}`

最后将文件中的数据通过迭代器来进行遍历。

   public function fileWebAll($file)    {        ini_set('max_execution_time', '0');        $handle=@fopen($file,'r');        if(!$handle){            throw new Exception("Can not read file!");        }        while(($line=fgets($handle))!==false){            yield $line;        }        if (!feof($handle)) {            throw new Exception('Error: unexpected fgets() fail');        }        fclose($handle);        return ;    }

这里写代码片

 public function fileHandle()    {        ini_set('max_execution_time', '0');        for ($i = 105;$i<444;$i++){            $filePc = base_path()."/datafile/pc/temp_pc".$i.".txt";            $fileWeb = base_path()."/datafile/web/temp_pc".$i.".txt";            if(file_exists($filePc)&&file_exists($fileWeb)){                foreach ($this->filePcAll($filePc) as $rowPc){                    foreach ($this->fileWebAll($fileWeb) as $rowWeb){                        if($rowPc===$rowWeb){                            file_put_contents(base_path().'/datafile/same.txt',$rowWeb,FILE_APPEND);                            break;                        }                    }                }            }        }    }

一些相关的引用文章
php处理海量数据
这里写链接内容
php生成器
php maximum execution time
query 怎么不耗内存