PHP csv大文件读取与操作

很多时候，要处理文件，一般最先想到的就是file_get_contents() 等函数，但是在文件比较大的情况下，盲目的使用这样的函数会造成PHP的内存溢出(不使用任何参数)等致命错误。

当然，有一些函数能够一行一行的读取数据，比如fread()，fgetcsv()，而事实上，一般操作csv文件也是使用这几个函数，在正常使用过程中，只要没有特殊的需求，还是可以胜任大多数的情况。比如，如果有一个2000w～5000w条数据的文件，只想获取文件的总行数怎么办，循环累加吗？这显然是最直接的方法，其实还有更好的方法。

在PHP5以后，PHP为文件提供了一个面向对象接口类：SplFileObject。

详情可以查看：

The SplFileObject class

http://www.php.net/manual/zh/class.splfileobject.php

这里提供一段简单有趣的程序。

function useSplFileObject($csvfile) {    $splFileObject = new SplFileObject($csvfile, 'rb');    $splFileObject->seek(filesize($csvfile));    $num =  $splFileObject->key();    return $num;}$data = useSplFileObject('test.csv');var_dump($data);

贴个对比的(循环累加)：

$header = fopen('test.csv','r');$i = 0;while( !feof($header) ){    fgetcsv($header);    $i++;}var_dump($i);

系统命令行直接获取:

通过上面可以看出，单纯获取文件的行数，这种需求，使用PHP提供的SplFileObject类是比较好的选择。

贴一个拓展的（offset）：

function useSplFileObject($csvfile,$offset,$len) {    $splFileObject = new SplFileObject($csvfile, 'rb');    $splFileObject->seek(filesize($csvfile));    $splFileObject->seek($offset);    while ((!($splFileObject->eof()) && $len)){        $content[]=$splFileObject->current();        $splFileObject->next();        $len--;    }    return $content;}$data = useSplFileObject('test.csv',12000000,10);var_dump($data);

以上测试test.csv输出从12000000行起，10行的内容。

这是一个不错的体验，尤其是大文件获取，不方便调程序的执行时间和内存的情况下。

当然，原生的fgetcsv，也是可以的。上面的程序相应修改如下：

function csv_get_offsetlines($csvfile, $lines, $offset = 0) {    if(!$fp = fopen($csvfile, 'r')) {        return false;    }    $offset = $offset - 1;    $i = $j = 0;    while (false !== ($line = fgets($fp))) {        if($i++ < $offset) {            continue;        }        break;    }    $data = array();    while(($j++ < $lines) && !feof($fp)) {        $data[] = fgetcsv($fp);    }    fclose($fp);    return $data;}$data = csv_get_offsetlines('test.csv', 10, 12000000);var_dump($data);

由于数据有点长，只贴以下部分图片：