上亿条数据（GB级）文件去重解决方案

1.准备待处理的文件

2.随便一个文件都有100000000条数据库，如果直接去重非常麻烦

3.一段php代码解决问题

define('FileIn', $argv[1]);$time_start = microtime(true);$count = 0;function dump($data){    echo "<pre>";    var_dump($data);    echo "</pre>";    die();}function order_ByF(){    $list = fopen(FileIn, "r");    while(! feof($list)){        $line= fgets($list);        $index = substr($line, 0, 1);        /*file_put_contents("OutData/{$index}.txt",$line.PHP_EOL,FILE_APPEND);*/        file_put_contents("OutData/{$index}.txt",$line,FILE_APPEND);        $count++;        echo "{$count}:{$index}:{$line}";    }}order_ByF();

4.使用方法

#php orderByF.php s.txt

5.使用后会按首字母生成多个文件，然后再按每个单独的文件去重