如何将一个巨大的数组拆分成块？

Question

我正在将大约 500.000 个条目解析到一个数组中 $properties:

$properties = array();
   $handle = fopen($file_path, "r");
            if ($handle) {

                while (($str = fgets($handle)) !== false) {

                    if (strlen($str) && $str[0] == '#') {
                        $pdate = substr($str, 1);
                        $date = rtrim($pdate);
                        $formatted = DateTime::createFromFormat('* M d H:i:s T Y',$date);
                    }
                    $str = rtrim ($str, "\n");
                    $exp = explode ('=', $str);
                    if(count($exp) == 2){

                        $exp2 = explode('.', $exp[0]);  

                        if( count($exp2) == 2 ) {

                            if($exp2[1] == "dateTime"){
                                $s = str_replace("\","",$exp[1]);
                                $d = strtotime($s);
                                $dateTime = date('Y-m-d H:i:s', $d);
                                $properties [$exp2[0]][$exp2[1]] = $dateTime;
                            } else {
                                $properties [$exp2[0]][$exp2[1]] = $exp[1];
                            }
                        } else {
                            $properties [$exp[0]] = $exp[1];
                        }
                    } 

                }

                fclose($handle);
            } else {
                echo "error";
            }

目前为止效果很好。但我需要将数组拆分成块，否则数组太大而无法使用它：

  $properties_chunk = array_chunk($properties,10000,true);

但现在我遇到了 $properties_chunk 数组未创建的问题。系统崩溃。这太多了。但是我现在能做什么呢？

数组最后应该是这样的：

array(4) {
  [0]=>
  array(10000) {
    ["12345"]=>
    array(5) {
      ["dateTime"]=>
      string(19) "2016-10-12 19:46:25"
      ["fileName"]=>
      string(46) "monkey.jpg"
      ["path"]=>
      string(149) "Volumes/animals/monkey.jpg"
      ["size"]=>
      string(7) "2650752"
    }
    ["678790"]=>
    array(5) {
      ["dateTime"]=>
      string(19) "2016-10-12 14:39:43"
      ["fileName"]=>
      string(45) "elephant.jpg"
      ["path"]=>
      string(171) "Volumes/animals/elephant.jpg"
      ["size"]=>
      string(7) "2306688"
    }

... and so on.

Answer 1

如果您使用 array_splice，项目将从输入数组移动到结果数组。

这应该意味着内存使用应该保持不变。

这与 array_chunk 的作用相同，但希望内存消耗更少。

$arr = [1,2,3,4,5,6,7,8,9,10];
$n = 10000;
$count = (count($arr)/$n)-1; // do not splice the last items in loop
For($i=0; $i<$count; $i++){
    $res[] = array_splice($arr, 0,$n);
}
$res[] = array_splice($arr, 0,count($arr)); 
// here we splice the last items from arr to $res. 
// Notice how we splice count($arr) instead of $n. 
// If count($arr) == $n we could have done it in the loop. 
// But if we assume they are not, array_splice in the loop will create empty items. This line will not.

Var_dump($res, $arr); // $res has all values, $arr is empty

https://3v4l.org/XDpdI

如何将一个巨大的数组拆分成块？

How can I split a huge array into chunks?

php

arrays

chunks