Große csv Dateien mit Importieren (PHP) - Versionsgeschichte

37.49.72.8: /* = CSV Zeilenweise einlesen */

2020-01-02T18:52:32Z

= CSV Zeilenweise einlesen

37.49.72.8: /* CSV Zeilenweise einlesen */

2020-01-02T18:45:39Z

CSV Zeilenweise einlesen

93.208.103.149: /* CSV Zeilenweise einlesen */

2019-03-04T09:01:58Z

CSV Zeilenweise einlesen

Steff: /* Beispiel (ProcessWire) */

2019-02-01T17:06:37Z

Beispiel (ProcessWire)

Steff: /* CSV direkt via MySQL importieren */

2019-02-01T17:05:29Z

CSV direkt via MySQL importieren

Steff: /* CSV direkt via MySQL importieren */

2019-02-01T10:36:50Z

CSV direkt via MySQL importieren

Steff: Die Seite wurde neu angelegt: „Probleme bei großen csv Dateien * Memory Overflow * Timeout Timeouts lassen sich mit folgenden Strategien vermeiden: # Aufgeteilter Import # Effizienter Co…“

2019-01-31T14:28:25Z

Die Seite wurde neu angelegt: „Probleme bei großen csv Dateien * Memory Overflow * Timeout Timeouts lassen sich mit folgenden Strategien vermeiden: # Aufgeteilter Import # Effizienter Co…“

Neue Seite

Probleme bei großen csv Dateien

* Memory Overflow
* Timeout

Timeouts lassen sich mit folgenden Strategien vermeiden:
# Aufgeteilter Import
# Effizienter Code
# PHP von der Console (z.B. via Cronjob) starten

Memory Overflows lassen sich so verhindern:
# Nicht alle Datensätze in den Speicher laden (z.B. nicht in ein Array)
# Stattdessen Zeilenweise oder in Häppchen verarbeiten (dauert halt länger)

Lösungsansätze in der Praxis

== CSV direkt via MySQL importieren ==
https://stackoverflow.com/questions/7318768/process-very-big-csv-file-without-timeout-and-memory-error
$sql = "LOAD DATA LOCAL INFILE '/path/to/file.csv'
REPLACE INTO TABLE table_name FIELDS TERMINATED BY ','
ENCLOSED BY '\"' LINES TERMINATED BY '\r\n' IGNORE 1 LINES";
$result = $mysqli->query($sql);
== CSV Zeilenweise einlesen ==
https://stackoverflow.com/questions/7318768/process-very-big-csv-file-without-timeout-and-memory-error
<syntaxhighlight lang="php">
I've used fgetcsv to read a 120MB csv in a stream-wise-manner (is that correct english?). That reads in line by line and then I've inserted every line into a database. That way only one line is hold in memory on each iteration. The script still needed 20 min. to run. Maybe I try Python next time… Don't try to load a huge csv-file into an array, that really would consume a lot of memory.

// WDI_GDF_Data.csv (120.4MB) are the World Bank collection of development indicators:
// http://data.worldbank.org/data-catalog/world-development-indicators
if(($handle = fopen('WDI_GDF_Data.csv', 'r')) !== false)
{
// get the first row, which contains the column-titles (if necessary)
$header = fgetcsv($handle);

// loop through the file line-by-line
while(($data = fgetcsv($handle)) !== false)
{
// resort/rewrite data and insert into DB here
// try to use conditions sparingly here, as those will cause slow-performance

// I don't know if this is really necessary, but it couldn't harm;
// see also: http://php.net/manual/en/features.gc.php
unset($data);
}
fclose($handle);
}

</syntaxhighlight>

@@ Zeile 24: / Zeile 24: @@
 </pre>
 === Beispiel (ProcessWire) ===
 <syntaxhighlight lang="php">
 $table = 'dekra_plz';

@@ Zeile 48: / Zeile 48: @@
 </syntaxhighlight>
-== CSV Zeilenweise einlesen =
+== CSV Zeilenweise einlesen ==
   https://stackoverflow.com/questions/7318768/process-very-big-csv-file-without-timeout-and-memory-error
 Ein Kommentator empfiehlt außerdem fget statt fgetcsv zu nehmen das würde die Zeit in seinem Beispiel von 8min auf 3min reduzieren.

@@ Zeile 15: / Zeile 15: @@
 Lösungsansätze in der Praxis
-== CSV direkt via MySQL importieren ==
+== CSV direkt via MySQL Statement importieren ==
 https://stackoverflow.com/questions/7318768/process-very-big-csv-file-without-timeout-and-memory-error
 <pre>
@@ Zeile 23: / Zeile 23: @@
 $result = $mysqli->query($sql);
 </pre>
 == CSV Zeilenweise einlesen ==

@@ Zeile 16: / Zeile 16: @@
 == CSV direkt via MySQL importieren ==
- https://stackoverflow.com/questions/7318768/process-very-big-csv-file-without-timeout-and-memory-error
+https://stackoverflow.com/questions/7318768/process-very-big-csv-file-without-timeout-and-memory-error
- $sql = "LOAD DATA LOCAL INFILE '/path/to/file.csv'
+<pre>
-        REPLACE INTO TABLE table_name FIELDS TERMINATED BY ','
+$sql = "LOAD DATA LOCAL INFILE '/path/to/file.csv'
-        ENCLOSED BY '\"' LINES TERMINATED BY '\r\n' IGNORE 1 LINES";
+  REPLACE INTO TABLE table_name FIELDS TERMINATED BY ','
-  $result = $mysqli->query($sql);
+  ENCLOSED BY '\"' LINES TERMINATED BY '\r\n' IGNORE 1 LINES";
 == CSV Zeilenweise einlesen ==
   https://stackoverflow.com/questions/7318768/process-very-big-csv-file-without-timeout-and-memory-error