Versnel het invoegen van grote datasets van txt-bestand naar mySQL met behulp van python

Twee opties om te overwegen:

1) het gemakkelijkst is om meerdere rijen met waarden op één invoeging op te nemen. Dit is veel, veel sneller dan het doen van meerdere invoegingen.

Inzet van het doen van INSERT INTO tbl ( cols ) VALUES ( vals ) , doe iets als INSERT INTO tbl ( cols ) VALUES ( vals ), ( vals ), ( vals )

Het aantal rijen dat u tegelijk kunt invoegen, hangt af van de maximale pakketgrootte van de mysql-server, maar u kunt waarschijnlijk 100, 1000, misschien 10000 rijen veilig uitvoeren en het zou u een prestatieverbetering van een orde van grootte of meer moeten geven.

Zie http://dev.mysql.com/doc/ refman/5.5/en/insert-speed.html

2) LAAD DATA INFILE is een beetje anders, vereist meer werk en heeft zijn eigen vereisten, maar is heel erg snel.