sql >> Database >  >> NoSQL >> MongoDB

MongoDB:mongoimport verliest verbinding bij het importeren van grote bestanden

Ik denk dat het probleem te maken heeft met de prestaties, op welke manier dan ook, gebruikt:

u kunt de mongoimport-optie -j . gebruiken . Probeer te verhogen als het niet werkt met 4. d.w.z. 4,8,16, afhankelijk van het aantal cores dat je in je cpu hebt.

mongoimport --help

-j, --numInsertionWorkers=aantal invoegbewerkingen dat gelijktijdig moet worden uitgevoerd (standaard ingesteld op 1)

mongoimport -d mietscraping -c mails -j 4

of je kunt het bestand splitsen en alle bestanden importeren.

Ik hoop dat dit je helpt.

iets meer kijkend, is een bug in een versiehttps://jira.mongodb.org/browse/TOOLS-939hier een andere oplossing die u de batchgrootte kunt wijzigen, standaard is 10000, verlaag de waarde en test:

mongoimport -d mietscraping -c mails



  1. MongoDB $sin

  2. Integreer Redis met JHipster CacheConfiguratiefout

  3. mongodb php - hoe een INNER JOIN-achtige query te doen

  4. MongoDB:Zoek het minimale element in array en verwijder het