sql >> Database >  >> NoSQL >> MongoDB

Een zeer grote recordset importeren in MongoDB met nodejs

Geen antwoord op uw exacte situatie van importeren uit een .csv-bestand, maar in plaats daarvan op het doen van bulkinvoeging(en)

-> Allereerst zijn er geen speciale 'bulk' invoegbewerkingen, het is uiteindelijk allemaal een forEach.

-> als je een groot bestand asynchroon probeert te lezen, wat een stuk sneller zou zijn dan het schrijfproces, dan zou je moeten overwegen om je aanpak te veranderen, eerst uitzoeken hoeveel je setup aankan (of gewoon op-n -proces).

---> Verander daarna de manier waarop je uit een bestand leest, je hoeft niet elke regel uit het bestand te lezen, async-ly, leer te wachten, gebruik forEach, forEachSeries van Async.js om je reads in de buurt van Mongodb write te brengen niveau, en je bent klaar om te gaan.



  1. Wat is InputSplit in Hadoop MapReduce?

  2. Moet ik gebruikersinvoer opschonen voordat ik deze in MongoDB invoeg (MongoDB + Node js-combinatie)

  3. Distinct() commando gebruikt met skip() en limit()

  4. NoSQL-trends - MongoDB, Cassandra, CouchDB en Riak