sql >> Database >  >> NoSQL >> MongoDB

Hoe 100 miljoen records in MongoDB te laden met Scala voor prestatietests?

Enkele tips :

  1. Indexeer uw verzameling niet voordat u deze invoegt , omdat inserts de index wijzigen, wat een overhead is. Voeg alles in en maak vervolgens index .

  2. gebruik in plaats van "save" mongoDB "batchinsert" die veel records in 1 bewerking kan invoegen. Laat dus ongeveer 5000 documenten per batch invoegen. U zult een opmerkelijke prestatiewinst zien.

    zie de methode #2 van invoegen hier, er zijn een reeks documenten nodig om in te voegen in plaats van één document. Zie ook de discussie in deze thread

    En als u meer wilt benchmarken -

  3. Dit is slechts een gok, probeer een afgetopte verzameling van een vooraf gedefinieerd groot formaat te gebruiken om al uw gegevens op te slaan. Afgetopte verzameling zonder index heeft zeer goede invoegprestaties.



  1. Voeg een soort rijnummer toe aan een mongodb-aggregaatopdracht / pijplijn

  2. verbinding maken met lokale mongodb vanuit docker-container

  3. Is er een optie om het geheugengebruik van Mongodb te beperken?

  4. Update veld in exacte elementarray in MongoDB