sql >> Database >  >> NoSQL >> MongoDB

Hadoop HDFS MapReduce-uitvoer naar MongoDb

U wilt «MongoDB-connector voor Hadoop» . De voorbeelden .

Het is verleidelijk om in je Reducer gewoon code toe te voegen die, als neveneffect, data in je database invoegt. Vermijd deze verleiding. Een reden om een ​​connector te gebruiken in plaats van alleen gegevens in te voegen als een neveneffect van uw reducer-klasse, is speculatieve uitvoering:Hadoop kan soms twee van exact dezelfde reduce-taken parallel uitvoeren, wat kan leiden tot vreemde invoegingen en dubbele gegevens.



  1. Hoe bson effectief naar json te converteren met mongo-go-driver?

  2. Hoe schrijf je een MongoDB $ slice in golang

  3. MongoDB - Datum opslaan zonder tijdzone

  4. mongoDB Aggregation retourneert leeg