sql >> Database >  >> NoSQL >> MongoDB

Gedistribueerde officiële Mongodb Kafka-bronconnector met meerdere taken werkt niet

Het lijkt erop dat dit het gedrag is van de officiële MongoDB Kafka Source Connector. Dit is het antwoord dat ik op een ander forum kreeg van Ross Lawley (MongoDB-ontwikkelaar):

Vóór 1.2.0 werd slechts een enkele taak ondersteund door de sink-connector. De Source-connector ondersteunt nog steeds slechts één enkele taak, dit komt omdat deze een enkele Change Stream-cursor gebruikt. Dit is voldoende om wijzigingen clusterbreed, databasebreed of tot een enkele verzameling te bekijken en te publiceren.

Ik heb dit ticket opgehaald:https://jira.mongodb.org/browse/KAFKA-121 Kreeg het volgende antwoord:De bronconnector zal slechts één enkele taak produceren. Dit is zo ontworpen, aangezien de bronconnector wordt ondersteund door een wijzigingsstroom. Wijzigingsstromen gebruiken intern dezelfde gegevens als gebruikt door de replicatie-engine en moeten als zodanig kunnen worden geschaald zoals de database doet. Er zijn geen plannen om meerdere cursors toe te staan, maar als u denkt dat dit niet aan uw vereisten voldoet, kunt u configureer meerdere connectoren en elk zou zijn eigen wijzigingsstroomcursor hebben.




  1. MySQL Master-Slave-replicatie instellen op Ubuntu 18.04

  2. Gegevensstroom opslaan van POST-verzoek in GridFS, express, mongoDB, node.js

  3. Hoe Mongo-indexen testen in integratietests?

  4. Hoe kan ik zien waar mongoDB gegevens opslaat? (het staat niet in de standaard /data/db!)