sql >> Database >  >> NoSQL >> MongoDB

Kan kafka verbinden - Mongo-bron wordt uitgevoerd als cluster (max.tasks> 1)

Mongo-bron ondersteunt geen taken.max> 1. Zelfs als u het groter dan 1 instelt, slechts één taak zal gegevens van mongo naar Kafka trekken.

Hoeveel taken er worden gemaakt, hangt af van een bepaalde connector. Functie List<Map<String, String>> Connector::taskConfigs(int maxTasks) , (die moet worden overschreven tijdens de implementatie van uw connector) retourneer de lijst, welke grootte het aantal taken bepaalt. Als u mongo-kafka source-connector aanvinkt, ziet u dat het singletonList is.

https://github.com/mongodb/mongo-kafka/blob/master/src/main/java/com/mongodb/kafka/connect/MongoSourceConnector.java#L47




  1. Mongoexport fout bij het parseren van query

  2. Referentiesets implementeren in Redis

  3. MongoEngine gebruiken Documentklasse-methoden voor aangepaste validatie en pre-save hooks

  4. Vind telling van alle overlappende intervallen