sql >> Database >  >> RDS >> Mysql

Kafka connect-configuratie om records van Aurora te verzenden met AWS MSK

Nee. U kunt schema's inschakelen in json-records. JDBC-bron kan ze voor u maken gebaseerd op de tabelinformatie

value.converter=org.apache.kafka...JsonConverter 
value.converter.schemas.enable=true

Als u Schema Registry wilt gebruiken, moet u kafkastore.bootstrap.servers gebruiken .met het Kafka-adres, niet Zookeeper. Dus verwijder kafkastore.connection.url

lees de documenten voor uitleg van alle eigenschappen

Maakt niet uit. Het schema-onderwerp wordt gemaakt wanneer het register voor het eerst wordt gestart

Ja (beschikbare JVM-heapruimte negerend). Nogmaals, dit wordt gedetailleerd beschreven in de Kafka Connect-documentatie.

Als u de standalone modus gebruikt, geeft u eerst de connect worker-configuratie door en vervolgens tot N connectoreigenschappen in één opdracht

In de gedistribueerde modus gebruikt u de Kafka Connect REST API

https://docs.confluent.io/current/connect/managing/configureren .html

Allereerst is dat voor Sqlite, niet voor Mysql/Postgres. U hoeft de snelstartbestanden niet te gebruiken, ze zijn er alleen ter referentie

Nogmaals, alle eigenschappen zijn goed gedocumenteerd

https://docs.confluent.io /current/connect/kafka-connect-jdbc/index.html#connect-jdbc

Hier is meer informatie over hoe je dat kunt debuggen

https://www.confluent.io/ blog/kafka-connect-deep-dive-jdbc-source-connector/

Zoals eerder vermeld, zou ik persoonlijk aanraden om waar mogelijk Debezium/CDC te gebruiken

Debezium-connector voor RDS Aurora



  1. Detecteer gebruikers die dezelfde webpagina of URL bekijken

  2. Een pleidooi houden voor reguliere SQL Server-services

  3. Hoe selecteer ik de meest recente invoer in mysql?

  4. Hoe rij bovenaan in mysql-query te plaatsen.