We gebruiken ES als een rapportage-database en wanneer nieuwe records naar SQL worden geschreven, ondernemen we de volgende actie om ze in ES te krijgen:
- Schrijf de primaire sleutel in een wachtrij (we gebruiken konijnMQ)
- Konijn pakt de primaire sleutel op (wanneer het tijd heeft) en bevraagt de relatie DB om de informatie te krijgen die het nodig heeft en schrijft vervolgens de gegevens in ES
Dit proces werkt geweldig omdat het zowel nieuwe gegevens als oude gegevens verwerkt. Voor oude gegevens hoeft u alleen maar een snel script te schrijven om 300 miljoen primaire sleutels in konijn te schrijven en u bent klaar!