Redis of Kafka of XYZ kunnen worden gebruikt als buffer in de ELK-stack, zoals je terecht hebt opgemerkt.
De ES-mensen hebben gisteren een blogpost gepubliceerd over het gebruik van Kafka in de pijplijn, maar het had net zo goed Redis of XYZ kunnen zijn. Ze maken een goed punt over WANNEER zo'n buffer kan nodig zijn en wanneer niet.
Het is een goed idee om zo'n buffer te hebben om
- omgaan met pieken in gebeurtenissen
- omgaan met een mogelijk onbereikbaar ES-cluster
Als u dergelijk gedrag niet verwacht, d.w.z. u weet het
- je evenementen komen altijd in hetzelfde tempo en/of
- het is oké dat je logs iets later worden verzonden voor het geval je je ES-cluster moet upgraden
...dan heb je zo'n buffer niet nodig. Bovendien is dat een stuk software minder dat u hoeft te beheren, bewaken en onderhouden.
Als het gaat om het Elastic Stack-ecosysteem, is er geen one-size-fits-all-aanpak, het hangt altijd af van uw precieze gebruiksscenario en vereisten. U moet zich afvragen wat belangrijk is voor u, uw systeem(en) en uw gebruikers en vervolgens uw oplossing dienovereenkomstig ontwerpen.