Het Cloudera Data Platform (CDP) is het nieuwste Big Data-aanbod van Cloudera. Het omvat Apache HBase en Phoenix als onderdeel van het platform. Deze twee componenten worden geleverd in 3 vormfactoren:
- Voor implementaties op locatie zijn ze beschikbaar op een manier die vergelijkbaar is met CDH en HDP (binnen het CDP Private Cloud-aanbod)
- Voor klanten die de database zelf willen beheren in AWS en Azure, is deze beschikbaar als onderdeel van het CDP Public Cloud DataHub-aanbod (met de Operational Database-sjabloon of in Custom DataHub-implementaties)
- Het zal binnenkort beschikbaar zijn als onderdeel van de Cloudera Operational Database (COD), een volledig beheerd aanbod dat de beheeroverhead van het uitvoeren van een HBase-implementatie elimineert
Cloudera's Apache HBase-klanten gebruiken doorgaans bedrijfskritieke applicaties die zich geen downtime kunnen veroorloven. Ze hebben een manier nodig om te migreren naar een nieuwe implementatie zonder een productiestoring of, op zijn minst, een kleine storing. Met deze upgrade-overwegingen in gedachten, vooral met het naderende einde van de ondersteuning voor CDH5 en HDP 2, hebben we de Cloudera OpDB Replication Plugin ontwikkeld. .
Veel bedrijven zetten ook op CDH 6, HDP 3 en EMR gebaseerde HBase-clusters in, maar willen de operationele overhead van het onderhoud van HBase-clusters verminderen of elimineren. Voor hen is de Cloudera OpDB Replication Plugin kunnen hen in staat stellen te migreren naar DataHub of COD zonder enige downtime of productieonderbreking.
De replicatie-plug-in ondersteunt replicatie van de volgende bron-HBase-clusters:
- CDH 5.14
- CDH 6.3
- HDP 2.6.5
- HDP 3.1.5
- EMR 5,28
HBase-replicatie
HBase biedt al bijna tien jaar een volwassen, functierijke replicatiemogelijkheid. Replicatie is een van de meest populaire mogelijkheden van HBase omdat het een automatische disaster-recovery (DR)-oplossing biedt, datamigratie ondersteunt, workload-partitionering ondersteunt en/of een op zoek gebaseerde secundaire index ondersteunt door integratie met Apache Solr. Een gedetailleerde bespreking van hoe HBase-replicatie werkt en hoe replicatie te configureren, wordt uitgelegd in de HBase-referentiegids en is besproken in veel Cloudera Blog-artikelen. Tegenwoordig ondersteunt het vele topologieën, waaronder:
- Ventilator
- Uitwaaieren
- Cyclisch
- Bidirectioneel
HBase-replicatie kan worden geconfigureerd op naamruimte (d.w.z. database) of op tabelniveau. Hoewel het bijna realtime van aard is, kan het worden geconfigureerd om uiteindelijk consistent of tijdlijnconsistent te zijn.
De Cloudera OpDB-replicatieplug-in ondersteunt alleen een doelcluster dat wordt geleverd door een CDP DataHub-cluster of door een COD-database, geïmplementeerd in AWS of Azure.
Vertrouwen vestigen
HBase-replicatie vereist tot nu toe dat alle deelnemende clusters dezelfde beveiligingsdefinities hebben, met andere woorden, voor alle clusters moet ofwel geen beveiliging zijn ingeschakeld (verificatieconfiguratie ingesteld op eenvoudig) , of voor alle clusters moet beveiliging zijn ingeschakeld met kerberos (verificatieconfiguratie ingesteld op kerberos) .
Wanneer Kerberos wordt gebruikt, moeten de kerberos-principals van alle clusters tot hetzelfde realm behoren, of als ze zich in verschillende rijken bevinden, moeten deze betrouwbaar . zijn tussen elkaar (algemeen bekend als cross-realm authenticatie).
cross-realm vertrouwen configureren met Kerberos is problematisch in de meeste organisaties, aangezien het beveiligingsbeleid van bedrijven dit doorgaans verbiedt. Om dit probleem op te lossen, gebruikt de Cloudera OpDB Replication-plug-in breidt HBase-replicatie uit om een alternatieve authenticatiemethode te gebruiken, waardoor replicatie tussen beveiligingsdomeinen mogelijk wordt. De replicatie-plug-in staat replicatie toe
- Over meerdere Kerberos-domeinen zonder dat cross-realm vertrouwen vereist is
- Replicatie van veilige naar onveilige clusters, en
- Replicatie van onveilige naar beveiligde clusters.
Om vertrouwen van CDP-clusters tot stand te brengen voor clusters die ofwel geen beveiligingsconfiguraties hebben of die zijn beveiligd met Kerberos, implementeert de Replicatie-plug-in een nieuw authenticatiemechanisme met behulp van een gedeeld geheim dat wordt gemaakt met behulp van een meegeleverde tool en wordt opgeslagen in zowel de bron- als de doelclusters.
Conclusie
Replicatie is een waardevol hulpmiddel voor het implementeren van DR- en datacenter (DC)-migratieoplossingen voor HBase. Het heeft enkele kanttekeningen, zoals hier wordt weergegeven bij het omgaan met de beveiligingsconfiguraties van clusters. Met het naderende einde van de levensduur van CDH 5 en HDP 2 is het absoluut noodzakelijk om gegevens van deze legacy-platforms naar CDP te migreren.
Voor klanten met op HDP3, CDH6 en EMR 5.28 gebaseerde HBase-implementaties, stelt deze plug-in deze klanten in staat naadloos een volledig beheerde HBase-oplossing over te nemen en de operationele overhead van het beheer van HBase drastisch te verminderen.
Neem contact op met uw Cloudera-accountteam als u geïnteresseerd bent in het implementeren van de Cloudera OpDB-replicatieplug-in in uw omgeving.