Apache HBase werd 10 jaar geleden een topproject met Apache en Cloudera begon er tegelijkertijd (2010) aan bij te dragen. In de loop van de tijd is het een van de grootste en populairste open-sourcetools voor big data en een van de populairste NoSQL-databases geworden.
De Apache Software Foundation kondigt de 10e verjaardag van Apache HBase aan
HBase ondersteunt zowel key-value als wide-column NoSQL-database en wordt door bedrijven over de hele wereld gebruikt. Cloudera heeft meer dan 500 klanten in productie die het gebruiken voor use-cases, variërend van missiekritieke transactionele applicaties, datawarehousing, machine learning en data-engineering. Onze klanten kiezen voor HBase vanwege zijn veerkracht (sommige klanten zijn in staat om gedurende vele jaren 100% uptime van applicaties te realiseren), stabiliteit, prestaties en lage operationele kosten. Cloudera-klanten zetten het stand-alone in, samen met Phoenix, een op SQL gebaseerde database gebouwd op HBase en soms met Apache Impala en/of Apache Hive waarmee ze op SQL gebaseerde OLAP-query's op HBase kunnen uitvoeren.
Ik ben sinds 2018 productmanager voor het operationele databaseaanbod van Cloudera en heb veel van onze klanten mogen ontmoeten. Ik ben voortdurend onder de indruk van het brede scala aan manieren waarop klanten HBase gebruiken. De breedte van use-cases is zo groot en gevarieerd dat het segmentatie tart. Na veel analyse kwam ik uit op een eenvoudige aanpak om use-cases te classificeren:klanten die het gebruiken om missiekritieke applicaties te ondersteunen en die dat niet doen. De bedrijfskritieke applicaties zijn meestal transactiegericht van aard en helpen onze klanten hun omzet te verhogen en/of operationele efficiëntie te verhogen. Voor hen geldt dat als HBase naar beneden gaat, de top-line en/of bottom-line wordt beïnvloed en, in het ergste geval, mensen kunnen overlijden.
Voorbeelden van missiekritieke use-cases:
- Een leverancier van software voor de gezondheidszorg gebruikt HBase voor honderden applicaties. Als deze toepassingen mislukken, kunnen mensen om welke reden dan ook overlijden en stijgen de zorgkosten. Deze klant heeft HBase geïmplementeerd op meer dan 7.000 nodes met meer dan 70 PB aan gegevens.
- Een fabrikant van mobiele telefoons gebruikt HBase om een spraakassistent en vele andere toepassingen mogelijk te maken op meer dan 6000 knooppunten
- Een financieel mediahuis gebruikt HBase om delen van het platform van stroom te voorzien en stelt handelaren en anderen in staat de relevante context rond koersbewegingen, trends, enz. op 1.200+ knooppunten te begrijpen
- Een toonaangevend e-mailmarketingplatform draait HBase op ~1.000 nodes
- Een verzekeringsmaatschappij gebruikt HBase op ~1.000 nodes om alle claiminformatie op te slaan en gebruikt deze voor het beheren van die claims gedurende hun levenscyclus
- Een aanbieder van bibliotheekdiensten gebruikt HBase op meer dan 400 nodes ter ondersteuning van interbibliothecair leenverkeer over de hele wereld
- Een wereldwijd energiedistributiebedrijf gebruikt HBase op meer dan 400 knooppunten om metingen van meer dan 7 miljoen slimme meters op te nemen en om geautomatiseerde inzet van reparatieteams voor het elektriciteitsdistributienetwerk, stroomfactureringstoepassingen uit te voeren en continue training van machine learning-modellen stimuleren
- De grootste Indonesische telco, Telkomsel, met meer dan 170 miljoen klanten, migreerde hun volledige CRM-toepassing van de oude MPP-database naar HBase en Impala en kon een responstijd van minder dan een seconde bereiken op alle CRM-query's voor individuele gebruikers, oproeprecords, profielen, herladingen, datagebruik, enz. Het voordeel van Impala om HBase te doorzoeken was dat de ANSI SQL-compatibele interface toegankelijk was via JDBC om CRM-wijzigingen te minimaliseren.
Voorbeelden van niet-missie-kritieke gebruiksscenario's:
- Een fabrikant van producten voor persoonlijke verzorging gebruikt HBase om al hun productmerk- en marketingmateriaal te beheren
- Een fabrikant van halfgeleiders gebruikt HBase om logbestanden van hun producten op te slaan en ze uit te pakken naar andere systemen voor analyse
- Een telecommunicatieprovider gebruikt HBase om hun dimensietabellen voor Hive op te slaan
Wat HBase onderscheidt van andere NoSQL-aanbiedingen, is de integratie in het Open Source, Big Data-ecosysteem, waardoor klanten een end-to-end-ervaring hebben. Ze kunnen het gebruiken voor applicaties die data van de edge nodig hebben of applicaties die AI/ML-modellen op schaal of een combinatie daarvan moeten leveren.
Een van de meest interessante ondersteuningstickets die ik bij Cloudera ben tegengekomen, is toen een HBase-klant een ticket met hoge prioriteit indiende om aan te geven dat hun missiekritieke implementatie niet werkte. Ze hadden al meer dan een jaar geen contact met ons gehad en ik wist niet eens dat ze een belangrijke klant waren. In dit geval kwam ik er pas achter dat ze 1.000 nodes hadden ingezet om een omnichannel-marketingplatform op HBase aan te drijven. De oorzaak van het probleem was dat ze 9 maanden voorafgaand aan het incident enkele problematische wijzigingen in hun configuratie-instellingen hadden aangebracht. Toen ze eindelijk opnieuw opstartten, werden de problematische configuratie-instellingen van kracht, waardoor ze Cloudera om hulp vroegen!
Cloudera geeft veel om HBase en heeft 15 committers en PMC-leden bij het project. We investeren ook om het beschikbaar te maken in de openbare cloud, met zowel PaaS-achtige als dbPaaS-vormfactoren.
HBase-ervaringen door de jaren heen
Gezien onze jarenlange inzet en geschiedenis met dit project, wilden we een aantal ervaringen en verhalen van het hele Cloudera-team met betrekking tot dit project delen.
“Jaren geleden woonde ik een op Apache Hadoop gerichte technische conferentie bij. Op een late avond liep ik terug naar mijn kamer, en ik zag toevallig een groep mensen die ik herkende als vaste klanten, rond een tafel gekropen. Dit is een zeer competente groep individuen met wie ik al vele jaren heb samengewerkt. Ik dwaalde erheen, met de bedoeling om even hallo te zeggen en op weg te gaan na een lange dag. Het bleek dat ze een productiestoring hadden op een van hun systemen en bezig waren om het op te lossen. Ik ging zitten, haalde mijn laptop tevoorschijn en hing de volgende paar uur met hen rond terwijl we het probleem analyseerden en de problemen aanpakten die we vonden. Het ondersteunen van missiekritieke applicaties vereist soms heldhaftigheid, maar soms vind je onderweg ook wat vogels van een veertje.”
— Senior ingenieur
“In de aard van veel bedrijven is het absoluut essentieel om te kunnen schalen en toch te kunnen voldoen aan de lage latentievereisten van hun bedrijfskritieke systeem. Als je terugkijkt in de archieven, hadden onze klanten het moeilijk om aan zulke moeilijke normen te voldoen. HBase heeft de elementen waardoor het er gemakkelijk uitzag om aan die verwachtingen te voldoen, vooral door de tijd te minimaliseren om de volgende beste actie te activeren.”
— Hoofdoplossingenarchitect
“Drie jaar geleden was ik een nieuwe schrijnwerker Engineering Manager bij Cloudera. Ik kende de open-sourceactiviteiten van het bedrijf en ben sinds de middelbare school een GNU Linux-gebruiker, maar open source gebruiken en er deel van uitmaken is heel anders.
Als nieuwe man bij het bedrijf moest ik begrijpen wat het team doet, dus kreeg ik een paar supporttickets toegewezen en begon ik eraan te werken. Ik wist maar twee dingen:ik was jarenlang Java-ontwikkelaar, dus ik moet het kunnen en Hortonworks is onze meest uitdagende concurrent, wat betekent dat het misschien interessant is om met hen samen te werken.
En toen gebeurde het, met mijn allereerste Apache HBase-ticket kwam ik Josh Elser tegen - leider van het HBase-team van Hortonworks - die me liet zien dat het implementeren van een newby-taak moeilijker kan zijn dan verwacht (met de kwaliteitsbalken die het HBase-team heeft) en dat uw concurrent kan uw beste partner zijn in de open-sourcegemeenschap. Uiteindelijk heeft hij mijn wijzigingen doorgevoerd.
In de afgelopen drie jaar is er veel veranderd. Cloudera en Hortonworks zijn gefuseerd, we werken nu bij hetzelfde bedrijf maar Apache en HBase zijn hetzelfde. Ik heb beperkte tijd om aan de code te werken, maar zie de kracht ervan, zie hoe deze wordt gebruikt voor diensten waarvan ik niet wist dat ze bestonden en ik zie hoe mensen over de hele wereld samenwerken. Het verbindt mensen over bedrijven, continenten, culturen heen.”
— Engineering Manager
“HBase en Phoenix waren gemakkelijk te leren. Data Hub maakt het gemakkelijk om te beginnen en kijkt nu uit naar Cloudera Operational Database die HBase naar het volgende decennium zal brengen.”
— Technisch Customer Success Manager
“In de afgelopen 9 jaar ben ik vanaf de frontlinie tot de ontwikkeling van HBase geweest en heb ik de evolutie gezien van hoe onze klanten HBase gebruiken van een POC tot grootschalige, missiekritieke platforms. Het meest opmerkelijke moment in deze tijd was vóór de fusie van Cloudera en Hortonworks, toen teams van beide bedrijven samenwerkten om de functionaliteit van één kritieke productfunctie te verbeteren. Uiteindelijk werd het werk gepresenteerd op HBaseCon en kreeg het grote erkenning door twee van de grootste gebruikers van HBase. Deze functie drijft een kritieke functionaliteit aan die door meer dan 2B mobiele apparaten over de hele wereld wordt gebruikt”.
– Senior ingenieur
"Een ander geweldig moment van de laatste 10 jaar van HBase was op HBaseCon 2015 toen Carter Page van Google publiekelijk erkende hoe HBase uitgroeide tot een zeer solide project"
– Senior ingenieur
"Ik heb het genoegen gehad om bijna alle HBaseCons bij te wonen (en bij sommige te spreken). Dit zijn drie van mijn favoriete HBaseCon-herinneringen:(1) HBase's diversiteit:de HBase 2.0-aankondiging benadrukte niet alleen het aantal verzonden JIRA's, maar ook het aantal HBase-committers en PMC-leden van buiten de VS plus een vrouw die de HBase PMC leidde , (2) het momentum van HBase:de aankondiging van Facebook dat ze hun aangepaste vork verlieten om 100% stroomopwaarts te gaan Apache HBase, en (3) de opstapjes van HBase:op een HBaseCon gaf een Bloomberg-ontwikkelaar een leesreplica-lezing en vervolgens twee HBaseCons later , een Apple-ontwikkelaar gaf een HBaseCon-keynote over het gebruik van leesreplica's in productie."
– Senior systeemingenieur
Bij Cloudera blijven we een mooie toekomst zien voor dit project en verwachten dat het zal evolueren om de volgende generatie applicaties aan te drijven die in de cloud worden gebouwd in PaaS-achtige en dbPaaS-vormfactoren, evenals in datacenters met private cloud.
Voor een voorproefje van wat komen gaat, kijk op CDP Public Cloud's Operationele DB-sjabloon .