Cloudera Manager 4.7 heeft ondersteuning toegevoegd voor het beheren van Cloudera Search 1.0. Gebruikers van Cloudera Manager kunnen dus eenvoudig alle componenten van Cloudera Search (inclusief Apache Solr) implementeren en alle gerelateerde services beheren, net als elke andere service die is opgenomen in CDH (Cloudera's distributie van Apache Hadoop en gerelateerde projecten).
In deze how-to leert u de stappen die nodig zijn om Cloudera Search toe te voegen aan een Cloudera Enterprise (CDH + Cloudera Manager) cluster.
Het SOLR-pakket installeren
In ons voorbeeld gebruikt het cluster een CDH 4.4-pakket en voert het de services Apache ZooKeeper, HDFS en Apache HBase uit. (Pakketten zijn een erg handige manier om nieuwe software te implementeren en pijnloze upgrades uit te voeren via Cloudera Manager.)
Als u het SOLR-pakket rechtstreeks uit Cloudera wilt downloaden, kunt u de standaardinstellingen voor "Remote Parcel Repository URL's" gebruiken (onder de Pakketten sectie in het tabblad Beheer) zoals hieronder weergegeven:
De URL van de pakketopslagplaats instellen
Als je een lokale repository wilt gebruiken (d.w.z. eerst het pakket downloaden van Cloudera en dan installeren vanaf de lokale kopie), kun je de instructies hier volgen. De volgende stappen zijn om het pakket te "Downloaden", "Verdelen" en "Activeren" vanaf de pagina Pakketten op het tabblad Hosts.
Het SOLR-pakket implementeren
Zodra het pakket is geactiveerd, heb je alle componenten van Cloudera Search (Solr, Lily HBase Indexer en Apache Flume's Morphlines Sink) klaar om samen met CDH te worden gebruikt.
De volgende stap is het toevoegen van de Apache Solr-service aan uw cluster. Kies in het menu "Acties" van uw cluster op het tabblad Services "Add a Service", waarmee u naar de "Add Service Wizard" in Cloudera Manager gaat. Nadat u de stappen in de wizard hebt gevolgd en hebt gekozen waar de Solr-servers moeten worden uitgevoerd, komt u op een werkstroompagina die de Solr-service initialiseert en alle Solr-servers start.
De Solr-service in gebruik nemen
Dat is alles - de Solr-service is nu klaar voor gebruik! Volg de instructies in de Gebruikershandleiding voor Cloudera Search om collecties te maken en er documenten aan toe te voegen voor indexering. De onderstaande schermafbeelding laat zien hoe u een collectie maakt met het standaard Solr-schema.
De eerste collectie maken
Lily HBase Indexer toevoegen
Cloudera Manager 4.7 biedt ook ondersteuning voor de Lily HBase Indexer die bij het SOLR-pakket wordt geleverd. De Lily HBase Indexer Service is een flexibel, schaalbaar, fouttolerant, transactioneel, bijna realtime systeem voor het verwerken van een continue stroom van HBase-celupdates in live zoekindexen. Om het te gebruiken, voegt u de service "Keystore Indexer" toe via de "Add Service Wizard".
Voordat u de Lily HBase Indexer kunt gebruiken, moet u er echter voor zorgen dat replicatie en indexering zijn ingeschakeld in de HBase-service in het cluster. U kunt deze eigenschappen wijzigen op de HBase-serviceconfiguratiepagina onder het gedeelte 'Back-up'.
HBase-eigenschappen instellen voor Lily HBase Indexer
Merk ook op dat Cloudera Manager een standaard Cloudera Morphlines-bestand bevat dat kan worden gebruikt door de Lily HBase Indexer. Om dat bestand aan te passen om uw eigen functies te gebruiken, moet u naar de Keystore Indexer-service gaan en de Morphlines-configuratie wijzigen zoals hieronder weergegeven:
Cloudera Morphlines bewerken voor Lily HBase Indexer
Zodra deze wijzigingen zijn aangebracht, kunt u de Lily HBase Indexer gaan gebruiken om alle gegevens die in HBase binnenkomen te indexeren door de instructies in de Gebruikershandleiding Lily HBase Indexer te volgen. . Deze blogpost geeft ook een goed voorbeeld van het indexeren van e-mails met HBase en Cloudera Search.
Conclusie
Nu weet u hoe eenvoudig het is om een Cloudera Search-service op uw CDH-cluster te implementeren, configureren en beheren met Cloudera Manager. Beginnend met Cloudera Enterprise 5 (in bèta op het moment van schrijven), zullen Cloudera Search en Lily HBase indexer standaard worden geïnstalleerd en gestart, waardoor dit proces nog eenvoudiger wordt.
Vikram Srivastava is een Software Engineer bij Cloudera.