In deze Hadoop-zelfstudie , gaan we het concept van NameNode Automatic Failover in Hadoop bespreken. Allereerst zullen we zien wat failover is en welke soorten failover. Dan behandelen weHDFS automatische failover in Hadoop.
Onderdelen van Hadoop Automatic Failover in HDFS, zoals ZooKeeper-quorum, ZKFailoverController Process (ZKFC). Ten slotte zullen we ook de rollen van deze twee componenten in Hadoop . bespreken .
Wat is failover?
Het proces waarbij het systeem zijn controle overdraagt aan het secundaire systeem wanneer het een fout detecteert, staat bekend alsfailover .
Er zijn twee soorten failover:
- Graceful Failover – Beheerder start Graceful Failover handmatig, bijvoorbeeld in het geval van routine-onderhoud. Het systeem activeert niet automatisch een failover van de actieve naar de standby-namenode, zelfs niet als de actieve node is mislukt in Graceful Failover.
- Automatische failover – Automatische failover is het proces waarbij het systeem automatisch de controle overdraagt aan de standby NameNode wanneer de NameNode faalt. In Hadoop vindt automatische failover plaats in het geval van NameNode-storingen. Maar in het geval van een NameNode-fout, wordt Failover automatisch gestart. Deze failover is automatische failover.
NameNode automatische failover in Hadoop
Automatische failover in Hadoop voegt onderstaande componenten toe aan een Hadoop HDFS-implementatie:
- ZooKeeper-quorum.
- ZKFailoverController-proces (ZKFC).
1. ZooKeeper-quorum
Zookeeper in Hadoop is een gecentraliseerde dienst. Het onderhoudt configuratie-informatie, naamgeving en biedt gedistribueerde synchronisatie. Het biedt ook groepsdiensten. Zookeeper beheert en coördineert ook een groot aantal machines.
Om de onderstaande redenen is de implementatie van automatische HDFS-failover afhankelijk van Zookeeper:
- Foutdetectie- Zookeeper in Hadoop onderhoudt een sessie met de namenodes. Bij een storing verloopt de sessie. Dus de Zookeeper zal andere namenodes informeren om het failover-proces te starten.
- Actieve NameNode-verkiezing- Een eenvoudig mechanisme van Zookeeper om alleen een knooppunt als actief te kiezen. Op het moment dat de actieve namenode faalt, kunnen andere namenodes een exclusief slot in Zookeeper nemen waarin staat dat ze de volgende actieve namenode willen worden.
2. ZKFailoverController (ZKFC)
ZKFC is een klant van Zookeeper in Hadoop die de namenode status bewaakt en beheert. Elk van de machines waarop de namenode-service draait, heeft ook een ZKFS. Het kan omgaan met:
- Gezondheidsmonitoring – Met een health-check commando pingt ZKFS zijn lokale namenode. De ZKFS beschouwt de namenode als gezond, zolang de namenode maar tegelijk reageert. De gezondheidsmonitor markeert een knooppunt als niet in orde, als het knooppunt is gecrasht of in een slechte staat verkeert.
- Beheer van dierenverzorgersessies - ZKFC houdt een sessie open in Zookeeper wanneer de lokale namenode gezond is. Het bevat ook een speciale "lock" znode, als de lokale namenode actief is. Als de sessie verloopt, wordt de vergrendeling automatisch verwijderd.
- Verkiezingen op basis van dierenverzorgers - In HDFS, als de lokale namenode gezond is, en de ZKFC ziet dat geen enkel ander knooppunt momenteel de lock-znode bevat, zal het zelf proberen het slot te krijgen. En als het lukt, heeft het de verkiezingen gewonnen', en het zorgt voor een failover om zijn lokale namenode actief te maken.
Conclusie
Daarom wordt automatische failover in Hadoop automatisch gestart in het geval van een NameNode-fout. Automatische failover voegt ZooKeeper-quorum- en ZKFailoverController Process-componenten (ZKFC) toe aan een HDFS-implementatie.
Zookeeper in Hadoop is een service die de automatische failover mogelijkheid in HDFS . biedt .