Externe bijenkorf metastore voor EMR

U kunt de standaardconfiguraties voor toepassingen overschrijven door een configuratieobject voor toepassingen op te geven wanneer u een cluster maakt. Er wordt naar het configuratieobject verwezen als een JSON-bestand. Configuratieobjecten bestaan ​​uit een classificatie, eigenschappen en optionele geneste configuraties. Eigenschappen zijn de instellingen die u in dat bestand wilt wijzigen. U kunt meerdere classificaties voor meerdere toepassingen opgeven in één JSON-object.

Voor het overschrijven van hive-site.xml met uw externe mysql-metastore-informatie, maakt u een configuratiebestand met de naam hiveConfiguration.json met bewerkingen voor hive-site.xml:

[
    {
      "Classification": "hive-site",
      "Properties": {
        "javax.jdo.option.ConnectionURL": "jdbc:mysql:\/\/hostname:3306\/hive?createDatabaseIfNotExist=true",
        "javax.jdo.option.ConnectionDriverName": "org.mariadb.jdbc.Driver",
        "javax.jdo.option.ConnectionUserName": "username",
        "javax.jdo.option.ConnectionPassword": "password"
      }
    }
]

Gebruik hiveConfiguration.json met de volgende AWS CLI-opdracht om het cluster te maken:

aws emr create-cluster --release-label emr-5.11.0 --instance-type m3.xlarge --instance-count 2 \
--applications Name=Hive --configurations ./hiveConfiguration.json --use-default-roles

Referentie:

https://docs.aws.amazon .com/emr/latest/ReleaseGuide/emr-hive-metastore-external.html