BigQuery is een beheerd, serverloos datawarehouse in de Google Cloud dat is ontworpen om schaalbare analyse van petabytes aan gegevens mogelijk te maken. Het is een relationele database Platform as a Service (PaaS) die ANSI SQL-query's ondersteunt. Als zodanig werkt het met IRI-software.
Het verbinden van Google BigQuery RDB met IRI Workbench en het back-end SortCL-verwerkingsprogramma is eenvoudig en zorgt voor de verplaatsing en manipulatie van de gestructureerde gegevens via compatibele IRI-producten. Dit betekent IRI CoSort, FieldShield, NextForm en RowGen, of het IRI Voracity-platform dat ze allemaal omvat.
Connectiviteit volgt hetzelfde paradigma als alle andere relationele databases die IRI ondersteunt. Dit betekent het downloaden en installeren van ODBC- en JDBC-stuurprogramma's, configuratie (gebruiken en testen met uw inloggegevens), registratie en validatie.
Omdat Workbench is gebouwd op Eclipse, heeft het een JDBC-verbinding nodig om het BigQuery-schema te bekijken en de tabelmetagegevens te ontleden. En om gegevens tussen BigQuery en de SortCL-gegevensmanipulatie-engine door te geven, is ook een ODBC-stuurprogramma nodig. Het uiteindelijke resultaat zou dit kunnen zijn:
Google werkt samen met Magnitude Simba om ODBC- en JDBC-stuurprogramma's te leveren om verbinding te maken met BigQuery. Op het moment van schrijven mist het JDBC-stuurprogramma echter de belangrijkste functies die Workbench nodig heeft. Om dit te omzeilen, gebruikt u het JDBC-stuurprogramma van CData.
Dit artikel bevat stapsgewijze instructies voor IRI-software om toegang te krijgen tot BigQuery.
Serviceaccounts in BigQuery
BigQuery autoriseert toegang tot bronnen op basis van geverifieerde identiteit, waarvoor een gebruikers-ID nodig is in de vorm van een serviceaccount en een sleutel/wachtwoord. Om een geverifieerde identiteit aan te maken, logt u in bij BigQuery, gaat u naar Serviceaccounts onder IAM &Admin en maakt u een account aan:
Het eerste veld maakt de naam van het serviceaccount aan, voor mijn configuratie noemde ik het iri-simba. Het tweede veld wordt automatisch ingevuld met een e-mailadres van een serviceaccount met de naam die u hebt gekozen. Het laatste veld kan worden overgeslagen. Klik op Maken en doorgaan.
Nu er een serviceaccount is gemaakt, kunnen we verder gaan met het type machtigingen dat dit account kan hebben. Klik opSelecteer een rol en zoek naar BigQuery om specifieke rollen voor de database toe te voegen.
Als u de muisaanwijzer op elke rol plaatst, krijgt u een korte beschrijving van het type toegang dat deze rol aan het serviceaccount geeft; vind hier een uitgebreidere uitleg. Dit zorgt voor meer controle over het geven van toestemming aan specifieke gebruikers, zoals de mogelijkheid om tabellen te bekijken, query's te maken of als beheerder uit te voeren.
Ik heb gekozen voor de rol van BigQuery-gebruiker, waardoor dit serviceaccount tabellen kan bekijken en manipuleren. De "Gebruikerstoegang tot dit serviceaccount verlenen" wordt overgeslagen. Klikken op Gereed brengt u terug naar de hoofdpagina van het serviceaccount waar u het account kunt zien:
Laten we verder gaan met het tweede gedeelte en de sleutel maken die aan het nieuwe serviceaccount wordt gekoppeld. Klik in het veld Actie op Sleutels beheren om de sleutel voor het serviceaccount te maken — door uw eigen sleutel toe te voegen of door deze voor u te laten maken.
Als u Google uw sleutel laat maken, krijgt u twee opties voor het sleuteltype, JSON of P12. Kies het JSON-type omdat deze sleutel ook wordt gebruikt voor het JDBC-stuurprogramma dat het JSON-formaat gebruikt.
Wanneer de JSON-sleutel is gemaakt, wordt deze naar de computer gedownload. Je kunt het plaatsen waar je maar wilt, maar onthoud het pad, want dit wordt gebruikt bij het instellen van het ODBC- en JDBC-stuurprogramma.
Nu het serviceaccount is gemaakt en een sleutel heeft die als wachtwoord fungeert, gaan we verder met het downloaden en instellen van de ODBC-verbinding.
ODBC – Downloaden en configureren
Ik gebruik een Windows-besturingssysteem en kies de 64-bits Windows-versie voor compatibiliteit met het uitvoerbare bestand CoSort V10.5 SortCL. Nadat u de instructies hebt gevolgd en de licentieovereenkomst voor het Simba-installatieprogramma hebt geaccepteerd, opent u de ODBC-gegevensbronbeheerder (64-bits) om de verbinding te configureren.
Voeg eenvoudig het stuurprogramma toe met de naam "Simba ODBC-stuurprogramma voor Google BigQuery".
Met het stuurprogramma geselecteerd, zou de instellingenpagina er als volgt uit moeten zien:
Hier is de configuratie heel eenvoudig, te beginnen met de naam voor de gegevensbron.
Ik heb de naam Google BigQuery gekozen, maar u kunt elke naam voor uw gebruiksscenario kiezen.
Bewaar voor authenticatie de standaardoptie Serviceaccount en ga naar e-mail. Hier kunt u het e-mailadres van het serviceaccount kopiëren en plakken dat eerder in dit artikel is gemaakt.
Het onderstaande veld (Key File Path) gebruikt het pad naar het JSON-sleutelbestand als invoer. Klik onderaan waar Catalogus (Project) staat op het vervolgkeuzemenu. Als alles correct is geconfigureerd, zou het de naam van het project en het knooppunt moeten tonen dat de datasets en tabellen bevat.
U kunt hetzelfde doen voor de optie Dataset, klik op het vervolgkeuzemenu om een specifieke dataset te selecteren of laat dit leeg om alle datasets in dit project te zien. Test tot slot de verbinding om er zeker van te zijn dat alles correct werkt.
Wanneer ODBC is ingesteld, kunnen we het JDBC-stuurprogramma configureren.
JDBC – Downloaden en configureren
Download hier het JDBC-stuurprogramma van CData. Zodra de installatie is voltooid, is er een map met de naam GoogleBigQueryJDBCDriver met een setup.jar erin.
De setup.jar installeert alle bestanden die nodig zijn om de JDBC-verbinding te laten werken. Het bevat ook een speciale pot om te helpen bij het maken van de verbindings-URL voor het JDBC-stuurprogramma.
Nadat setup.jar de installatie heeft voltooid, moeten we de configuraties in Workbench gereed hebben. Voeg in de Data Source Explorer (binnenin Workbench) een nieuwe verbinding toe door op Nieuw verbindingsprofiel te klikken .
Er zal een pop verschijnen (zoals de afbeelding hieronder) en verschillende opties geven over het type verbindingen dat kan worden gemaakt. Selecteer de generieke JDBC en geef deze een naam zoals BigQuery, dit maakt het gemakkelijk te herkennen in de Data Source Explorer.
Op de volgende pagina wordt u gevraagd om het stuurprogramma in te stellen en de verbindingsdetails op te geven. Klik op Nieuwe driverdefinitie dat lijkt op een kompas met een groen plusteken.
Op de volgende pagina kunt u desgewenst een specifieke naam aan de bestuurder geven. Als u naar het tabblad JAR-lijst gaat, worden hier de vereiste jars toegevoegd om het JDBC-stuurprogramma te laten functioneren.
Als de standaardlocatie werd gebruikt bij het installeren van de bestanden voor het JDBC-stuurprogramma, moet deze zich in de map Program Files bevinden met de naam CData. In de lib-map bevindt zich een Jar-bestand met de naam cdata.jdbc.googlebigquery.GoogleBigQueryDriver , voeg die jar toe aan de lijst en ga verder naar het tabblad Eigenschappen.
*Het standaardpad is te zien in de onderstaande afbeelding als er problemen zijn met het vinden van het jar-bestand*
Op het tabblad Eigenschappen moeten we een verbindings-URL maken, een naam aan de database geven en de stuurprogrammaklasse specificeren. Richt u eerst op het maken van de verbindings-URL, zoek in Verkenner het jar-bestand dat zojuist is toegevoegd en voer het uit.
Dit helpt bij het maken van de verbindings-URL in het formaat dat CData voorstelt. Zoals te zien is in de onderstaande afbeelding, zijn er eigenschappen aan de linkerkant die moeten worden ingesteld om de verbindings-URL te maken.
CData heeft documentatie over welke eigenschappen moeten worden ingesteld, afhankelijk van hoe de gebruiker ervoor heeft gekozen om te authenticeren. Aangezien we authenticeren met een serviceaccount, worden de eigenschappen die moeten worden ingesteld hieronder weergegeven.
- AuthScheme – Ingesteld op OAuthJWT
- Project-ID:staat op de startpagina van BigQuery
- InitiateOAuth – Ingesteld op GETANDREFRESH
- OAuthJWTCertType – ingesteld op GOOGLEJSON
- OAuthJWTCert – Pad naar het .json-bestand geleverd door Google
Nadat alle eigenschappen zijn ingesteld, test u de verbinding om te controleren of alles werkt. Als dit is gelukt, kopieert u de verbindingsreeks onderaan. Als u afsluit zonder de verbindings-URL te kopiëren, moet u de eigenschappen opnieuw instellen.
Terug in Workbench plakt u de URL naast de eigenschap Verbindings-URL en voegt u de naam van de database toe aan de eigenschap Databasenaam. Voor de eigenschap Driver Class is er een knop met drie stippen in het lege veld.
Klik erop en u krijgt de mogelijkheid om de naam van de driverklasse in te voeren of om de JAR-lijst voor de driver te laten scannen. Als alles klaar is, zou het er ongeveer zo uit moeten zien:
Klik opOK en u wordt teruggestuurd naar de pagina "Specificeer een stuurprogramma en verbindingsdetails". Het is niet nodig om een gebruikersnaam of wachtwoord toe te voegen omdat alle informatie in de verbindings-URL staat. Test de verbinding nog een laatste keer en klik op voltooien.
Het verbindingsprofiel is nu zichtbaar in de Data Source Explorer en de schema's/tabellen kunnen worden bekeken zodra u met de rechtermuisknop op het profiel klikt en verbinden kiest.
De laatste taak is het maken van een gegevensverbindingsregister dat de DSN toewijst aan het verbindingsprofiel dat zojuist is gemaakt. Ga naar het IRI-menu, selecteer voorkeuren en zoek het gegevensverbindingsregister zoals de onderstaande afbeelding suggereert.
Links staat de DSN en rechts staan de verbindingsprofielen. Zoek de DSN die is gemaakt in de ODBC-sectie hierboven en klik op Bewerken…. Selecteer de DSN, de versie en het verbindingsprofiel.
Aangezien de DSN de inloggegevens heeft opgeslagen in de verbindings-URL, is authenticatie met een gebruiker/wachtwoord niet nodig. Klik op OK en Toepassen en sluiten om het menu te verlaten.
U bent nu klaar met de stappen voor databaseverbinding voor Google BigQuery. Als je hulp nodig hebt, stuur dan een e-mail naar [email protected].