sql >> Database >  >> RDS >> Oracle

Automatiseer IRI-gegevensintegratietaken met Oracle Job Scheduler

Taakplanners zijn computerprogramma's die achter de schermen of als onderdeel van batchprocessen andere programma-uitvoeringen regelen. Deze automatisering van de werklast wordt doorgaans gecoördineerd zodat traditionele verwerking van achtergrondgegevens kan worden geïntegreerd met realtime bedrijfsactiviteiten zonder bronnen uit te putten of andere applicaties te hinderen. De taakplanner automatiseert interfaces in workflows, verzendt en controleert uitvoeringen en zet de uitvoeringsvolgorde van niet-gerelateerde taken in de wachtrij, zodat bewerkingen in de juiste volgorde en onder specifieke voorwaarden worden afgehandeld.

Een populaire tool voor het automatiseren van databaseprocessen is de ingebouwde taakplanner van Oracle. Het kan niet alleen worden gebruikt om SQL-procedures en hulpprogramma's te automatiseren, maar ook voor processen van derden die de efficiëntie van Oracle beïnvloeden. Oracle DBA's maken regelmatig gebruik van IRI FACT, IRI CoSort en SQL*Loader om de overhead van transformaties uit de databaselaag te verwijderen en de workflow te verbeteren bij grootschalige ETL- en offline reorganisatiebewerkingen. Deze tools kunnen nu worden gecombineerd en gepland met Oracle's Job Scheduler in de IRI Workbench, een GUI-omgeving gebouwd op Eclipse™.

Of het nu in de opdrachtregel, een Oracle-front-end of IRI's in Eclipse™ is, Oracle DBA's kunnen nu onderling afhankelijke ETL-stappen plannen of ontlaad-/sorteer-/herlaadbewerkingen (reorg) opzetten met behulp van IRI-software. Met de Oracle Job Scheduler kunnen DBMS_SCHEDULER, DBA's en datawarehouse-architecten specificeren wanneer FACT-extracten moeten worden gestart, CoSort-sorteringen/transformaties/rapporten en/of bulkladingen moeten worden gestart, en afhankelijkheden tussen deze processen specificeren.

De Oracle Job Scheduler helpt de gebruiker bij het beheren en plannen van verschillende taken, zodat handmatige tussenkomst niet nodig is. Om de taakplanner te gebruiken, zijn drie kleine scripts nodig:

• Procedure voor het samenstellen van het ETL-proces

• Functie om berichten van het Java-programma vast te leggen

• Java-programma voor het afhandelen van de opdrachtregelaanroepen naar de ETL-stappen:FACT (E), CoSort SortCL (T) en Oracle SQL*Loader (L)

Zodra de scripts klaar zijn, kan de gebruiker een procedure maken om het gewenste werk te automatiseren. De gebruiker kan de datum en tijd specificeren waarop de procedure zal beginnen. De gebruiker kan ook specificeren hoe vaak hij wil dat de taak wordt uitgevoerd (wekelijks, dagelijks, elk uur of op een specifieke tijd en datum tot elke 30 seconden).

De planner zal de stappen beheren zodat ze in de juiste volgorde worden uitgevoerd. Het is ook mogelijk om aangepaste controles te definiëren om ervoor te zorgen dat de volgende stap pas begint als de vorige is geslaagd of aan bepaalde criteria heeft voldaan.

In het onderstaande voorbeeld heeft de gebruiker de procedure "runFlow" geselecteerd om gedefinieerde stappen elke dinsdag om 8:00 uur en elke vrijdag om 15:00 uur te starten.


VERKLAREN
JobNo user_jobs.job%TYPE;
v_date1 date :=to_date('20130312 080000′,'yyyymmdd hh24miss');
v_date2 date :=to_date('20130315 150000 ′,'yyyymmdd hh24miss');
BEGIN
dbms_job.submit( JobNo,  –Job ID
'begin runFlow; end;', ​​— Uit te voeren procedure
v_date1, — start wordt uitgevoerd op
'SYSDATE + 7' — interval van taken
);
COMMIT;
dbms_job.submit(  JobNo,  –Job ID
'begin runFlow; end; ', — Uit te voeren procedure
v_date2, — start op
'SYSDATE + 7' — interval van taken
);
COMMIT;
END;

Er zijn aanzienlijke voordelen verbonden aan het op deze manier automatiseren van de ETL-processen, met name voor Oracle DBA's die al bekend zijn met DBMS_SCHEDULER. De methode kan de kosten van dure ETL- of taakplanningspakketten besparen, de kans op menselijke fouten minimaliseren en de noodzaak van handmatige tussenkomst uitsluiten. Het is ook mogelijk om de integratie te gebruiken om offline reorganisatie- en ELT-gerelateerde stappen te automatiseren.

Als u vragen heeft over de implementatie van IRI-taakstappen in Oracle Job Scheduler, of als u het whitepaper-voorbeeld wilt, neem dan contact met ons op.


  1. Hoe SQL Server Manager Studio (SSMS) te installeren - SQL Server / TSQL-zelfstudie deel 1

  2. Opgeslagen procedures en functies retourneren in een SQL Server-database:ROUTINES (T-SQL-voorbeelden)

  3. Hoe herstel ik een dumpbestand van mysqldump?

  4. Zoek de dichtstbijzijnde breedtegraad/lengtegraad met een SQL-query