Lees deze reeks berichten van Wepay, waarin wordt beschreven hoe ze hun MySQL-databases synchroniseren met BigQuery, met behulp van Airflow:
- https://wecode.wepay.com/posts/ wepays-data-warehouse-bigquery-airflow
- https://wecode.wepay.com/posts/airflow-wepay
- (derde gaat over BigQuery)
Als samenvatting (citaat):
- Verificatie instellen, verbindingen, DAG.
- Definieer welke kolommen uit MySQL moeten worden gehaald en in BigQuery moeten worden geladen.
- Kies hoe u de gegevens wilt laden:incrementeel of volledig.
- De-dupliceren.