sql >> Database >  >> RDS >> Mysql

Een manier om tabelgegevens te lezen van Mysql naar Pig

Zoals je zegt, DBStorage ondersteunt alleen het opslaan van resultaten in een database.

Om gegevens uit MySQL te laden, kunt u een project bekijken met de naam sqoop (die gegevens van een database naar HDFS kopieert), of u kunt een mysql-dump uitvoeren en het bestand vervolgens naar HDFS kopiëren. Beide manieren vereisten enige interactie en kunnen niet rechtstreeks vanuit Pig worden gebruikt.

Een derde optie zou zijn om te kijken naar het schrijven van een Pig LoadFunc (je zegt dat je geprobeerd hebt een UDF te schrijven). Het zou niet al te moeilijk moeten zijn, je zult vrijwel dezelfde opties moeten doorgeven als DBStorage (stuurprogramma, verbindingsreferenties en een SQL-query om uit te voeren), en je kunt waarschijnlijk ook wat metadata-inspectie van de resultatenset gebruiken om automatisch een schema te genereren.




  1. Een studentendatabase maken met Microsoft Access

  2. Hoe SQLite Quote() werkt

  3. Verbinding maken met een PostgreSQL-database op een Docker-container

  4. MySQL kapt tekst af met ellips