Sqoop op Dataproc kan geen gegevens exporteren naar Avro-indeling

Het probleem kan zich voordoen in verschillende Avro-versies in Dataproc's Hadoop (Avro 1.7.7) en Sqoop 1.4.7 (Avro 1.8.1).

U kunt proberen Sqoop te downgraden naar 1.4.6 dat afhankelijk is van Avro 1.7 en avro-tools-1.7.7.jar te gebruiken tijdens het indienen van de taak.

Bewerkt:

Om het probleem met het laden van klassen op te lossen, moet u mapreduce.job.classloader=true instellen bij het indienen van een Dataproc-taak:

gcloud dataproc jobs submit hadoop --cluster=<CLUSTER_NAME> \
    --class=org.apache.sqoop.Sqoop \
    --jars=gs://<BUCKET>/sqoop-1.4.7-hadoop260.jar \
    --properties=mapreduce.job.classloader=true \
    -- \
    . . .