Uw gebruik van de --packages argument is fout:
--packages com.mongodb.spark:hdfs:///user/liac/package/jars/mongo-spark-connector_2.11-1.0.0-assembly.jar:1.0.0
Het moet de vorm hebben van groupId:artifactId:version zoals de uitvoer suggereert. Je kunt er geen URL mee gebruiken.
Een voorbeeld voor het gebruik van mongoDB met spark met de ingebouwde repository-ondersteuning:
$SPARK_HOME/bin/spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
Als u erop staat uw eigen pot te gebruiken, kunt u deze leveren via --repositories . De waarde van het argument is
In uw geval kan het bijvoorbeeld zijn
--repositories hdfs:///user/liac/package/jars/ --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0