Ik heb het antwoord op mijn vraag bedacht. Dit was een compatibiliteitsprobleem met de Mongo-Spark-connector en de versie van Spark waarnaar ik een upgrade heb uitgevoerd. In het bijzonder is de waarde findTightestCommonTypeOfTwo hernoemd in de PR:
https://github.com/apache/spark/pull/16786/files
Voor Spark 2.2.0 is de compatibele Mongo-Spark-connector ook 2.2.0, dus in mijn voorbeeld zou het pakket als volgt worden geladen:
--packages org.mongodb.spark:mongo-spark-connector_2.11:2.2.0\
Dit kan in de toekomst veranderen, dus als u de connector gebruikt, moet u controleren op compatibiliteit met de versie van Spark die wordt gebruikt.