Ik weet niet zeker waarom het bovenstaande antwoord niet voor mij werkte, maar ik dacht dat ik ook kon delen wat echt voor mij werkte bij het uitvoeren van pyspark vanaf een jupyter-notebook (Spark 2.3.1 - Python 3.6.3):
from pyspark.sql import SparkSession
spark = SparkSession.builder.config('spark.driver.extraClassPath', '/path/to/postgresql.jar').getOrCreate()
url = 'jdbc:postgresql://host/dbname'
properties = {'user': 'username', 'password': 'pwd'}
df = spark.read.jdbc(url=url, table='tablename', properties=properties)