Ik heb verbinding kunnen maken met:
tunnel = sshtunnel.SSHTunnelForwarder((ssh_host, 22), ssh_password=ssh_password, ssh_username=ssh_username,
remote_bind_address=('localhost', 3306))
tunnel.start()
Blijkbaar was het verschil om de tunnel open te houden in plaats van de 'met'-verklaring te gebruiken, hoewel ik niet begrijp wat er feitelijk is gebeurd en ik zou uitleg op prijs stellen.