Hoe verwijder ik de lege tweets met filter() in pyspark?

Als uw gegevens zo zijn

tweets = sc.parallelize(["title1", "", "title2", "title3", ""])

je kunt len(x) . gebruiken als de filtervoorwaarde:

tweets.filter(lambda x: len(x) > 0).count()