sql >> Database >  >> RDS >> PostgreSQL

Functionaliteit verwijderen met spark sql-dataframe

Als u de werkelijke gegevensbron, d.w.z. tabellen in postgres, wilt wijzigen (records verwijderen), dan zou Spark geen geweldige manier zijn. U kunt de jdbc-client rechtstreeks gebruiken om hetzelfde te bereiken.

Als u dit toch wilt doen (op gedistribueerde manier op basis van enkele aanwijzingen dat u rekent als onderdeel van dataframes); u kunt dezelfde jdbc-clientcode laten schrijven in correspondentie met dataframe die logische/trigger-info heeft voor het verwijderen van records en die we parallel op meerdere werknemers kunnen uitvoeren.



  1. Hoe worden reactieve streams in Slick gebruikt voor het invoegen van gegevens?

  2. SQLAlchemy probeert twee keer veel tot veel secundaire relaties te verwijderen

  3. Basisprincipes van sys.dm_exec_requests

  4. libpq compileren met iOS SDK 4.2