sql >> Database >  >> RDS >> PostgreSQL

psycopg2 COPY met cursor.copy_from() loopt vast bij grote invoer

Dit is slechts een tijdelijke oplossing, maar je kunt gewoon iets in psql pipen. Ik gebruik dit recept soms als ik te lui ben om psycopg2 uit te schakelen

import subprocess
def psql_copy_from(filename, tablename, columns = None):
    """Warning, this does not properly quote things"""
    coltxt = ' (%s)' % ', '.join(columns) if columns else ''
    with open(filename) as f:
        subprocess.check_call([
            'psql',
            '-c', 'COPY %s%s FROM STDIN' % (tablename, coltxt),
            '--set=ON_ERROR_STOP=true', # to be safe
            # add your connection args here
        ], stdin=f)

Gebruik je meerdere threads of iets dergelijks wat betreft je lock-up?

Registreert uw postgres iets zoals een gesloten verbinding of een impasse? Kun je schijfactiviteit zien nadat deze is vergrendeld?



  1. Verwijderen, bijwerken met afgeleide tabellen?

  2. Mysql-partitionering en joins

  3. MySQL match() against() - volgorde op relevantie en kolom?

  4. codeigniter nodejs en nowjs integratie