Hoe verwijder je dubbele items in MySQL met een dataset van 20 miljoen rijen?

Je kunt dit proberen:

ALTER IGNORE TABLE my_tablename ADD UNIQUE INDEX idx_name (text1 , text2);

dwz probeer UNIQUE INDEX . toe te voegen naar uw kolommen en alter de tafel

Dit heeft een voordeel dat er in de toekomst ook geen dubbele rijen zullen zijn die u in uw tabel kunt invoegen