Een index op een tafel van de grootte die u noemde, zou over het algemeen vrij snel moeten kunnen worden verwijderd (en zeker sneller dan 3+ minuten). Het klinkt voor mij alsof de tabel/index in gebruik was en daarom niet kon worden verwijderd.
U kunt dat bevestigen door de pg_stat_activity . op te vragen tabel en zoeken naar activiteit met betrekking tot de tafel waarop u de index hebt gemaakt.