Probeer een index toe te voegen aan (DUEDATE_, REVERSEPRIORITY_) in die volgorde. Het zal nog steeds filesort gebruiken (denk ik) maar op veel minder rijen.
Probeer ook OPTIMIZE TABLE table_name uw tafel en CHECK TABLE table_name uw tabel (zodat mysql de indexwaarden opnieuw berekent).
Dit is allemaal maar een weloverwogen gok.