Gebruik de BINARY zoekwoord, dat REGEXP . dwingt om de string te matchen als een binaire string, wat hoofdlettergevoelig wordt gedaan.
SELECT 'a' REGEXP 'A', 'a' REGEXP BINARY 'A';
Hoewel dit niet expliciet staat in de documenten (dat je het kunt doen met een gewone string), in mijn ervaring werkt het zoals verwacht.