Oeps, dus ik heb het antwoord op mijn probleem gevonden:
Alle kolommen van een FULLTEXT-index moeten niet alleen dezelfde tekenset hebben, maar ook dezelfde sortering .
Mijn FULLTEXT-index had utf8_unicode_ci in een van de kolommen en utf8_general_ci in de andere kolommen.