Helaas is wat u vraagt niet mogelijk met Eloquent.
De gretig ladende query staat volledig los van de oorspronkelijke query, dus opgehaalde waarden zijn niet langer beschikbaar.
Je opties zijn om ofwel een join te doen in je beperking (waarvan je hebt aangegeven dat deze niet goed werkt), ofwel alle gerelateerde modellen laden en deze vervolgens sorteren/filteren met PHP.