Ik denk dat er nu een tijdelijke oplossing is voor de nieuwe versie van django, aangezien we OuterRef en Subquery hebben.
from django.db.models import OuterRef, Subquery, Prefetch
subqry = Subquery(Comment.objects \
.filter(user_id=OuterRef('user_id')) \
.values_list('id', flat=True)[:5])
User.objects.prefetch_related(
Prefetch('comments', queryset=Comment.objects.filter(id__in=subqry)))