Mogelijk om te verwijderen met een HAVING-clausule?

Niet echt. De hebbende clausule impliceert een aggregatie, wat betekent dat je de originele rijen niet meer hebt.

Ik denk dat je het volgende wilt:

DELETE from UserPredictions
where UserId in (select UserId from UserPredictions group by UserId having count(*) < 500)