Geen wonder dat het fout gaat. Je hebt een stapelgrootte van 128 Mb per thread, maar in totaal slechts 4096 Mb. Dat geeft je alleen genoeg ruimte om 40 threads te gebruiken, en dan heb je geen objecten in de heap.
Waarschijnlijk het beste om alle ruimteformaten te verwijderen en de JVM automatisch zijn ding te laten doen.