Een geclusterde index verandert de manier waarop de rijen worden opgeslagen. Wanneer u een geclusterde index op een kolom (of een aantal kolommen) maakt, sorteert SQL-server de rijen van de tabel op die kolom(men). Het is als een woordenboek, waar alle woorden in alfabetische volgorde in het hele boek zijn gerangschikt.
Een niet-geclusterde index daarentegen verandert niets aan de manier waarop de rijen in de tabel worden opgeslagen. Het creëert een heel ander object in de tabel dat de kolom(men) bevat die zijn geselecteerd voor indexering en een verwijzing naar de rijen van de tabel die de gegevens bevatten. Het is als een index op de laatste pagina's van een boek, waar trefwoorden zijn gesorteerd en het paginanummer van het materiaal van het boek bevatten voor snellere verwijzing.