Zie de Introductie van SQL Server Express Local DB Runtime-presentatie - geeft een goed overzicht.
Het enorme voordeel van LocalDB is dat het echte SQL Server is - het is een speciale versie van SQL Server Express, maar het ondersteunt in feite alles wat "echte" SQL Server heeft - ruimtelijke gegevenstypen, opgeslagen procedures - noem maar op.
SQL Server Compact Edition daarentegen is een sterk verkleinde versie - veel functies en datatypes worden niet ondersteund. Het is kleiner en "wendbaarder" - maar het mist veel pit.
Persoonlijk zou ik SQL Server Express kiezen met de LocalDB-runtime boven SQL Server CE 4 - tenzij je specifiek de kleine omvang van SQL Server CE nodig hebt (bijvoorbeeld op een mobiel apparaat).
Zie ook een vergelijking tussen SQL Server CE 3.5, CE 4.0, SQL Server Express 2008 R2 en SQL Server 2012 Express LocalDB op ErikEJ's uitstekende Everything SQL Server Compact website.