Ik was nieuwsgierig. En zoals we allemaal weten, heeft nieuwsgierigheid de reputatie katten te doden.
Dus, wat is de snelste manier om een kat te villen?
De kattenhuidomgeving voor deze test:
- PostgreSQL 9.0 op Debian Squeeze met fatsoenlijk RAM en instellingen.
- 6.000 studenten, 24.000 clublidmaatschappen (gegevens gekopieerd uit een vergelijkbare database met gegevens uit het echte leven.)
- Kleine afleiding van het naamgevingsschema in de vraag:
student.idisstudent.stud_idenclub.idisclub.club_idhier. - Ik heb de zoekopdrachten in deze thread naar hun auteur genoemd.
- Ik heb alle zoekopdrachten een paar keer uitgevoerd om de cache te vullen, daarna heb ik de beste van 5 gekozen met
EXPLAIN ANALYZE. - Relevante indexen (zou het optimum moeten zijn - zolang we geen voorkennis hebben welke clubs zullen worden opgevraagd):
ALTER TABLE student ADD CONSTRAINT student_pkey PRIMARY KEY(stud_id );
ALTER TABLE student_club ADD CONSTRAINT sc_pkey PRIMARY KEY(stud_id, club_id);
ALTER TABLE club ADD CONSTRAINT club_pkey PRIMARY KEY(club_id );
CREATE INDEX sc_club_id_idx ON student_club (club_id);
club_pkey is niet vereist door de meeste zoekopdrachten hier.
Primaire sleutels implementeren automatisch unieke indexen in PostgreSQL.
De laatste index is om deze bekende tekortkoming van indexen met meerdere kolommen
op PostgreSQL:
Een B-tree-index met meerdere kolommen kan worden gebruikt met queryvoorwaarden die betrekking hebben op een subset van de kolommen van de index, maar de index is het meest efficiënt wanneer er beperkingen zijn op de leidende (meest linkse) kolommen.
Resultaten
Totale looptijden van EXPLAIN ANALYZE .
1) Martin 2:44,594 ms
SELECT s.stud_id, s.name
FROM student s
JOIN student_club sc USING (stud_id)
WHERE sc.club_id IN (30, 50)
GROUP BY 1,2
HAVING COUNT(*) > 1;
2) Erwin 1:33,217 ms
SELECT s.stud_id, s.name
FROM student s
JOIN (
SELECT stud_id
FROM student_club
WHERE club_id IN (30, 50)
GROUP BY 1
HAVING COUNT(*) > 1
) sc USING (stud_id);
3) Martin 1:31,735 ms
SELECT s.stud_id, s.name
FROM student s
WHERE student_id IN (
SELECT student_id
FROM student_club
WHERE club_id = 30
INTERSECT
SELECT stud_id
FROM student_club
WHERE club_id = 50
);
4) Derek:2,287 ms
SELECT s.stud_id, s.name
FROM student s
WHERE s.stud_id IN (SELECT stud_id FROM student_club WHERE club_id = 30)
AND s.stud_id IN (SELECT stud_id FROM student_club WHERE club_id = 50);
5) Erwin 2:2,181 ms
SELECT s.stud_id, s.name
FROM student s
WHERE EXISTS (SELECT * FROM student_club
WHERE stud_id = s.stud_id AND club_id = 30)
AND EXISTS (SELECT * FROM student_club
WHERE stud_id = s.stud_id AND club_id = 50);
6) Sean:2,043 ms
SELECT s.stud_id, s.name
FROM student s
JOIN student_club x ON s.stud_id = x.stud_id
JOIN student_club y ON s.stud_id = y.stud_id
WHERE x.club_id = 30
AND y.club_id = 50;
De laatste drie presteren vrijwel hetzelfde. 4) en 5) resulteren in hetzelfde zoekplan.
Late toevoegingen
Zin in SQL, maar de prestaties kunnen het niet bijbenen:
7) ypercube 1:148.649 ms
SELECT s.stud_id, s.name
FROM student AS s
WHERE NOT EXISTS (
SELECT *
FROM club AS c
WHERE c.club_id IN (30, 50)
AND NOT EXISTS (
SELECT *
FROM student_club AS sc
WHERE sc.stud_id = s.stud_id
AND sc.club_id = c.club_id
)
);
8) ypercube 2:147.497 ms
SELECT s.stud_id, s.name
FROM student AS s
WHERE NOT EXISTS (
SELECT *
FROM (
SELECT 30 AS club_id
UNION ALL
SELECT 50
) AS c
WHERE NOT EXISTS (
SELECT *
FROM student_club AS sc
WHERE sc.stud_id = s.stud_id
AND sc.club_id = c.club_id
)
);
Zoals verwacht presteren die twee bijna hetzelfde. Queryplan resulteert in tabelscans, de planner vindt hier geen manier om de indexen te gebruiken.
9) wildplasser 1:49,849 ms
WITH RECURSIVE two AS (
SELECT 1::int AS level
, stud_id
FROM student_club sc1
WHERE sc1.club_id = 30
UNION
SELECT two.level + 1 AS level
, sc2.stud_id
FROM student_club sc2
JOIN two USING (stud_id)
WHERE sc2.club_id = 50
AND two.level = 1
)
SELECT s.stud_id, s.student
FROM student s
JOIN two USING (studid)
WHERE two.level > 1;
Fancy SQL, behoorlijke prestaties voor een CTE. Zeer exotisch zoekplan.
10) wildplasser 2:36,986 ms
WITH sc AS (
SELECT stud_id
FROM student_club
WHERE club_id IN (30,50)
GROUP BY stud_id
HAVING COUNT(*) > 1
)
SELECT s.*
FROM student s
JOIN sc USING (stud_id);
CTE-variant van vraag 2). Verrassend genoeg kan dit resulteren in een iets ander queryplan met exact dezelfde gegevens. Ik heb een sequentiële scan gevonden op student , waarbij de subquery-variant de index gebruikte.
11) ypercube 3:101.482 ms
Nog een late toevoeging ypercube. Het is absoluut verbazingwekkend hoeveel manieren er zijn.
SELECT s.stud_id, s.student
FROM student s
JOIN student_club sc USING (stud_id)
WHERE sc.club_id = 10 -- member in 1st club ...
AND NOT EXISTS (
SELECT *
FROM (SELECT 14 AS club_id) AS c -- can't be excluded for missing the 2nd
WHERE NOT EXISTS (
SELECT *
FROM student_club AS d
WHERE d.stud_id = sc.stud_id
AND d.club_id = c.club_id
)
);
12) erwin 3:2,377 ms
ypercube's 11) is eigenlijk gewoon de geestverruimende omgekeerde benadering van deze eenvoudigere variant, die ook nog ontbrak. Presteert bijna net zo snel als de topkatten.
SELECT s.*
FROM student s
JOIN student_club x USING (stud_id)
WHERE sc.club_id = 10 -- member in 1st club ...
AND EXISTS ( -- ... and membership in 2nd exists
SELECT *
FROM student_club AS y
WHERE y.stud_id = s.stud_id
AND y.club_id = 14
);
13) erwin 4:2,375 ms
Moeilijk te geloven, maar hier is nog een, echt nieuwe variant. Ik zie potentieel voor meer dan twee lidmaatschappen, maar het behoort ook tot de topkatten met slechts twee.
SELECT s.*
FROM student AS s
WHERE EXISTS (
SELECT *
FROM student_club AS x
JOIN student_club AS y USING (stud_id)
WHERE x.stud_id = s.stud_id
AND x.club_id = 14
AND y.club_id = 10
);
Dynamisch aantal clublidmaatschappen
Met andere woorden:wisselend aantal filters. Deze vraag vroeg om precies twee lidmaatschappen van clubs. Maar veel use-cases moeten zich voorbereiden op een variërend aantal. Zie: