Tijd en technologie blijven versnellen, en de gegevens die we besparen blijven exponentieel groeien. De exacte definitie van een Very Large Database (VLDB) blijft dus veranderen met nieuwe ontwikkelingen in hardware en software. Maar het plaatsen van een VLDB op je nieuwe tablet, of zelfs een laptop, gaat meestal niet gebeuren, althans nog niet.
Hoe groot is een zeer grote database eigenlijk?
Veel technische autoriteiten debatteren over het werkelijke startpunt van wat een VLDB is. Sommigen zeggen databases van 100 gigabyte of meer. Anderen beweren dat een VLDB minstens 1 terabyte (1000 GB) groot is. Het kan ook worden gemeten aan de hand van het aantal en het type complexe vragen en transacties dat het kan ondersteunen. Maar ongeacht de exacte hoeveelheid, is het veilig om te zeggen dat een VLDB een enorme hoeveelheid informatie bevat, verspreid in een extreem groot aantal tuples (databaserijen) en enorme opslagruimte inneemt in een fysiek bestandssysteem.
U weet dat u met een VLDB te maken heeft wanneer de omvang ervan meer werk vereist. Het niet in staat zijn om binnen een redelijke tijd een back-up van de database te maken, en de financiële beperkingen bij het dupliceren van de DB voor testdoeleinden, zijn slechts enkele van de problemen die moeten worden aangepakt.
Wie gebruikt VLDB's?
Veel bedrijven en organisaties gebruiken VLDB's, waaronder gemeenten, defensie-aannemers van de overheid, onderzoeksbureaus en grote bedrijven in de financiële sector. Een goed voorbeeld van iemand die regelmatig VLDB's tot strategisch voordeel uitbuit, is TAC, een volledig onafhankelijke Europese onderzoeksgroep die adviesdiensten verleent over internationale economische en financiële kwesties voor financiële investeerders, industriële bedrijven en multilaterale organisaties. TAC bouwt VLDB's, meestal voor eigen intern gebruik, maar sommige zijn beschikbaar gesteld aan het publiek voor analytische doeleinden om buitenlandse investeringen en ontwikkelingsdoelen te monitoren.
Andere bedrijven gebruiken VLDB's voor gegevensvergelijking, datamining, datawarehousing, replicaties, queries, demonstraties en een groot aantal extra functies. Technologietrendwatchers monitoren met hen. IT-managers ontwerpen en ontwikkelen met hen mee. R&D-experts en innovatie-eenheden volgen statistieken met hen. En VLDB's spelen een steeds belangrijkere rol in de vraag naar gepersonaliseerde informatie op het World Wide Web.
Dus hoe beheer je een zeer grote database?
Het verhaal van David vs. Goliath komt vaak voor de geest als mensen merken dat hun database een terabyte nadert. Het wordt steeds moeilijker om ruimte toe te wijzen en zoekopdrachten te versnellen. Dus die schijnbaar onoverkomelijke taak om ruimte terug te winnen en de prestaties te verbeteren, moet dan worden toegewezen aan een expert, iemand met de knowhow en technologische hulpmiddelen om die reus te overwinnen.
VLDB's kunnen effectief worden beheerd door het juiste type Database Management System (DBMS); d.w.z. specifiek ontworpen computersoftware (of softwarepakket) die een interface biedt tussen de database en de eindgebruiker, waardoor de gegevens kunnen worden aangemaakt, opgevraagd, bijgewerkt en beheerd. Een DBMS handhaaft ook de veiligheid en integriteit van opgeslagen gegevens en vergemakkelijkt het herstel van informatie als een systeem faalt. En er zijn verschillende soorten DBMS'en, maar dat proefschrift bewaren we voor een ander blog op een ander moment.
De ontwikkeling van de meeste databasebeheersystemen is buitengewoon complex en tijdrovend en vereist voortdurende upgrades met verbeteringen in computergeheugen, opslag, processors en netwerken. Databases blijven toenemen in omvang, reikwijdte en prestaties, aangezien softwareontwikkelaars ernaar streven gelijke tred te houden met de eisen van de moderne toename van het datavolume. Zoals het grootste deel van het leven in de 21e eeuw, hebben we heel snel een lange weg afgelegd en we hebben de gegevens om het te bewijzen!