sql >> Database >  >> RDS >> Mysql

Hoe XBRL-gegevens importeren in MySQL?

Het natuurlijke paradigma voor het opslaan van XBRL in een database zou in theorie OLAP zijn, omdat XBRL gaat over datakubussen. OLAP bovenop een relationele database zou ROLAP worden genoemd.

Dit is geen triviaal probleem, omdat feiten uit een groot aantal taxonomieën een zeer grote en schaarse kubus kunnen vormen (voor SEC-registraties zijn het 10k+ afmetingen), en ook omdat het creëren van een SQL-schema vereist dat de taxonomieën bekend zijn voordat ze worden geïmporteerd. Als er nieuwe taxonomieën opduiken, moet je alles opnieuw ETL-en. Dit maakt relationele databases niet geschikt als algemene oplossing.

Als de aangiften dezelfde taxonomie delen en de taxonomie is echter heel eenvoudig (zoals in:niet te veel dimensies), is het mogelijk om een ​​ad-hoc mapping te bedenken om alle feiten op te slaan in een enkele tabel met veel rijen in de ROLAP zin (feiten naar rijen, aspecten naar kolommen). Sommige leveranciers zijn gespecialiseerd in het opslaan van niet-dimensionale XBRL-feiten, in welk geval traditionele SQL-aanbiedingen (of "post-SQL" die worden geschaald met rijen) goed werken.

Sommige leveranciers maken een tabel voor elke XBRL-hyperkubus in de taxonomie, met een schema dat is afgeleid van het definitienetwerk maar verschillend voor elke hyperkubus. Dit kan leiden tot veel tabellen in de database en vereist veel joins voor query's waarbij meerdere hypercubes betrokken zijn.

Sommige andere leveranciers maken aannames over de onderliggende XBRL-structuur, of over het soort queries dat hun gebruikers moeten uitvoeren. Door de omvang van het probleem te beperken, kunnen specifieke architecturen of SQL-schema's worden gevonden die ook geschikt zijn voor deze specifieke behoeften.

Ten slotte is het, om grote hoeveelheden archieven te importeren, mogelijk om generieke toewijzingen te bouwen bovenop NoSQL-gegevensarchieven in plaats van relationele databases. Grote aantallen feiten met een variërend aantal dimensies passen in grote verzamelingen van semi-gestructureerde documenten, en netwerken passen goed in een hiërarchische indeling.



  1. RDBMS en NoSQL overbruggen:inleiding tot 2DX UI-cluster

  2. Hive 2.1.1 MetaException (bericht:Versie-informatie niet gevonden in metastore.)

  3. Slaapstand:kon native bulkmanipulatiequery niet uitvoeren

  4. php imap - krijg body en maak platte tekst