Dette dokument er en guide i anvendernes transition fra de abonnementsbaserede filudtræk over til entitetsbaserede fildownloads.

Dokumentet er opdelt i to dele:

Denne side beskriver forskelle mellem abonnementsbaserede filudtræk og prædefinerede entitetsbaserede, rasterbaserede og punktskybaserede fildownloads, samt hvordan du som anvender af filudtræk, kan komme i gang med at

bruge fildownload.

Dokumentet er tiltænkt følgende læsere:

Det skal bemærkes at filudtræk og fildownload driftes parallelt i en periode, så anvendere af Datafordeleren har mulighed for at skifte til fildownload.

Begreber

Fildownloads

Fildownloads er en funktionalitet på Datafordeleren til udstilling af data, men skal ikke misforstås som værende det samme som de abonnementsbaserede filudtræk, der også er på Datafordeleren. Fildownloads tilbydes som prædefinerede entitetsbaserede fildownloads og baserer sig på de datamodeller som registrene har på Datafordeleren.

En entitet svarer til en tabel i Grunddatamodellen som er defineret i registrenes datamodel: https://grunddatamodel.datafordeler.dk/. En entitet kan eksempelvis være en "Adresse" fra DAR, en "Bygning" fra BBR eller et "Jordstykke" fra MAT. Det at fildownloads er entitetsbaserede betyder at et fildownload indeholder data for en enkelt type af entitet. Der leveres entitetsbaserede fildownloads på tabulære data og ikke for rasterdata (billeddata). Tabulære data forstås som strukturerede data der kan opbevares i tabeller som f.eks. adresser men ikke billedtyper som skærmkort.
Fildownloads genereres løbende i bestemte intervaller for en række registre, hvorefter filerne kan hentes gennem et REST-API, der udstiller de genererede fildownloads. Det eneste krav til at hente fildownloads er, at man har en tjenestebruger med brugernavn og adgangskode. Fildownloads bruger ikke abonnementer, da de allerede ligger klar til at blive hentet. REST-API'et beskrives nærmere i afsnit 2.6, mens skema for generering samt frekvenser for generering beskrives nærmere i afsnit 2.5.
Image Removed
Figur 1: Opsummering af fildownloads-funktionaliteten. 
En opsummering hvad fildownloads består af, kan ses i Figur 1. Figuren viser 3 registre:

• Register A, som har 5 entiteter. Registerets entiteter refererer til hinanden indbyrdes indenfor registeret og har også en enkelt reference til en entitet i register C udenfor registeret.
• Register B, som har 6 entiteter. Registerets entiteter refererer til hinanden indbyrdes indenfor registeret og har også en enkelt reference til en entitet i register A udenfor registeret.
• Register C, som har 6 entiteter. Registerets entiteter refererer til hinanden indbyrdes indenfor registeret.

Registrenes entiteter har alle fildownloads, som både består af totaldownloads og deltadownloads. Det skal her bemærkes at Register C har fravalgt at der bliver genereret fildownloads for deres entitet nr. 5 og 6 i dette eksempel.

Typer af fildownloads

Filformater

Udtræksnumre

Udtræksnumre er en fortløbende talrække der beskriver tidsmæssig sammenhæng mellem data i et register. Hver gang der genereres fildownloads for et register, påsættes alle fildownloads ved samme generering det samme udtræksnummer. Dette bevirker at fildownloads med det samme udtræksnummer indeholder konsistente data indenfor registerets egen data. Denne egenskab er særlig relevant hvis man som anvender er interesseret i at sammensætte data fra flere entiteter i et register.

Det er her vigtigt at understrege, at udtræksnumrene kun er fortløbende per register, og at hvert register derfor har sin egen fortløbende talrække, der er uafhængig af andre registre. Udtræksnumre kan derfor ikke garantere referentiel integritet på tværs af registrenes data, da dette afhænger af registrenes indlæsningstidspunkter, samt indlæsningsfrekvens.

Det er muligt at vedligeholde en lokal kopi af registrenes data som findes på Datafordeleren ved at hente totaludtræk – og herefter løbende hente deltaudtræk.
Kopien etableres først lokalt, ved at hente totaldownloads for den/de entiteter der er interesse for, for at skabe totaludtrækket. Idet totaludtrækket er hentet, skal det bemærkes hvilket udtræksnummer totaludtrækket har, da udtræksnummeret skal bruges til at identificere hvilke deltadownloads der er relevante at hente, for at skabe det samlede deltaudtræk der kan opdatere den initiale kopi af data. Et totaldownload og deltadownload med det samme udtræksnummer indeholder data fra samme generation. Dette betyder at deltaudtræk med samme udtræksnummer som et totaludtræk indeholder dermed ingen data som ikke også er indeholdt i totaludtrækket. Det udtræksnummer der skal bruges til at opdatere kopien af data, er dermed det næste udtræksnummer i talrækken.
Et eksempel på dette kan ses i Figur 2, som viser en række genererede deltaudtræk, samt et genereret totaludtræk. Hver generering har resulteret i, at der enten er blevet genereret et deltaudtræk og/eller et totaludtræk. Det kan ses på figuren, at der eksisterer både et totaludtræk, samt et deltaudtræk med udtræksnummeret 3 og 10. Såfremt det ønskes at etablere en kopi af data fra entiteten, kan totaludtrækket med udtræksnummeret 3 først hentes – og så herefter hente deltaudtrækkene med udtræksnummer 4, 5 og 6 for at vedligeholde datakopien. Det er således ikke nødvendigt at hente deltaudtrækket med udtræksnummer 3, da deltaudtrækket blev genereret på samme tid som totaludtrækket.
Image Removed
Figur 2: Overblik over hvordan udtræksnumre hænger sammen mellem total- og deltaudtræk.

Spring i udtræksnumre

Dette afsnit er særligt relevant for anvendere, der implementerer programmel, som anvender udtræksnumre til at indhente fildownloads automatisk. Der kan i sjældne tilfælde forekomme et spring i udtræksnumre. Dette skyldes, at der eksisterer et nyere udtræksnummer for det pågældende register, og at generering af fildownloads, derfor, vil bruge det nyere udtræksnummer for at sikre konsistente data inden for registeret.
Processen for indhentning af deltaudtræk bør, på baggrund af ovenstående, følge følgende logik:

1. Tjek hvilket udtræksnummer der er påsat senest indhentede deltaudtræk.
2. Indhent deltaudtræk med udtræksnumre der er større end det sidst indhentede deltaudtræks udtræksnummer.
   1. Dette sikrer at alle nyere deltaudtræk altid hentes uden at der springes nogle over, selvom der sker spring i udtræksnummeret på deltaudtrækkene.

Navngivning af fildownloads

Skema for generering af fildownloads

Skemaet i Tabel 4 viser, hvornår der genereres fildownloads for registrene på Datafordeleren. Bemærk at et register kan have frabedt sig at få genereret fildownloads for bestemte entiteter i deres datamodel og vil således ikke blive genereret efter skemaet. Lige så snart et fildownload er genereret, vil det være tilgængeligt igennem REST-API'et, som udstiller fildownloads. REST-API'et beskrives nærmere i afsnit 2.6.

Tabel 4: Oversigt over hvornår fildownloads bliver genereret.
Såfremt der genereres et deltadownload, men at der ikke er sket nogle dataændringer siden sidste gang der blev genereret et deltadownload for en pågældende entitet, vil deltadownloadet være tomt. Hvis der genereres et totaldownload uden at der er sket dataændringer siden sidste gang, det blev genereret, vil det nye totaldownload i JSON-, GML- eller GPKG-format have et ældre udtræksnummer i sit filnavn end den zip-fil den er indeholdt i.
Eksempelvis er det muligt at hente en fil med følgende navn:

• DAR_1_Adresse_Total_JSON_Bitemporal_10.zip

Her er udtræksnummeret på ZIP-filen 10, men ZIP-filen kan godt indeholde en JSON-fil med følgende navn:

• DAR_1_Adresse_Total_JSON_Bitemporal_9.json

JSON-filen har et lavere udtræksnummer end ZIP-filen, da der ikke er sket nogen ændringer i data siden sidste totaludtræk blev genereret for Adresse-entiteten. Såfremt der heller ikke sker nogen ændringer i Adresse-entiteten inden næste generering, vil ZIP-filen få udtræksnummer 11, mens den indeholdte JSON-fil stadig vil have udtræksnummer 9.

Sådan hentes fildownloads

Fildownloads på Datafordeleren tilgås via et REST-API. Dette afsnit beskriver, hvordan det vil være muligt at danne et overblik over hvilke fildownloads der kan hentes, samt hvorledes relevante fildownloads herefter hentes. REST-API'et indeholder to metoder som kan kaldes. REST-API'et kræver at man først har oprettet en tjenestebruger med brugernavn og password.

Image Removed
Figur 4: Overblik over samlet anvendelsesmønster for fildownloads.
Figur 4 viser hvordan REST-API'et overordnet set anvendes. Her kaldes metoden "GetAvailableFileDownloads" først for at danne et overblik over mulige filer der er tilgængelige, hvorefter relevante filer hentes, ved at kalde metoden "GetFile".

Metode: GetAvailableFiledownloads

Metode: GetFile

Etablering og vedligeholdelse af kopiregister ved brug af fildownloads

Dette afsnit beskriver hvordan en anvender kan etablere et kopiregister lokalt ved at hente totaldownloads og herefter vedligeholde det ved at hente deltadownloads. Afsnit 2.4 beskriver kort hvordan dette gøres, mens dette afsnit tager de introducerede koncepter fra indeværende vejledning og bruger dem i dette eksempel.

Et kopiregister er en hel kopi eller en delmængde af et registers data. Der kan være flere årsager til at have et kopiregister, men en af årsagerne er, at data er tilgængeligt indenfor anvenderens egen virksomhed og mindsker egen afhængighed til opslag på Datafordeleren. Det er dog vigtigt at understrege at kopiregisteret skal opdateres løbende for at beholde sin værdi, såfremt aktuelle data er nødvendige i virksomhedens brugsscenarie.
Etablering af et kopiregister initieres ved først at hente et totaldownloads af relevante entiteter fra Datafordeleren. For at finde ud af, hvilke filer der er tilgængelige, benyttes GetAvailableFileDownloads-metoden. Dette gøres ved hjælp af følgende endpoint strukturering:

Image Removed
Ovenstående kald vil returnere følgende (forsimplet):

 Image Removed
I ovenstående ses, at der både er et total- og deltautræk tilgængeligt. Når man vil etablere sit kopiregister, er det, som tidligere beskrevet, det samlede totaludtræk man er interesseret i.
I dette scenarie repræsenterer filen "DAR1AdresseTotalJSONBitemporal101.zip" det samlede totaludtræk. Man vil derfor benytte sig af GetFile-metoden, som eksemplificeret nedenfor, til at hente filen:

Image Removed
Man kan også hente det seneste totaludtræk via følgende metode:

 Image Removed
Vedligeholdelse af kopiregisteret opnås ved brug af deltaudtræk, hvilket sikrer, at kopiregisteret kontinuerligt opdateres med de nyeste data. De tre efterfølgende filer " DAR1AdresseDeltaJSONBitemporal102.zip", "DAR1AdresseDeltaJSONBitemporal103.zip" og "DAR1AdresseDeltaJSONBitemporal104.zip" repræsenterer i dette eksempel hver især deres eget deltaudtræk, bestående af entiteterne tilsvarende det totaludtræk der tidligere var hentet. Hver fil indeholder ændringer siden det forrige deltaudtræk og har et unikt udtræksnummer (henholdsvis 102, 103 og 104, som vist i Figur 5), der fungerer til at identificere hver iteration og sikrer korrekt anvendelse af data.
Som beskrevet ovenfor, viser følgende illustration i Figur 5 hvorledes total-og deltautræk benyttes mellem Datafordeleren og anvenderen, til at etablere og vedligeholde et kopiregister. Image Removed
Figur 5: Illustration af etablering og vedligeholdelse af kopiregister ved brug af total- og deltaudtræk.

Transition fra filudtræk til fildownloads

Dette afsnit beskriver forskelle mellem abonnementsbaserede filudtræk og prædefinerede entitetsbaserede fildownloads, samt hvordan man som anvender af filudtræk, kan komme i gang med at bruge entitetsbaserede fildownloads i stedet for. Det skal bemærkes at filudtræk og fildownloads driftes parallelt i en periode, så anvendere af Datafordeleren har mulighed for at skifte til fildownloads.

Indhold i filer

Forskelle i GML og GeoPackage filudtræk og fildownloads

I forbindelse med implementering af eksport af GML og GeoPackage fildownloads, er der taget en række design-beslutninger som er forskellige fra de valg som blev truffet da eksport af GML og GeoPackage filudtræk blev designet. Dette resulterer i følgende nævneværdige forskelle i de genererede filer, hvilket er beskrevet i dette afsnit.
Generelle forskelle der gælder for begge filtyper:

• I filudtræk eksporteres dato-felter i dansk tid. I fildownloads eksporteres dato-felter i UTC.
• I filudtræk kan der eksistere et felt som indeholder Datafordelerens opdateringstidspunkt for den pågældende database-række. Dette er kun inkluderet i et filudtræk, hvis registeret eksplicit har bestilt dette i deres DLS. Dette felt er altid inkluderet i fildownloads.

Fildownloads udstiller data per-entitet, med samme datamodel som registrene sender til Datafordeleren. Hvis et register i deres DLS for filudtræk har valgt at omdøbe kolonner, lave sammenstillinger mellem tabeller, har beregnede felter, eller lign., vil disse ikke være at finde i fildownloads. Der kan dermed forekomme flere/færre felter i fildownloads, og nogen felter kan have andre navne.
GeoPackage-specifikke forskelle:

I tilfælde af at registre har brugt karakterer i deres felt- eller entitet-navne som ikke er tilladt af GeoPackage standarden, renses navnene i fildownloads på følgende måde: æ/ø/å udskiftes til hhv. ae/oe/aa, og alle andre ugyldige karakterer udskiftes med _ (en understreg). Dette kan forårsage forskelle, hvis den manuelt definerede rensning som er brugt i filudtræk, ikke er udført på samme måde.
GML-specifikke forskelle:

• Der er en række mindre forskelle i XSD-skemaerne imellem filudtræk og fildownloads. F.eks. udstilles GML fildownloads med det pågældende registers namespace, hvorimod filudtræk bruger Datafordelerens namespace. Herudover indeholder fildownload XSD-skemaer alle registerets annotationer og type-restriktioner, hvilket ikke er inkluderet i filudtræk XSD-skemaerne.
• I filudtræk eksporteres dato-felter med op til millisekund præcision. I fildownloads eksporteres dato-felter med op til mikrosekund præcision.
• I tilfælde af at registre har brugt karakterer i deres felt- eller entitet-navne som ikke er tilladt i XML-standarden, renses navnene i fildownloads ved at skrive disse med XML LocalName encoding reglerne. Dette kan forårsage forskelle, hvis den manuelt definerede rensning som er brugt i filudtræk, ikke er udført på samme måde.

GML "srsName" attributten skrives i filudtræk med den korte form "EPSG:25832" eller "EPSG:4326". I fildownloads bruges URN versionen af EPSG-definitionen, dvs. "urn:ogc:def:crs:EPSG::25832" og "urn:ogc:def:crs:EPSG::4326".

Geografisk filtrering i fildownloads

Følgende afsnit beskriver, hvordan man, som anvender, kan postprocessere fildownloads på forskellige geografiske egenskaber. Man kan lave geografisk filtrering på registerdata ved at filtrere på de egenskaber der ses i Tabel 6. For data, som kan filtreres geografisk, gælder det, at et datapunkt er associeret med:

• En afledt geografisk identifikator, eksempelvis kommunekode. Et datapunkt kan filtreres på baggrund af denne kode.
• En geometri, eksempel en polygon med EPSG referencekode. Polygonen kan sammenlignes med en referencegeometri, såsom en kommune, og på baggrund af det geometriske overlap kan datapunktet filtreres.

Såfremt et datapunkt ikke har en reference til nogen af ovennævnte, kan det være tilfældet at datapunktet har en reference til en entitet der er associeret med enten en geometrisk identifikator eller geometri. Det er derfor ikke altid muligt direkte at foretage geografisk filtrering på en entitet uden først at behæfte entiteten med en geografisk identifikator først. Bemærk også at tabellen kun dækker de registre der har fildownloads. Der er i moderniseringens Udviklingsleverance 1 ikke implementeret generisk geografisk filtrering på fildownloads, idet det ville kræve, at Datafordeleren gør sig adskillige antagelser om, hvordan data anvendes i den anden ende. Såfremt disse antagelser ikke stemmer overens med den faktuelle brug, kan Datafordeleren fejlagtigt lave geografiske filtreringer, der er anderledes end anvenderens faktiske behov.

Tabel 6: Overblik over hvilke geografiske egenskaber der skal filtreres på for forskellige registre. 

Entitetsbaserede fildownload

Denne guide beskriver forskelle mellem abonnementsbaserede filudtræk og prædefinerede entitetsbaserede fildownloads, samt hvordan du som anvender af filudtræk, kan komme i gang med at bruge entitetsbaserede fildownload. 

Indhold i filer

Totaludtræk på den Nuværende Datafordeler indeholder normalt hele registerets data, hvor alle registerets entiteter blev fordelt i lister og derefter samlet i én samlet fil. Dette kan ses i venstre side i nedenstående figur, som indeholder 4 lister med entiteter i. Den Moderniserede Datafordeler tager disse lister, der hver især indeholder en entitet, og opdeler så disse i hver deres filer i stedet for. Dette kan ses i højre side i figuren.

Det er altså det samme data der udstilles i filerne sammenlagt, men hvor forskellen er at fildownload hver især indeholder en delmængde af det samlede registers datasæt.

Image Added

Den Moderniserede Datafordeler udstiller på denne måde den samme data i fildownload, som bliver udstillet i filudtræk på den Nuværende Datafordeler, dog med den ændring, at filerne er opdelt per entitet.

Image Added

Da fildownload bliver genereret på entitetsniveau, betyder det også at hele entiteten udstilles, og at der ikke filtreres felter fra i det udstillede data, da dette er det samme som det der indlæses på Datafordeleren.

Hvis du som anvender gerne vil vide præcis hvilke felter der eksisterer i fildownload for en given entitet, skal du konsultere registrenes Dataleverancespecifikation (DLS), der i dens Bilag 3 (Opdatering) beskriver hvilke felter hvert registers entiteter består af. Registrenes DLS'er kan hentes findes på siden DLS-udstilling.

Forskelle i GML og GeoPackage filudtræk og fildownload

I forbindelse med implementering af eksport af GML og GeoPackage fildownload, er der taget en række design-beslutninger som er forskellige fra de valg som blev truffet da eksport af GML og GeoPackage filudtræk blev designet. Dette resulterer i følgende nævneværdige forskelle i de genererede filer, hvilket er beskrevet i dette afsnit.

Generelle forskelle der gælder for begge filtyper

• I filudtræk eksporteres dato-felter i dansk tid. I fildownload eksporteres dato-felter i UTC.
• I filudtræk kan der eksistere et felt som indeholder Datafordelerens opdateringstidspunkt for den pågældende database-række. Dette er kun inkluderet i et filudtræk, hvis registeret eksplicit har bestilt dette i deres DLS. Dette felt er altid inkluderet i fildownload.

Fildownload udstiller data per entitet, med samme datamodel som registrene sender til Datafordeleren. Hvis et register i deres DLS for filudtræk har valgt at omdøbe kolonner, lave sammenstillinger mellem tabeller, har beregnede felter, eller lign., vil disse ikke være at finde i fildownload. Der kan dermed forekomme flere/færre felter i fildownload, og nogen felter kan have andre navne.

GeoPackage-specifikke forskelle

• I filudtræk eksporteres dato-felter til en kolonne defineret med typen DateTime, og er begrænset til millisekund præcision. I fildownloads eksporteres dato-felter til en kolonne defineret med typen TEXT, og er begrænset til mikrosekund præcision, hvor datoen er skrevet i ISO8601 format.

I tilfælde af at registre har brugt karakterer i deres felt- eller entitet-navne som ikke er tilladt af GeoPackage standarden, renses navnene i fildownload på følgende måde: æ/ø/å udskiftes til hhv. ae/oe/aa, og alle andre ugyldige karakterer udskiftes med _ (en understreg). Dette kan forårsage forskelle, hvis den manuelt definerede rensning som er brugt i filudtræk, ikke er udført på samme måde.

GML-specifikke forskelle

• Der er en række mindre forskelle i XSD-skemaerne imellem filudtræk og fildownload. F.eks. udstilles GML fildownload med det pågældende registers namespace, hvorimod filudtræk bruger Datafordelerens namespace. Herudover indeholder fildownload XSD-skemaer alle registerets annotationer og type-restriktioner, hvilket ikke er inkluderet i filudtræk XSD-skemaer.
• I filudtræk eksporteres dato-felter med op til millisekund præcision. I fildownload eksporteres dato-felter med op til mikrosekund præcision.
• I tilfælde af at registre har brugt karakterer i deres felt- eller entitet-navne som ikke er tilladt i XML-standarden, renses navnene i fildownload ved at skrive disse med XML LocalName encoding reglerne. Dette kan forårsage forskelle, hvis den manuelt definerede rensning som er brugt i filudtræk, ikke er udført på samme måde.

GML "srsName" attributten skrives i filudtræk med den korte form "EPSG:25832" eller "EPSG:4326". I fildownload bruges URN versionen af EPSG-definitionen, dvs. "urn:ogc:def:crs:EPSG::25832" og "urn:ogc:def:crs:EPSG::4326".

Geografisk filtrering i fildownload

Følgende afsnit beskriver, hvordan du, som anvender, kan postprocessere fildownload på forskellige geografiske egenskaber.

Du kan lave geografisk filtrering på registerdata ved at filtrere på de egenskaber der ses i nedenstående tabel. For data, som kan filtreres geografisk, gælder det, at et datapunkt er associeret med:

• En afledt geografisk identifikator, eksempelvis kommunekode. Et datapunkt kan filtreres på baggrund af denne kode.
• En geometri, eksempel en polygon med EPSG referencekode. Polygonen kan sammenlignes med en referencegeometri, såsom en kommune, og på baggrund af det geometriske overlap kan datapunktet filtreres.

Såfremt et datapunkt ikke har en reference til nogen af ovennævnte, kan det være tilfældet at datapunktet har en reference til en entitet der er associeret med enten en geometrisk identifikator eller geometri. Det er derfor ikke altid muligt direkte at foretage geografisk filtrering på en entitet uden først at behæfte entiteten med en geografisk identifikator først. Bemærk også at tabellen kun dækker de registre der har fildownloads. Der er i moderniseringens Udviklingsleverance 1 ikke implementeret generisk geografisk filtrering på fildownloads, idet det ville kræve, at Datafordeleren gør sig adskillige antagelser om, hvordan data anvendes i den anden ende. Såfremt disse antagelser ikke stemmer overens med den faktuelle brug, kan Datafordeleren fejlagtigt lave geografiske filtreringer, der er anderledes end anvenderens faktiske behov.

Anvendereksempel på transition fra filudtræk til entitetsbaseret fildownload

Dette eksempel tager udgangspunkt i en anvender der allerede bruger Datafordeleren og henter data fra DAR igennem filudtræk.

Situationsbeskrivelse

Dette eksempel antager at en anvender allerede har etableret en kopi af DAR og skal i gang med at bruge fildownloads.
Anvenderen har først etableret sin datakopi af DAR ved at opsætte et abonnement på et brugerdefineret totaludtræk fra DAR med følgende parametre:

• SincePrevious = True
• RegistreringFra = 2021-03-01
• VirkningFra = 2021-03-01
• Format = JSON
• Dagligt udtræk

Anvenderen henter filudtræk fra Datafordeleren via sin SSH2-tjenestebruger dagligt og indlæser deltafilen i sin datakopi.

Transition

For at anvenderen kan komme i gang med at bruge fildownloads, skal anvenderen vælge mellem 2 muligheder:

Mulighed A) Anvenderen ønsker at etablere en ny datakopi med fildownloads.
Mulighed B) Anvenderen ønsker at indlæse data oveni en eksisterende datakopi med fildownloads.

Anvenderen gør herefter følgende

1. Anvenderen opretter en tjenestebruger med brugernavn og password på selvbetjeningen.
2. Anvenderen kalder metoden GetAvailableFiledownloads med sin nye tjenestebruger som følger:
   1. https://api.datafordeler.dk/FileDownloads/GetAvailableFileDownloads?Register=DAR&username=xxxx&password=yyyy
3. Da anvender nu ved, hvilke fildownloads der eksisterer, kalder anvender metoden GetFile, for at hente totaldownloads for alle entiteter i DAR:
   1. https://api.datafordeler.dk/FileDownloads/GetFile?Register=DAR&username=xxxx&password=yyyy
4. Anvender er nu i besiddelse af et totaludtræk i DAR. Anvenderen kan nu vælge at sammensætte alle filerne til én stor fil og postprocessere denne, eller postprocessere filerne enkeltvis. Postprocesseringen filtrerer data fra, der har RegistreringFra og VirkningFra ældre end 2021-03-01.
5. Dette skridt varierer, alt efter om anvenderen valgte mulighed A eller B, som er beskrevet ovenfor:
   1. Hvis anvenderen valgte mulighed A), skal anvenderen etablere sin lokale datakopi ved at indlæse data fra filerne. I dette eksempel har totaludtrækket fra DAR udtræksnummer 14.
   2. Hvis anvenderen valgte mulighed B) i stedet, skal anvender finde forskellen mellem sin lokale datakopi og den data der findes i totaludtrækket fra DAR som anvenderen netop har hentet.

Anvender sætter herefter en vedligeholdelse op af sin datakopi. Vedligeholdelsen består i at hente deltadownloads ind fra DAR, som genereres dagligt. Anvenderen bemærker, at totaludtrækket har udtræksnummer 14, hvilket betyder at anvenderen skal hente deltadownloads fra DAR med udtræksnummer 15 og højere for at sørge for at datakopien holdes opdateret. Anvenderen kalder igen GetAvailableFiledownloads for at se, hvilke deltafiler der findes for DAR.

1. 1. https://api.datafordeler.dk/FileDownloads/GetAvailableFileDownloads?Register=DAR&username=xxxx&password=yyyy
2. Anvenderen ser at der findes deltadownloads for samtlige entiteter i DAR med udtræksnumrene 15 og 16. Anvenderen ved derfor, at det vil være nødvendigt at hente alle deltadownloads for alle entiteter i DAR med de ovenstående udtræksnumre. Dette gør anvenderen ved at kalde GetFile for alle entiteterne i DAR med både udtræksnumre 15 og 16:
   1. https://api.datafordeler.dk/FileDownloads/GetFile?Filename=filename&username=xxxx&password=yyyy
3. Anvenderen holder løbende øje med genereringen af DAR deltadownloads der genereres hver dag og sørger for at hente disse og indlæse dem i deres lokale datakopi.
4. Anvenderen har nu sat sit system op til at bruge fildownloads.

Image Added
Figur 8: Opsummering af transitionsskridt for en anvender.
Transitionen i ovenstående skridt er opsummeret i Figur 8.

Anvendereksempel på transition med udgangspunkt i kopiregister

Dette eksempel tager udgangspunkt i en anvender som allerede har etableret en kopi af BBR, som skal i gang med at bruge fildownloads.

Situationsbeskrivelse

I dette eksempel henter anvenderen daglige totaludtræk hvor registreringshistorikken ikke er nødvendig, og derfor filtreres fra. Anvenderen har sat følgende abonnement op:

• SincePrevious = False
• RegistreringFra = NOW()
• Format = JSON
• Dagligt udtræk

Anvenderen bruger en tjenestebruger med brugernavn og password til at tilgå filudtræk.

Transition

1. Anvenderen kalder metoden GetAvailableFiledownloads med en nyoprettet API-nøgle som følger:
   • https://api.datafordeler.dk/FileDownloads/GetAvailableFileDownloads?Register=BBR&apiKey=placeholderNoegle
2. Da anvender nu ved hvilke fildownload der eksisterer, kalder anvender nu metoden GetFile for at hente totaldownload for alle entiteter i BBR:
   • https://api.datafordeler.dk/FileDownloads/GetFile?Register=BBR&apiKey=placeholderNoegle
3. Anvender er nu i besiddelse af et totaludtræk af BBR, heriblandt et totaludtræk med temporale data, dvs. registreringshistorikken er filtreret fra. Anvenderen kan nu vælge at sammensætte alle filerne til én stor fil og postprocessere denne, eller postprocessere filerne enkeltvis.
4. Anvenderen etablerer herefter den samme vedligeholdelsesproces som blev beskrevet i afsnit 4.3.2. Da anvenderen her ikke er interesseret i registreringshistorikken, skal anvender dog huske at postprocessere deltadownload og filtrere denne historik fra, inden den data indlæses oveni den lokale datakopi.

Rasterbaserede fildownload

Denne guide beskriver, gennem to eksempler, hvordan du som anvender af filudtræk, kan komme i gang med at bruge fildownload til at hente rasterdata på Datafordeleren.  

Anvendereksempel på transition med udgangspunkt i brug af bounding box for rasterdata

Dette eksempel tager udgangspunkt i en anvender der allerede bruger Datafordeleren og henter data fra Danmarks Topografiske Kortværk i forholdet 1:25.000 (DTK25) igennem filudtræk.

Situationsbeskrivelse

Dette eksempel antager at en anvender plejer at hente de tiles fra DTK-registret der dækker Møn og skal i gang med at bruge fildownload.

For at kunne hente et udsnit af kortet har anvenderen oprettet et abonnement på DTK25 Danmarks Topografiske Kortværk 1:25.000 Prædefineret. Anvenderen skal så finde navnene på de seks 20x20km tiles som dækker Møn, eventuelt ved brug af Dataforsyningen, for derefter at forbinde til Datafordelerens FTP-server og hente de tilhørende ZIP-filer.

Transition

1. Anvenderen finder koordinaterne på det nederste venstre og det øverste højre hjørne af det ønskede område i EPSG-25832 format, eventuelt ved brug af Dataforsyningen eller io.
2. Anvenderen kalder metoden GetRasterMultipleFiles med koordinaterne fra (1) for at hente alle tiles i det pågældende område fra DTK25:
   • https://api.datafordeler.dk/FileDownloads/GetRasterMultipleFiles?minx=696086&miny=6084811&maxx=728240&maxy=6108653&register=DTK&version=1&datasetname=DTK25&apiKey=placeholderNoegle
3. Kaldet returnerer filen DTK_DTK25_696086_6084811-728240_6108653.zip som indeholder de 6 20x20km tiles: 2023_608_68.tif, 2023_608_70.tif, 2023_608_72.tif, 2023_610_68.tif, 2023_610_70.tif og 2023_610_72.tif

Punktskybaserede fildownload

Denne guide beskriver, gennem to eksempler, hvordan du som anvender af filudtræk, kan komme i gang med at bruge fildownload til at hente punktskydata på Datafordeleren.

Anvendereksempel på transition med udgangspunkt i brug af bounding box for punktskydata

Dette eksempel tager udgangspunkt i en anvender der allerede bruger Datafordeleren og henter punktskydata fra Danmarks Højdemodel (DHM_PUNKTSKY) igennem filudtræk.

Situationsbeskrivelse

Dette eksempel antager at en anvender plejer at hente de tiles fra DHM-registret der dækker Fejø og skal i gang med at bruge fildownload.

For at kunne hente et udsnit af kortet har anvenderen oprettet et abonnement på Punktsky Brugerdefineret LAZ. Anvenderen skal så finde navnene på de 43 1x1km tiles som dækker Fejø, eventuelt ved brug af Dataforsyningen, for derefter at forbinde til Datafordelerens FTP-server og hente de tilhørende ZIP-filer.

Transition

1. Anvenderen finder koordinaterne på det nederste venstre og det øverste højre hjørne af det ønskede område i EPSG-25832 format, evt. ved brug af Dataforsyningen eller io.
2. Anvenderen kalder metoden GetPointCloudMultipleFiles med koordinaterne fra (1) for at hente alle tiles i det pågældende område fra Punktsky-datsættet:
   • https://api.datafordeler.dk/FileDownloads/GetRasterMultipleFiles?minx=650098&miny=6088404&maxx=657989&maxy=6094473&register=dhm&version=1&datasetname=punktsky&apiKey=placeholderNoegle

Kaldet returnerer filen DHM_PUNKTSKY_650098_6088404-657989_6094473.zip som indeholder de 43 1x1km tiles.

Bilag 1: FAQ

1. Er min IP-adresse stadig godkendt?
   1. Ja det er den.
2. Hvilken zone udstilles fildownloads i?
   1. Fildownloads udstilles i zone 0.
3. Hvilken type bruger skal jeg bruge for at hente fildownloads?
   1. En tjenestebruger med brugernavn og password er påkrævet for at tilgå fildownloads.
4. Hvordan hentes fildownloads?
   1. Dette sker ved at kalde REST-API'et der udstiller fildownloads. Se afsnit 2.6 for en uddybende beskrivelse.
5. Hvilke tidspunkter bliver fildownloads genereret?
   1. Dette sker som udgangspunkt mellem kl. 3 og 6 om natten. Se skemaet i afsnit 2.5 der giver et overblik over hvornår der genereres fildownloads for hvert register.
6. Er der fildownloads for alle registre?
   1. Nej, det er der ikke. Det er kun de registre som står anført i Tabel 3 som får fildownloads i de filformater der står angivet i tabellen.

Bilag 2: Overførsel af filudtræk til entitetsbaserede fildownload

Bilag 3: Datasæt med rasterdata

Bilag 4: Datasæt med punktskydata

Anvendereksempel på transition fra filudtræk til fildownloads

Dette eksempel tager udgangspunkt i en anvender der allerede bruger Datafordeleren og henter data fra DAR igennem filudtræk.

Afsnittet giver et eksempel på, hvordan en eksisterende anvender på Datafordeleren kan overgå fra at bruge filudtræk i sit system til at bruge fildownloads. Afsnittet påbegyndes med en situationsbeskrivelse efterfulgt af konkrete trin der beskriver transitionen.

Situationsbeskrivelse

Dette eksempel antager at en anvender allerede har etableret en kopi af DAR og skal i gang med at bruge fildownloads.
Anvenderen har først etableret sin datakopi af DAR ved at opsætte et abonnement på et brugerdefineret totaludtræk fra DAR med følgende parametre:

• SincePrevious = True
• RegistreringFra = 2021-03-01
• VirkningFra = 2021-03-01
• Format = JSON
• Dagligt udtræk

Anvenderen henter filudtræk fra Datafordeleren via sin SSH2-tjenestebruger dagligt og indlæser deltafilen i sin datakopi.

Transition

For at anvenderen kan komme i gang med at bruge fildownloads, skal anvenderen vælge mellem 2 muligheder:

Mulighed A) Anvenderen ønsker at etablere en ny datakopi med fildownloads.
Mulighed B) Anvenderen ønsker at indlæse data oveni en eksisterende datakopi med fildownloads.

Anvenderen gør herefter følgende

1. Anvenderen opretter en tjenestebruger med brugernavn og password på selvbetjeningen.
2. Anvenderen kalder metoden GetAvailableFiledownloads med sin nye tjenestebruger som følger:
   1. https://api.datafordeler.dk/FileDownloads/GetAvailableFileDownloads?Register=DAR&username=xxxx&password=yyyy
3. Da anvender nu ved, hvilke fildownloads der eksisterer, kalder anvender metoden GetFile, for at hente totaldownloads for alle entiteter i DAR:
   1. https://api.datafordeler.dk/FileDownloads/GetFile?Register=DAR&username=xxxx&password=yyyy
4. Anvender er nu i besiddelse af et totaludtræk i DAR. Anvenderen kan nu vælge at sammensætte alle filerne til én stor fil og postprocessere denne, eller postprocessere filerne enkeltvis. Postprocesseringen filtrerer data fra, der har RegistreringFra og VirkningFra ældre end 2021-03-01.
5. Dette skridt varierer, alt efter om anvenderen valgte mulighed A eller B, som er beskrevet ovenfor:
   1. Hvis anvenderen valgte mulighed A), skal anvenderen etablere sin lokale datakopi ved at indlæse data fra filerne. I dette eksempel har totaludtrækket fra DAR udtræksnummer 14.
   2. Hvis anvenderen valgte mulighed B) i stedet, skal anvender finde forskellen mellem sin lokale datakopi og den data der findes i totaludtrækket fra DAR som anvenderen netop har hentet.

Anvender sætter herefter en vedligeholdelse op af sin datakopi. Vedligeholdelsen består i at hente deltadownloads ind fra DAR, som genereres dagligt. Anvenderen bemærker, at totaludtrækket har udtræksnummer 14, hvilket betyder at anvenderen skal hente deltadownloads fra DAR med udtræksnummer 15 og højere for at sørge for at datakopien holdes opdateret. Anvenderen kalder igen GetAvailableFiledownloads for at se, hvilke deltafiler der findes for DAR.

1. 1. https://api.datafordeler.dk/FileDownloads/GetAvailableFileDownloads?Register=DAR&username=xxxx&password=yyyy
2. Anvenderen ser at der findes deltadownloads for samtlige entiteter i DAR med udtræksnumrene 15 og 16. Anvenderen ved derfor, at det vil være nødvendigt at hente alle deltadownloads for alle entiteter i DAR med de ovenstående udtræksnumre. Dette gør anvenderen ved at kalde GetFile for alle entiteterne i DAR med både udtræksnumre 15 og 16:
   1. https://api.datafordeler.dk/FileDownloads/GetFile?Filename=filename&username=xxxx&password=yyyy
3. Anvenderen holder løbende øje med genereringen af DAR deltadownloads der genereres hver dag og sørger for at hente disse og indlæse dem i deres lokale datakopi.
4. Anvenderen har nu sat sit system op til at bruge fildownloads.

Image Removed
Figur 8: Opsummering af transitionsskridt for en anvender.
Transitionen i ovenstående skridt er opsummeret i Figur 8.

Anvendereksempel på transition med udgangspunkt i kopiregister

Dette eksempel tager udgangspunkt i en anvender som allerede har etableret en kopi af BBR, som skal i gang med at bruge fildownloads.

Situationsbeskrivelse

I dette eksempel henter anvenderen daglige totaludtræk hvor registreringshistorikken ikke er nødvendig, og derfor filtreres fra. Anvenderen har sat følgende abonnement op:

• SincePrevious = False
• RegistreringFra = NOW()
• Format = JSON
• Dagligt udtræk

Anvenderen bruger en tjenestebruger med brugernavn og password til at tilgå filudtræk.

Transition

1. Anvenderen kalder metoden GetAvailableFiledownloads med sin eksisterende tjenestebruger som følger:
   1. https://api.datafordeler.dk/FileDownloads/GetAvailableFileDownloads?Register=BBR&username=xxxx&password=yyyy
2. Da anvender nu ved hvilke fildownloads der eksisterer, kalder anvender nu metoden GetFile for at hente totaldownloads for alle entiteter i BBR:
   1. https://api.datafordeler.dk/FileDownloads/GetFile?Register=BBR&username=xxxx&password=yyyy
3. Anvender er nu i besiddelse af et totaludtræk af BBR, heriblandt et totaludtræk med temporale data, dvs. registreringshistorikken er filtreret fra. Anvenderen kan nu vælge at sammensætte alle filerne til én stor fil og postprocessere denne, eller postprocessere filerne enkeltvis.
4. Anvenderen etablerer herefter den samme vedligeholdelsesproces som blev beskrevet i afsnit 4.3.2. Da anvenderen her ikke er interesseret i registreringshistorikken, skal anvender dog huske at postprocessere deltadownloads og filtrere denne historik fra, inden den data indlæses oveni den lokale datakopi.

Bilag 1: FAQ

1. Er min IP-adresse stadig godkendt?
   1. Ja det er den.
2. Hvilken zone udstilles fildownloads i?
   1. Fildownloads udstilles i zone 0.
3. Hvilken type bruger skal jeg bruge for at hente fildownloads?
   1. En tjenestebruger med brugernavn og password er påkrævet for at tilgå fildownloads.
4. Hvordan hentes fildownloads?
   1. Dette sker ved at kalde REST-API'et der udstiller fildownloads. Se afsnit 2.6 for en uddybende beskrivelse.
5. Hvilke tidspunkter bliver fildownloads genereret?
   1. Dette sker som udgangspunkt mellem kl. 3 og 6 om natten. Se skemaet i afsnit 2.5 der giver et overblik over hvornår der genereres fildownloads for hvert register.
6. Er der fildownloads for alle registre?
   1. Nej, det er der ikke. Det er kun de registre som står anført i Tabel 3 som får fildownloads i de filformater der står angivet i tabellen.

Bilag 2: Overførsel af filudtræk til fildownloads