Sådan virker filudtræk på Datafordeleren

Introduktion

Filudtræk giver brugeren mulighed for at downloade data fra Datafordeleren. Det er den enkelte registermyndighed, der beslutter, hvilke data myndigheden stiller til rådighed som filudtræk.

Denne side beskriver adgangen til og den tekniske distribution af filudtræk, som er gældende for alle registre på Datafordeleren, der udstiller data med filudtræk.

Brugeroprettelse

Det kræver en bruger for at hente størstedelen af filudtrækstjenesterne på Datafordeleren. Derfor er første skridt for at få adgang til filudtræk at oprette en webbruger og en tjenestebruger på Datafordeleren. Find mere information om brugeroprettelse på Datafordelerens hjemmeside. 

Der er tre adgangstyper på Datafordeler, der afhænger af, hvilke begrænsninger der er til adgangen til data. De tre adgangstyper er beskrevet på Datafordelerens hjemmeside. 

De fleste filudtræk kan tilgås af tjenestebrugere, som er oprettet med brugernavn/password. Filudtræk med adgangsbegrænsede data kan kun tilgås af tjenestebrugere, som er oprettet med SSH2-nøgle.

Det kan være nødvendigt at anmode om adgang til data hos registeret. Proceduren herfor er beskrevet på Datafordelerens hjemmeside. 

Anvendere af SFTP og https skal have deres IP-adresse whitelistet, og hvis begge type teknologier anvendes skal anvenderens IP-adresse whitelistes for begge typer. Whitelisting af IP-adresser foregår i forbindelse med anmodningen om adgang til data hos registret. 

Typer af filudtræk

Der er overordnet to typer af filudtræk:

Prædefineret/prægenereret: Der kan hentes data i på forhånd genereret filudtræk, som leveres efter et givent interval fastsat af registermyndigheden. Det kan fx være ugentlig eller kvartalsvis. Indholdet af filerne vil være specificeret på forhånd ud fra en udtrækslogik, der udvælger data fra datamodellen. Formatet af data følger et skema, der er specificeret på forhånd. Filformater vil være et eller flere af de mulige formater (XML, JSON, CSV, GIS formater). For geodata vil der desuden være valgt projektion på forhånd. 

For de tjenester der kan tilgås uden bruger, er det ikke muligt at abonnere på prædefinerede/-genererede filudtræk, det er i stedet muligt at ”abonnere” på feeds ved hjælp af en browser eller feedreader. I dataoversigten på Datafordelerens hjemmeside vises ATOM-feedet for det anonyme filudtræk, hvor det er muligt at se informationer om placeringen af filudtrækket. Både stien til FTP-serveren og url’en til servicen, der leverer den relevante fil, kan ses i ATOM-feedet. Det er ikke muligt at downloade filudtræk direkte fra selvbetjeningsportalen. Frit tilgængelige filudtræk genereres med et givet interval og bliver lagt på en fri tilgængelig del af FTP-serveren samt som en tilgængelig fil, der kan hentes via HTTP/HTTPS. Det er registermyndigheden som fastsætter intervallet for generering af filudtrækket.

Brugerdefineret udtræk: baseres på et abonnement, som brugeren har oprettet. Når data leveres er det udtræk fra dags dato. I et brugerdefineret udtræk er der mulighed for at angive en række parametre (f.eks. geografisk udstrækning, format, projektion, registreringstid med mere), hvorefter der produceres en fil som gøres tilgængeligt på en FTP. Udtrækslogikken vil være specificeret på forhånd af registret og formater af data vil følge et skema, der er specificeret på forhånd. Tjenestebrugere kan via selvbetjeningsportalen downloade et udtræk eller opsætte et abonnement på et filudtræk. Webbrugeren informeres via e-mail, når der dannes nye filer til abonnementet.

Du kan se hvilke tjenester, der er tilgængelige for det enkelte register i dataoversigten. Tjenesterne er beskrevet i dokumentationen for registrets tjenester.  

Distribution af filudtræk

Distribution af filudtræk sker på to måder: via FTP/SFTP og via http/https.

Filudtræk via FTP/SFTP: Filudtræk placeres på enten et FTP-server eller en SFTP-server afhængigt af sikkerhedsniveauet. Fra disse filområder kan brugerne hente udtrækket af data.

Data kan hentes med FTP protokollen og brugernavn/password. Hvis data er følsomme, benyttes en SFTP server og data kan hentes med en tjenestebruger med SSH2-nøgle. 

Filudtræk via http/https: Filudtræk kan hentes via en service, dvs. via http/https.

Services med ikke følsomme data kan tilgås med både brugernavn og password samt certifikat. Services med følsomme data kan kun tilgås med certifikat.

Endpoint, folder og filplacering

Filudtræk der hentes med anonym adgang placeres i en fælles folder. Hvorimod filudtræk der hentes med kendt adgang eller godkendt adgang placeres i en brugerspecifik folder. Folderne er dog forskellige afhængig af, om den data der hentes er placeret i sikkerhedszone 0 eller sikkerhedszone 5.

Nedenstående tabel angiver foldernavn/placering og http(s) url for de forskellige filudtrækstyper:

Connectivity til FTP folderen kan først opnås når tjenestebrugeren har oprettet et abonnement på et filudtræk, da folderen først oprettes i det øjeblik der genereres et filudtræk.

Tidsparametre i filudtræk

Der er mulighed for at bruge forskellige tidsparametre med særlig relevans for filudtræk.

Datafordeler timestamp

For nogle tjenester er det muligt at angive DAFTimestampFra og DAFTimestampTil. Datafordeler timestamp er et tidsparameter for hvornår data er indlæst eller opdateret på Datafordeleren modsat fx. RegistreringTil der er et tidsparameter for hvornår data er registreret i et register.

Parametrene er klokkeslæt ud fra formen ”hh:mm:{ss}.{ssssss}Z|+hh:mm”, hvor sekunder og millisekunder kan udelades. 

Deltafiler

For nogle tjenester er det muligt at abonnere på deltafiler ved brug af funktionen "Since Previous". Her vil der kun returneres data, som har en Datafordeler-registreringstid lig med eller senere end det tidspunkt, hvor det samme filudtræk senest er genereret til den pågældende abonnent. Det vil sige at der i abonnementet fremsøges data som er opdateret på Datafordeleren siden den foregående generering af det tilsvarende filudtræk på samme abonnement.

Værdien af tidsstempel for seneste udtræk, vises som metadata for abonnementet i selvbetjeningsportalen.

Deltafiler vælges ved en checkboks med "Since Previous" i Selvbetjeningen. 

Schedulering af filudtræk

Der er mulighed for, at bestemme, hvornår et filudtræk ønskes eksekveret, ved at angive hvornår på døgnet et filudtræk skal dannes. Scheduleringen angives ved oprettelse af ad hoc udtræk eller abonnement.

Metadatafil i FTP/SFTP

Der leveres altid en metadatafil med et filudtræk på FTP/SFTP serveren. 

I tilfælde hvor der ikke er data i filudtrækket leveres der stadig en udtræksfil samt en metadatafil. 

Skema for metadatafilen