Filudtræk på Datafordeleren

Denne side beskriver adgangen til og den tekniske distribution af filudtræk, som er gældende for alle registre på Datafordeleren, der udstiller data med filudtræk.

Denne side tager sit udgangspunkt i ejendoms- og adresseområdet. Vi anbefaler, at du tilgår den registerspecifikke dokumentation om filudtræk, hvis du ønsker yderligere informationer om filudtræk fra Danmarks Højdemodel (DHM), GeoDanmark Ortofoto, GeoDanmark Vektor og Skærmkortet.

Filudtræk giver dig mulighed for at downloade data fra Datafordeleren. Det er den enkelte registermyndighed, der beslutter, hvilke data myndigheden stiller til rådighed som filudtræk.

• For oplysninger om hvilke filudtræk og data, der er tilgængelige på Datafordeleren, brug Dataoversigten. Tjenesterne er beskrevet i dokumentationen for registrenes tjenester.  
  
  
• Se Vilkår for anvendelse for de enkelte registre på Datafordeler.dk
  
  
• Beskrivelsen af filudtræk forudsætter et kendskab til brugeroprettelse og adgangstyring på Datafordeleren.
  Generelt gælder det for filudtræk, at de fleste filudtræk kan tilgås af tjenestebrugere, som er oprettet med brugernavn/adgangskode.
  
  
• Filudtræk med følsomme data kan kun tilgås af tjenestebrugere, som er oprettet med SSH2-nøgle. Du kan på siden Brugeradgang – Oversigt få et overblik over hvilke filudtræk, som kræver en SSH2-nøgle.
  
  
• Få en guide til at downloade og opsætte abonnementer på filudtræk i Selvbetjeningen i Guide til filudtræk på Selvbetjeningen 

Filudtrækstjenester er fortrinsvist tiltænkt overførsel af store datamængder, der udføres på regelmæssig basis (fx dagligt).

Fordele ved brug af REST

REST-tjenester i princippet er designet til relativt simple ad-hoc forespørgsler, der returnerer begrænsede datamængder.

Med REST-tjenesterne finder du svar på spørgsmål som:

• Hvilke registreringer har aktuel virkning?
• Hvilke registreringer havde virkning på tidspunkt x?
• Hvornår blev en given registrering foretaget vedrørende objekt A med virkning på tidspunkt x?

I alle tilfælde ønsker du øjebliksbilleder. 

Fordele ved brug af filudtræk

Anvender af Datafordelerens tjenester kan have forskellige typer af behov for at benytte filudtrækstjenester:

• Nogle anvendere er kun interesserede i virkningstider. De behov imødekommes med aktuelle data – dvs. data, der aktuelt ikke er afregistrerede, og hvis virkningsperiode omfatter den virkningstid, som er angivet i udtræksparametrene.
  
  
• Nogle anvendere har behov for også at kunne angive registreringstid – altså at kunne tage på en tidsrejse tilbage i tid og se hvordan data så ud på et specifikt tidspunkt. Det kunne fx være tilfældet hvis en borger klager over en afgørelse, og man ønsker at se hvordan data så ud, da afgørelsen blev truffet.
  
  
• Nogle anvendere ønsker at etablere et kopiregister i umiddelbar, netværksmæssig nærhed af de applikationer, der har behov for at foretage opslag i kopiregistrene. 
  
  Anvenderes begrundelse for overhovedet at etablere kopiregistre kan være performance (svartid) og robusthed (Recilience) over for nedbrud i Datafordeleren eller i forbindelsen hertil. Anvendere som vedligeholder et kopiregister, har brug for at kende information om data, der har ændret sig siden sidste gang de foretog et udtræk til dette kopiregister. Dette inkluderer behov for historik - dvs. summen af alle mulige og virkelighedstro øjebliksbilleder.

I det tilfælde er det vigtigt at undersøge hvordan det enkelte register har implementeret bitemporalitet på Datafordeleren via Datafordeleren - introduktion til bitemporalitet og Datafordeleren - guide til kopiregistre. Det er afgørende, at de bitemporale inputparametre bliver udfyldt korrekt, hvis anvenderens behov for et kopiregister skal imødekommes.

Tidsparametre

Registreringstid

Alle forekomster registreres i databasen med en registreringstid, bestående af to tidsstempler - et fra-tidsstemplet og et til-tidsstemplet. På fra-tidsstemplet er tidspunktet inkluderet, og på til-tidsstemplet er tidspunktet ikke inkluderet.

Registreringstiden er tidsrummet fra versionen registreres til den enten erstattes af en nyere version eller afregistreres (logisk slettes). Registreringstiden er således fortløbende for et givent forretningsobjekt.

Der kan over tid eksistere flere forekomster med samme identifikation, virkningstid og objektstatus. Her vil registreringstid afgøre, hvilken der er/var gældende på et givet tidspunkt.

Virkningstid

Alle forekomster registreres i databasen med en virkningstid bestående af to tidsstempler - et fra-tidsstemplet og et til-tidsstemplet. På fra-tidsstemplet er tidspunktet inkluderet, og på til-tidsstemplet er tidspunktet ikke inkluderet.

Virkningstid kan oprettes i fortiden, nutiden eller fremtiden.

Der skal kun være én gældende virkningstid for en given objektstatus på et givet tidspunkt.

Virkningstid må ikke være overlappende for samme registreringstid og objektstatus.

Datafordeler tidsstempel

For nogle tjenester er det muligt at angive DAFTimestampFra og DAFTimestampTil.

Datafordeler tidsstempel er et tidsparameter for, hvornår data er indlæst eller opdateret på Datafordeleren modsat fx. RegistreringTil der er et tidsparameter for hvornår data er registreret i et register.

Parametrene er klokkeslæt ud fra formen ”hh:mm:{ss}.{ssssss}Z|+hh:mm”, hvor sekunder og millisekunder kan udelades.

Datafordeler tidsstempel anvendes til at fremsøge ændringer siden et givet tidspunkt, for eksempel til opdatering af kopi-registre eller som kontrol af, at alle relevante hændelser er håndteret korrekt. Bemærk, at Datafordeler tidsstempel kan ikke bruges til at håndtere bitemporalitet. 

Typer af filudtræk 

Enhver filudtrækstjeneste udstillet i Datafordeleren har et sæt af inputparametre og en logik med nogle betingelser, der på grundlag af parameterværdierne afgør, hvilke data der skal udtrækkes ved et givet kald af tjenesten. 

Hvis værdierne af inpuparametrene kan angives af den anvender, der aktiverer tjenesten, kaldes tjenesten brugerdefineret. Parameterværdierne for en prædefineret tjeneste kan ikke ændres af anvenderne, og parametrene er fastlagt af Datafordeleroperatøren i samarbejde med den registeransvarlige for tjenesten. Idéen med de prædefineret tjenester er at tage konsekvensen af, at nogle typer tjenester er efter-spurgt af flere forskellige anvendere. Det kan derfor betale sig at lave ét totaludtræk for hver prædefineret tjeneste fx hver søndag og gøre resultatet af udtrækket tilgængeligt for alle anvendere. 

Prædefineret filudtræk

Ved prædefineret filudtrækstjenester er udtrækket generet på forhånd, og specificeringen af udtrækket er givet på forhånd. Der kan hentes data i på forhånd genererede filudtræk, som produceres og udstilles efter et givent interval fastsat af registermyndigheden fx ugentligt eller kvartalsvis. Filformater vil være et eller flere af de mulige formater (XML, JSON, GIS-formater). For geodata vil der desuden være valgt projektion på forhånd. 

Fordelen ved prædefineret filudtræk er, at udtrækkene kun skal dannes én gang, hvilket nedsætter procestiden for en bruger. Tiden det tager at få et udtræk er derfor kun, den tid det tager for anvenderens system at hente filen.

For de tjenester der kan tilgås uden brugeroprettelse, er det ikke muligt at abonnere på prædefineret filudtræk, i stedet kan man ”abonnere” på feeds ved hjælp af en browser eller feedreader. I Dataoversigten på Datafordelerens hjemmeside vises Atom feedet for de anonyme filudtræk, hvor det er muligt at se informationer om placeringen af filudtrækket. Det er ikke muligt at downloade denne type filudtræk direkte fra Selvbetjeningen. Læs mere om hvordan du henter et frittilgængeligt filudtræk i Guide til Filudtræk. 

Prædefineret filudtræk der er frit tilgængelige uden brugeroprettelse kan hentes i en fælles FTP folder eller via HTTP.

Complete og DeltaDaily

For en række udvalgte tjenester har Datafordeleren lavet en række prædefineret tjenester, hvor et ugentlig totaludtræk kan kombineres med daglige ændringer. Udtræk leveres i ét standardudtræk, som er tilgængeligt på samme tidspunkt, som det er muligt at abonnere på.

Der er tale om tjenester på ejendoms- og adresseområdet, som har særlig høj anvendelse. Det er samtidig nogle tjenester, hvor det forventes at mange anvendere vil have samme anvendelsesmønster.

Følgende registre er omfattet:

• Bygnings- og Boligregistret (BBR)
• Danmarks Adresseregister (DAR)
• Ejendomsbeliggenhedsregistret (EBR)
• Ejendomsvurdering (VUR)
• Ejerfortegnelsen (EJF)
• Matriklen (MAT)

Der er derfor oprettet to typer prædefineret filudtræk: Complete og DeltaDaily. Ved Complete får du ugentligt et fuldt totaludtræk af registeret, og ved DeltaDaily modtager du daglige opdateringer.

Indholdet i opdateringerne afhænger af hvilket filudtræk du vælger. Bemærk, at de filudtræk, som indeholder aktuelle filudtræk for eksempel kun leverer gældende data og det gælder også for de tilknyttede deltaudtræk og at du skal indlæse et fuldt deltaudtræk som en samlet opdatering for at bevare dataintegritet. Læs mere om Deltaudtræk og dataintegritet.

Indhold

Når du har oprettet et abonnement på et prædefineret filudtræk, vil du med det samme modtage det senest oprettede filudtræk. Er det prædefineret filudtræk ikke tidligere blevet dannet, vil du modtage det, når det er blevet dannet af systemet.

Vælger du fx at tegne et abonnement på et ugentlig filudtræk om onsdagen, vil du modtage det senest dannede filudtræk. Filudtræk dannes om søndagen og vil senest blive leveret mandag tidlig morgen.

Du kan læse under den registerspecifikke dokumentation, hvad opdateringstiden er for den enkelte tjeneste.

Kopiregister

Prædefineret filudtræk er en fordel for de anvendere, der skal opbygge en kopi. I det tilfælde er der behov for et etableringsudtræk i form af et totaludtræk efterfulgt af daglige opdateringer. Der dannes én gang ugentligt et totaludtræk. Sideløbende vil der dagligt dannes deltaudtræk, hvilket også omfatter de dage der generes totaludtræk.

Skal du opbygge en kopi, skal du både oprette et abonnement på de tjenester, der hedder Complete, samt de tjenester der hedder DeltaDaily. For at opbygge en kopi skal du oprette abonnement på delta først. Dernæst skal du oprette abonnement på complete, som er tilgængelig hver mandag. For at få en fuld kopi skal du kombinere data i deltafilen fra søndag med totaludtrækket og deltafilen for mandag.

Hvis du kun ønsker at modtage et totaludtræk én gang, skal du slette abonnementet efter du har modtaget den første fil.

Når du skal behandle data, skal du sortere på registreringstid frem for Datafordeler tidsstempel (DAFTimestamp).

Ønsker du at benytte deltaudtræk til at modtage ændringer skal du som minimum undersøge om filudtrækket indeholder fuld historik (både virknings- og registreringstid), da de aktuelle filudtræk kun leverer gældende data og det gælder også for deltaudtræk. Ændringer, som træder i kraft i fremtiden, vil ikke blive inkluderet i udtrækket på et senere tidspunkt, da deltaudtræk kun vil inkludere ændringer, der er modtaget siden sidst. Det er vigtigt, at du benytter et filudtræk med fuld historik, hvis du ønsker at modtage alle ændringer via deltaudtræk og det er en forudsætning, at registret bevarer fuld dobbelthistorik, når der sendes opdateringer til Datafordeleren. Vi anbefaler, at du derfor undersøger hvorledes det enkelte register har implementeret bitemporalitet på Datafordeleren. Du kan med fordel starte med Datafordeleren - introduktion til bitemporalitet og læse mere i Datafordeleren - guide til kopiregistre 

Navngivning af prædefineret filudtræk

Normalt er filen, som bliver genereret, baseret på abonnementsnavnet. Det er ikke tilfældet for prædefineret filudtræk. For prædefineret filudtræk er filnavnet givet af systemet og ikke baseret på abonnementsnavnet, som andre typer af filudtræk.

Abonnementsnavn DARDailyJSON-v01, som er et prædefineret udtræk af en fil DAR_Totaludtraek_DeltaDaily_JSON, vil resulterer i en fil, som hedder DAR_Totaludtraek_DeltaDaily_JSON_20191024210021.zip

I det første prædefineret udtræk refererer tidspunktet i filnavnet til det tidspunkt, hvor dit abonnement er blevet oprettet. I de efterfølgende leverancer vil tidspunktet i navngivningen referere til det tidspunkt, hvor udtrækket er blevet dannet.

Since Previous og de prædefineret filudtræk

Since Previous er altid sat for prædefineret daglige filudtræk. Det har derfor ingen betydning for udtrækket, at man fjerner fluebenet i sit abonnement.

Indholdet i leverance er fra det senest dannede filudtræk. Det vil sige, at indholdet i deltafilen altid vil indeholde alle opdateringer siden sidste deltaopdatering blev dannet.

Bemærk, at du ikke modtager automatisk vil modtage alle ændringer blot ved at benytte SincePrevious på et givent filudtræk. De prædefineret filudtræk er defineret på baggrund af en række parametre og falder en ændring uden for en af disse parametre vil ændringen ikke komme med i deltaudtrækket.

Tidsparametre på ejendoms- og adresseområdet

Nedenstående tabel giver et overblik over tidsparametre for de prædefineret filudtræk på ejendoms- og adresseområdet. 

Indholdet i de de prædefineret filudtræk bliver forklaret nærmere i dokumentationen for de enkelte filudtræk - klik på linket på tjenesten for at læse beskrivelserne.

Brugerdefineret filudtræk

I et brugerdefineret udtræk er der mulighed for at angive en række parametre (eksempelvis geografisk udstrækning, format, projektion, registreringstid med mere). Udtrækslogikken og formater af data vil være specificeret på forhånd af registret.

For brugerdefineret udtræk er det muligt at downloade enkelte udtræk ad hoc eller opsætte et fast abonnement på et filudtræk. Du modtager en e-mail, når Datafordeleren har genereret nye filer på dit abonnement eller når dit ad hoc udtræk er færdigt. E-mailen bliver sendt til din webbruger. 

Brugerdefineret filudtræk placeres på en FTP-server, og du kan hente dem via den FTP-klient, du har har valgt med brugernavn og adgangskode. Hvis data er følsomme skal din tjenestebruger være tilknyttet en SSH2-nøgle, og du vil kunne hente filerne med Secure FTP (SFTP). Ønsker du at hente alle data på en SFTP server, skal du oprette alle abonnementer med en tjenestebruger, der er tilknyttet en SSH2-nøgle. Dette gælder også for abonnementer på data der ikke er følsomme eller personhenførbare. 

Deltafiler

For nogle tjenester er det muligt at abonnere på deltafiler ved brug af funktionen "Since Previous". Her vil der kun returneres data, som har en Datafordeler-registreringstid lig med eller senere end det tidspunkt, hvor det samme filudtræk senest er genereret til den pågældende abonnent. Det vil sige, at der i abonnementet fremsøges data, som er opdateret på Datafordeleren siden den foregående generering af det tilsvarende filudtræk på samme abonnement. Der vil altid blive dannet en fil, også selvom der ikke har været opdateringer i registeret i perioden, i så fald vil filen være tom.

Tidsstemplet for seneste udtræk, vises som metadata for abonnementet i Selvbetjeningen. Deltafiler vælges ved en checkboks med "Since Previous" i Selvbetjeningen. 

Bemærk, at du skal indlæse et fuldt deltaudtræk som en samlet opdatering for at bevare dataintegritet. Læs mere om Deltaudtræk og dataintegritet.

DataSync

DataSync er et værktøj til at sikre, at egne GIS-data løbende bliver opdateret i forhold til centralt registrerede data.

Læs mere om DataSync på GeoSites hjemmeside.

Septima Databox

Septima Databox giver dig en lokal og ajourført database med registerdata og GIS-data fra Datafordeleren i dit eget miljø

Læs mere om Septima Databox på Septimas hjemmeside.