Display Metadata | ||
---|---|---|
|
Anchor | ||||
---|---|---|---|---|
|
Denne side beskriver adgangen til og den tekniske distribution af filudtræk, som er gældende for alle registre på Datafordeleren, der udstiller data med filudtræk.
Denne side tager sit udgangspunkt i ejendoms- og adresseområdet. Vi anbefaler, at du tilgår den registerspecifikke dokumentation om filudtræk, hvis du ønsker yderligere informationer om filudtræk fra Danmarks Højdemodel (DHM), GeoDanmark Ortofoto, GeoDanmark Vektor og Skærmkortet.
Table of Contents |
---|
Om filudtræk
Filudtræk giver
dig mulighed for at downloade data fra Datafordeleren. Det er den enkelte registermyndighed, der beslutter, hvilke data myndigheden stiller til rådighed som filudtræk.
For oplysninger om hvilke filudtræk og data, der er tilgængelige på Datafordeleren, brug Dataoversigten. Tjenesterne er beskrevet i dokumentationen for registrenes tjenester.
Se Vilkår for anvendelse for de enkelte registre på Datafordeler.dk
Beskrivelsen af filudtræk forudsætter et kendskab til brugeroprettelse og adgangstyring på Datafordeleren.
Generelt gælder det for filudtræk, at de fleste filudtræk kan tilgås af tjenestebrugere, som er oprettet med brugernavn/adgangskode.
Filudtræk
med følsomme data kan kun tilgås af tjenestebrugere, som er oprettet med SSH2-nøgle. Du kan på siden Brugeradgang - Oversigtfå et overblik over hvilke filudtræk, som kræver en SSH2-nøgle.
Få en guide til at downloade og opsætte abonnementer på filudtræk fra Dataoversigten i
Datafordeleren, eller i Selvbetjeningen i Guide til filudtræk på Selvbetjeningen
Table of Contents |
---|
Særligt for udtrækkene af typen Complete og DeltaDaily
For en række udvalgte tjenester har Datafordeleren lavet en række prædefinerede tjenester hvor et ugentlig totaludtræk kan kombineres med daglige ændringer. Udtræk leveres i én standardversion, som er tilgængeligt på det samme tidspunkt på dagen, som det er muligt at abonnere på.
Der er tale om tjenester på ejendoms og adresseområdet, som har særlig høj anvendelse. Det er samtidig nogle tjenester hvor det forventes at mange brugere vil have samme anvendelsesmønster.
Følgende registre er omfattet:
- DAR
- Matriklen
- EBR
- EJF
- VUR
- BBR
Der er derfor oprettet to typer prædefinerede filudtræk: Complete og DeltaDaily. Ved Complete får du ugentligt et fuldt totaludtræk af registeret og ved DeltaDaily modtager du daglige opdateringer.
Hvad indeholder leverancen i et abonnement på et prædefineret filudtræk?
Når du har oprettet et abonnement på et prædefineret filudtræk vil du med det samme modtage det senest oprettede filudtræk. Er det prædefineret filudtræk ikke tidligere blevet dannet vil du modtage det, når det er blevet dannet af systemet.
Vælger du fx at tegne et abonnement på et ugentlig filudtræk om onsdagen vil du modtage det senest dannede filudtræk, som er blevet dannet om søndagen og vil den efterfølgende søndag modtaget et opdateret filudtræk.
Du kan læse under den registerspecifikke dokumentation, hvad opdateringstiden er for den enkelte tjeneste.
Opbygge kopi
Prædefinerede filudtræk er en fordel for fx de brugere, der skal opbygge en kopi. I det tilfælde er der behov for et etableringsudtræk i form af et totaludtræk efterfulgt af daglige opdateringer. Der dannes én gang ugentligt et totaludtræk. Sideløbende vil der dagligt dannes deltaudtræk, hvilket også omfatter de dage der generes totaludtræk.
Skal du opbygge en kopi, skal du både oprette et abonnement på de tjenester der hedder Complete samt de tjenester der hedder DeltaDaily. For at opbygge en kopi skal du oprette abonnement på delta først. Dernæst skal du oprette abonnement på complete, som er tilgængelig hver mandag. For at få en fuld kopi skal du kombinere data i deltafilen fra søndag, med totaludtrækket og deltafilen for mandag.
Hvis du kun ønsker at modtage et totaludtræk én gang, skal du slette abonnementet efter du har modtaget den første fil.
Når du skal behandle data skal du sortere på registreringstid frem for datafordeler timestamp (DAFTimestamp).
Navngivning af prædefinerede filudtræk
Normalt er filen, som bliver genereret, baseret på abonnementsnavnet. Det er ikke tilfældet for prædefinerede filudtræk. For prædefinerede filudtræk er filnavnet givet af systemet og ikke baseret på abonnementsnavnet, som andre typer af filudtræk.
Abonnementsnavn DARDailyJSON-v01, som er et prædefineret udtræk af en fil DAR_Totaludtraek_DeltaDaily_JSON, vil resulterer i en fil, som hedder DAR_Totaludtraek_DeltaDaily_JSON_20191024210021.zip
I det første prædefinerede udtræk refererer tidspunktet i filnavnet til det tidspunkt, hvor dit abonnement er blevet oprettet. I de efterfølgende leverancer vil tidspunktet i navngivningen referere til det tidspunkt, hvor udtrækket er blevet dannet.
Since Previous og de prædefinerede filudtræk
Since Previous er altid sat for prædefinerede daglige filudtræk. Det har derfor ingen betydning for udtrækket at man fjerne fluebenet i sit abonnement.
Indholdet i leverance er fra det senest dannede filudtræk. Det vil sige, at indholdet i deltafilen altid vil indeholde alle opdateringer siden sidste deltaopdatering blev dannet.
Datafordeler timestamp
For nogle tjenester er det muligt at angive DAFTimestampFra og DAFTimestampTil.
Datafordeler timestamp er et tidsparameter for, hvornår data er indlæst eller opdateret på Datafordeleren modsat fx. RegistreringTil der er et tidsparameter for hvornår data er registreret i et register.
Parametrene er klokkeslæt ud fra formen ”hh:mm:{ss}.{ssssss}Z|+hh:mm”, hvor sekunder og millisekunder kan udelades.
Deltafiler
For nogle tjenester er det muligt at abonnere på deltafiler ved brug af funktionen "Since Previous". Her vil der kun returneres data, som har en Datafordeler-registreringstid lig med eller senere end det tidspunkt, hvor det samme filudtræk senest er genereret til den pågældende abonnent. Det vil sige, at der i abonnementet fremsøges data, som er opdateret på Datafordeleren siden den foregående generering af det tilsvarende filudtræk på samme abonnement. Der vil altid blive dannet en fil, også selvom der ikke har været opdateringer i registeret i perioden, i så fald vil filen være tom.
Tidsstemplet for seneste udtræk, vises som metadata for abonnementet i Selvbetjeningen.
Deltafiler vælges ved en checkboks med "Since Previous" i Selvbetjeningen.
Skedulering af filudtræk
Der er mulighed for at bestemme, hvornår et filudtræk ønskes eksekveret, ved at angive dag og klokkeslet for fremstillingen. Skeduleringen angives ved oprettelse af ad hoc udtræk eller abonnement.
Endpoint, folder og filplacering
Nedenstående tabel angiver foldernavn/placering og http(s) url for de forskellige filudtrækstyper:
Placering af abonnements-baserede filudtræk for kendte adgang og godkendt adgang i zone 0
Connectivity til FTP folderen kan først opnås når tjenestebrugeren har oprettet et abonnement på et filudtræk, da folderen først oprettes i det øjeblik der genereres et filudtræk.
Sletning af abonnement
Hvis du ikke har behov for at bruge et aktivt abonnement længere, skal du slette abonnementet i Selvbetjeningen. Abonnementer bliver ikke automatisk slettet.
Metadatafil i FTP/SFTP
Der leveres altid en metadatafil med et filudtræk på FTP/SFTP serveren.
I tilfælde hvor der ikke er data i filudtrækket, leveres der stadig en udtræksfil samt en metadatafil.
Vær opmærksom på, at metadatafilen for de prædefinerede filudtræk ikke er opbygget på samme måde, som de brugerdefinerede filudtræk på følgende parametre.
- Leverancenavn er systemgenereret
- Abonnementsoplysninger er systemgenereret
Code Block | ||||
---|---|---|---|---|
| ||||
{
"leveranceNavn":"DAR_Totaludtraek_DeltaDaily_JSON_20191029210001.json",
"miljoe":"PROD01",
"fortroligData":"Nej",
"dataOmfattetAfPersondataloven":"Nej",
"MD5CheckSum":"9b5200c03a65d72b40c28d9f91a6d7c2",
"DatafordelerUdtraekstidspunkt": [
{
"deltavindueStart":"2019-10-28T21:00:00.867+01:00",
"deltavindueSlut":"2019-10-29T21:00:01.068+01:00"}],
"tilgaengelighedsperiode":30,
"AbonnementsOplysninger": [
{
"webBrugernavn":"PREDEFINED",
"tjenesteBrugernavn":"PREDEFINED",
"abonnementnavn":"DAR Totaludtraek DeltaDaily JSON",
"tjenestenavn":"DAR-Totaludtraek",
"tjenesteversion":"1.0.1",
"oprettelsesdato":"2019-10-23T15:48:16.924+02:00",
"senesteAbonnementRedigeringsdato":"2019-10-23T15:48:16.924+02:00",
"gentagelsesinterval":"Dagligt"}],
"BrugerUdfyldteParametre": [
{
"parameternavn":"Status",
"parametervaerdi":"NULL"},
{
"parameternavn":"DAFTimestampTil",
"parametervaerdi":"2019-10-29T21:00:01.068+01:00"},
{
"parameternavn":"executionTimestamp",
"parametervaerdi":"2019-10-29T21:00:01.068+01:00"},
{
"parameternavn":"VirkningFra",
"parametervaerdi":"NULL"},
{
"parameternavn":"RegistreringFra",
"parametervaerdi":"NULL"},
{
"parameternavn":"VirkningTil",
"parametervaerdi":"NULL"},
{
"parameternavn":"SincePrevious",
"parametervaerdi":"true"},
{
"parameternavn":"DAFTimestampFra",
"parametervaerdi":"NULL"},
{
"parameternavn":"output_format",
"parametervaerdi":"json"},
{
"parameternavn":"RegistreringTil",
"parametervaerdi":"NULL"},
{
"parameternavn":"lastExecutedTimestamp",
"parametervaerdi":"2019-10-28T21:00:00.867+01:00"}]} |
Code Block | ||||
---|---|---|---|---|
| ||||
{
"$schema": "http://json-schema.org/draft-04/schema#",
"title": "FiludtraekMetadata",
"description": "Leveranceskema for metadatabeskrivelse for filudtræk",
"type": "object",
"required": [
"leveranceNavn",
"miljoe",
"fortroligData",
"dataOmfattetAfPersondataloven",
"DatafordelerUdtraekstidspunkt",
"tilgaengelighedsperiode",
"AbonnementsOplysninger",
"BrugerUdfyldteParametre"
],
"properties": {
"leveranceNavn":{
"title":"leveranceNavn",
"type":"string"
},
"miljoe":{
"title":"miljoe",
"type":"string"
},
"fortroligData":{
"title":"fortroligData",
"type":"string",
"enum":["Ja", "Nej"]
},
"dataOmfattetAfPersondataloven":{
"title":"dataOmfattetAfPersondataloven",
"type":"string",
"enum":["Ja", "Nej"]
},
"MD5CheckSum":{
"title":"MD5CheckSum",
"type":"string"
},
"DatafordelerUdtraekstidspunkt": {
"type": "array",
"items": {
"type": "object",
"required": [
"deltavindueSlut"
],
"properties": {
"deltavindueStart": {
"title": "deltavindueStart",
"description": "UTC timestamp",
"type": "string",
"pattern": "-?([1-9][0-9]*)?[0-9]{4}-(1[0-2]|0[1-9])-(3[01]|0[1-9]|[12][0-9])T(2[0-3]|[01][0-9]):([0-5][0-9]):([0-5][0-9])(\\.[0-9]{3})?(Z|[+-](2[0-3]|[01][0-9]):[0-5][0-9])"
},
"deltavindueSlut": {
"title": "deltavindueSlut",
"description": "UTC timestamp",
"type": "string",
"pattern": "-?([1-9][0-9]*)?[0-9]{4}-(1[0-2]|0[1-9])-(3[01]|0[1-9]|[12][0-9])T(2[0-3]|[01][0-9]):([0-5][0-9]):([0-5][0-9])(\\.[0-9]{3})?(Z|[+-](2[0-3]|[01][0-9]):[0-5][0-9])"
}
},
"additionalProperties": false
}, "maxItems": 1
},
"tilgaengelighedsperiode":{
"title":"tilgaengelighedsperiode",
"type":"integer"
},
"AbonnementsOplysninger": {
"type": "array",
"items": {
"type": "object",
"required": [
"webBrugernavn",
"tjenesteBrugernavn",
"abonnementnavn",
"tjenestenavn",
"tjenesteversion",
"oprettelsesdato",
"senesteAbonnementRedigeringsdato",
"gentagelsesinterval"
],
"properties": {
"webBrugernavn": {
"title": "webBrugernavn",
"type": "string"
},
"tjenesteBrugernavn": {
"title": "tjenesteBrugernavn",
"type": "string"
},
"abonnementnavn": {
"title": "abonnementnavn",
"type": "string"
},
"tjenestenavn": {
"title": "tjenestenavn",
"type": "string"
},
"tjenesteversion": {
"title": "tjenesteversion",
"type": "string"
},
"oprettelsesdato": {
"title": "oprettelsesdato",
"description": "UTC timestamp",
"type": "string",
"pattern": "-?([1-9][0-9]*)?[0-9]{4}-(1[0-2]|0[1-9])-(3[01]|0[1-9]|[12][0-9])T(2[0-3]|[01][0-9]):([0-5][0-9]):([0-5][0-9])(\\.[0-9]{3})?(Z|[+-](2[0-3]|[01][0-9]):[0-5][0-9])"
},
"senesteAbonnementRedigeringsdato": {
"title": "senesteAbonnementRedigeringsdato",
"description": "UTC timestamp",
"type": "string",
"pattern": "-?([1-9][0-9]*)?[0-9]{4}-(1[0-2]|0[1-9])-(3[01]|0[1-9]|[12][0-9])T(2[0-3]|[01][0-9]):([0-5][0-9]):([0-5][0-9])(\\.[0-9]{3})?(Z|[+-](2[0-3]|[01][0-9]):[0-5][0-9])"
},
"gentagelsesinterval": {
"title": "gentagelsesinterval",
"type": "string",
"enum":["Adhoc", "Dagligt", "Ugentligt", "Månedligt", "Årligt"]
}
},
"additionalProperties": false
},
"maxItems": 1
},
"BrugerUdfyldteParametre": {
"type": "array",
"items": {
"type": "object",
"required": ["parameternavn", "parametervaerdi"],
"properties": {
"parameternavn":{
"title":"parameternavn",
"type":"string"
},
"parametervaerdi":{
"title":"parametervaerdi",
"type":"string"
},
"parametertype":{
"title":"parametertype",
"type":"string",
"enum":["string", "date-time", "integer", "number", "object", "array", "null"]
}
},
"additionalProperties": false
}
}
},
"additionalProperties": false
}
|
Åbn skema for metadatafilen i en browser
Brug af filudtræk
Fordele ved brug af filudtræk
Anvendere af Datafordelerens tjenester kan have forskellige typer af behov for at benytte filudtrækstjenester:
- Nogle anvendere er kun interesserede i virkningstider. De behov imødekommes med aktuelle data – dvs. data, der aktuelt ikke er afregistrerede, og hvis virkningsperiode omfatter den virkningstid, som er angivet i udtræksparametrene.
- Nogle anvendere har behov for også at kunne angive registreringstid – altså at kunne tage på en tidsrejse tilbage i tid og se hvordan data så ud på et specifikt tidspunkt. Det kunne fx være tilfældet hvis en borger klager over en afgørelse, og man ønsker at se hvordan data så ud, da afgørelsen blev truffet.
- Nogle anvendere ønsker at etablere et kopiregister i umiddelbar, netværksmæssig nærhed af de applikationer, der har behov for at foretage opslag i kopiregistrene, og her er filudtræk en fordel.
Anvenderes begrundelse for at etablere kopiregistre kan være svartid (performance) og robusthed (Recilience) over for nedbrud i Datafordeleren eller i forbindelsen hertil. Anvendere som vedligeholder et kopiregister, har brug for at kende information om data, der har ændret sig siden sidste gang de foretog et udtræk til dette kopiregister. Dette inkluderer behov for historik - dvs. summen af alle mulige og virkelighedstro øjebliksbilleder.
Du kan læse mere om kopiregistre i Datafordeleren - guide til kopiregistre.
Info |
---|
Bemærk Risiko for manglende data ved brug af filudtræk I enkelte tilfælde kan du opleve at filudtræk ”mangler” data. Dette kan forekomme, hvis filudtræk fx igangsættes på et tidspunkt, hvor der sker dataopdateringer på Datafordeleren. Risikoen for, at dataopdateringer ikke kommer med i et filudtræk, er størst ved totale filudtræk og for de registre, der har mange enkeltopdateringer i det meste af døgnet. Se mere om frekvensen for registrenes dataopdateringer. Data opdateres løbende på Datafordeleren i takt med, at registrene fremsender data. Opdateringen har et forløb: registret fremsender en ’slettemarkering’, som afregistrerer rækker for et objekt. Dernæst fremsender registret en update- og insert-række. Normalt følger sletning og opdatering af et objekt umiddelbart hinanden, men ved ekstraordinært mange dataopdateringer kan det ske, at den tidsmæssige afstand vokser. Når dannelsen af et filudtræk igangsættes, ”låses” Datafordeleren tidsmæssigt, således at filudtrækket afspejler status på igangsættelsestidspunktet. Derved sikres konsistens i udtrækkets data. Derfor kan det ske at du kan opleve manglende data, på grund af at dannelsen af filudtræk påbegyndes netop i brøkdelen af sekundet mellem objektets sletning og den efterfølgende opdatering. For så vidt muligt at minimere risikoen for manglende data i dit filudtræk anbefales det at bruge prædefineret filudtræk, samt det anbefales så vidt muligt at planlægge dine filudtræk på tidspunkter uden for normal arbejdstid, fx efter kl. 20. Du kan ligeledes orientere dig under Driftsmeddelelser på Datafordeler.dk, om der skulle være varslet ekstraordinært mange dataopdateringer på det tidspunkt du ønsker at igangsætte dit filudtræk. |
Filudtræk | Register | INTERVAL VirkningstidFra - VirkningstidTil | TIDSPUNKT Virkningstid | INTERVAL RegistreringstidFra - RegistreringstidTil | TIDSPUNKT Registreringstid | INTERVAL DAFTimeStampFra - DAFTimeStampTil | INTERVAL AjourføringDatoFra - AjourføingDatoTil | INTERVAL ÆndringDatoFra - ÆndringDatoTil | INTERVAL PeriodeaendringFra -PeriodeaendringTil | TIDSPUNKT KunNyesteIPeriode |
---|---|---|---|---|---|---|---|---|---|---|
BBR Totaludtræk | BBR | NULL - NULL | Ikke muligt | NULL - NULL | Ikke muligt | NULL - NOW() | Ikke muligt | Ikke muligt | NULL - NULL | FALSE |
BBR Aktuelt Totaludtræk | BBR | NOW() - NOW() | Ikke muligt | NOW() - NOW() | Ikke muligt | NULL - NOW() | Ikke muligt | Ikke muligt | NULL - NULL | FALSE |
DAR | NULL - NULL | Ikke muligt | NULL - NULL | Ikke muligt | NULL - NOW() | Ikke muligt | Ikke muligt | Ikke muligt | Ikke muligt | |
DAR Aktuelt Totaludtræk | DAR | NOW() - NOW() | Ikke muligt | NOW() - NOW() | Ikke muligt | NULL - NOW() | Ikke muligt | Ikke muligt | Ikke muligt | Ikke muligt |
EBR | Ikke muligt | NOW() | Ikke muligt | NOW() | NULL - NOW() | Ikke muligt | Ikke muligt | Ikke muligt | Ikke muligt | |
Ejendomsbeliggenhed Simpel | EBR | NULL | NOW() | NULL - NULL | NOW() | NULL - NOW() | Ikke muligt | Ikke muligt | Ikke muligt | Ikke muligt |
Ejendomsbeliggenhed Simpel Hist | EBR | 0001-01-01 - 9999-12-31 | NULL | NULL - NULL | NOW() | NULL - NOW() | Ikke muligt | Ikke muligt | Ikke muligt | Ikke muligt |
Ejendomsvurdering Filudtræk | VUR | Ikke muligt | Ikke muligt | Ikke muligt | Ikke muligt | NULL - NOW() | NULL - NULL | NULL - NULL | Ikke muligt | Ikke muligt |
Ejendomsvurdering Totaludtræk Flad | VUR | Ikke muligt | Ikke muligt | Ikke muligt | Ikke muligt | NULL - NOW() | 0001-01-01 - Now() | 0001-01-01 - 9999-12-31 | Ikke muligt | Ikke muligt |
Ejerfortegnelsen Totaludtræk Flad | EJF | 0001-01-01 - 9999-12-31 | NULL | 0001-01-01 - NOW() | NULL | NULL - NOW() | Ikke muligt | Ikke muligt | Ikke muligt | Ikke muligt |
Ejerfortegnelsen Fortrolig Totaludtræk Flad | EJF | 0001-01-01 - 9999-12-31 | NULL | 0001-01-01 - NOW() | NULL | NULL - NOW() | Ikke muligt | Ikke muligt | Ikke muligt | Ikke muligt |
MAT Totaludtræk | MAT | NULL - NULL | NOW() | NULL - NULL | NOW() | NULL - NOW() | Ikke muligt | Ikke muligt | Ikke muligt | Ikke muligt |
MAT Totaludtræk Hist | MAT | 0001-01-01 - 9999-12-31 | NULL | NULL - NULL | NOW() | NULL - NOW() | Ikke muligt | Ikke muligt | Ikke muligt | Ikke muligt |
MAT2 Totaludtræk | MAT2 | NULL - NULL | NOW() | NULL - NULL | NOW() | NULL - NOW() | Ikke muligt | Ikke muligt | Ikke muligt | Ikke muligt |
MAT2 Totaludtræk Hist | MAT2 | 0001-01-01 - 9999-12-31 | NULL | NULL - NULL | NOW() | NULL - NOW() | Ikke muligt | Ikke muligt | Ikke muligt |
Skedulering af filudtræk
Der er mulighed for at bestemme, hvornår et filudtræk ønskes eksekveret, ved at angive dag og klokkeslæt for fremstillingen. Skeduleringen angives ved oprettelse af ad hoc udtræk eller abonnement.