Filudtræk på Datafordeleren

Denne side beskriver adgangen til og den tekniske distribution af filudtræk, som er gældende for alle registre på Datafordeleren, der udstiller data med filudtræk.

Filudtræk giver brugeren mulighed for at downloade data fra Datafordeleren. Det er den enkelte registermyndighed, der beslutter, hvilke data myndigheden stiller til rådighed som filudtræk.

• For oplysninger om hvilke filudtræk og data, der er tilgængelige på Datafordeleren, brug Dataoversigten. Tjenesterne er beskrevet i dokumentationen for registrenes tjenester.  
  
  
• Se Vilkår for anvendelse for de enkelte registre på Datafordeler.dk
  
  
• Beskrivelsen af filudtræk forudsætter et kendskab til brugeroprettelse og adgangstyring på Datafordeleren.
  Generelt gælder det for filudtræk, at de fleste filudtræk kan tilgås af tjenestebrugere, som er oprettet med brugernavn/adgangskode.
  Filudtræk med følsomme data kan kun tilgås af tjenestebrugere, som er oprettet med SSH2-nøgle.
  
  
• Få en guide til at downloade og opsætte abonnementer på filudtræk i Selvbetjeningen i Guide til filudtræk på Selvbetjeningen 

Tidsparametre

Registreringstid

Alle forekomster registreres i databasen med en registreringstid, bestående af to tidsstempler - et fra-timestamp og et til-timestamp. Fra-timestamp er inklusiv, og til-timestamp er eksklusiv.

Registreringstiden er tidsrummet fra versionen registreres til den enten erstattes af en nyere version eller afregistreres (logisk slettes). Registreringstiden er således fortløbende for et givent forretningsobjekt.

Der kan over tid eksistere flere forekomster med samme identifikation, virkningstid og objektstatus. Her vil registreringstid afgøre, hvilken der er/var gældende på et givet tidspunkt.

Virkningstid

Alle forekomster registreres i databasen med en virkningstid bestående af to tidsstempler - et fra- timestamp og et til-timestamp. Fra-timestamp er inklusiv, og til-timestamp er eksklusiv.

Virkningstid kan oprettes i fortiden, nutiden eller fremtiden.

Der skal kun være én gældende virkningstid for en given objektstatus på et givet tidspunkt.

Virkningstid må ikke være overlappende for samme registreringstid og objektstatus.

Datafordeler timestamp

For nogle tjenester er det muligt at angive DAFTimestampFra og DAFTimestampTil.

Datafordeler timestamp er et tidsparameter for, hvornår data er indlæst eller opdateret på Datafordeleren modsat fx. RegistreringTil der er et tidsparameter for hvornår data er registreret i et register.

Parametrene er klokkeslæt ud fra formen ”hh:mm:{ss}.{ssssss}Z|+hh:mm”, hvor sekunder og millisekunder kan udelades.

Datafordeler timestamp anvendes til at fremsøge ændringer siden et givet tidspunkt, for eksempel til opdatering af kopi-registre eller som kontrol af, at alle relevante hændelser er håndteret korrekt. Bemærk, at Datafordeler timestamp kan ikke bruges til at håndtere bitemporalitet. 

Prædefineret filudtræk

Ved prædefinerede filudtrækstjenester er udtrækket generet på forhånd, og specificeringen af udtrækket er givet på forhånd. Der kan hentes data i på forhånd genererede filudtræk, som produceres og udstilles efter et givent interval fastsat af registermyndigheden fx ugentligt eller kvartalsvis. Filformater vil være et eller flere af de mulige formater (XML, JSON, GIS formater). For geodata vil der desuden være valgt projektion på forhånd. 

Fordelen ved prædefinerede filudtræk er, at udtrækkene kun skal dannes én gang, hvilket nedsætter procestiden for en bruger. Tiden det tager at få et udtræk er derfor kun, den tid det tager for brugerens system at hente filen.

For de tjenester der kan tilgås uden brugeroprettelse, er det ikke muligt at abonnere på prædefinerede filudtræk, i stedet kan man ”abonnere” på feeds ved hjælp af en browser eller feedreader. I Dataoversigten på Datafordelerens hjemmeside vises Atom feedet for det anonyme filudtræk, hvor det er muligt at se informationer om placeringen af filudtrækket. Det er ikke muligt at downloade denne type filudtræk direkte fra Selvbetjeningen. 

Prædefinerede filudtræk der er frit tilgængelige uden brugeroprettelse kan hentes i en fælles FTP folder eller via HTTP.

Særligt for udtrækkene af typen Complete og DeltaDaily

For en række udvalgte tjenester har Datafordeleren lavet en række prædefinerede tjenester, hvor et ugentlig totaludtræk kan kombineres med daglige ændringer. Udtræk leveres i ét standardudtræk, som er tilgængeligt på samme tidspunkt, som det er muligt at abonnere på.

Der er tale om tjenester på ejendoms- og adresseområdet, som har særlig høj anvendelse. Det er samtidig nogle tjenester, hvor det forventes at mange brugere vil have samme anvendelsesmønster.

Følgende registre er omfattet:

• Bygnings- og Boligregistret (BBR)
• Danmarks Adresseregister (DAR)
• Ejendomsbeliggenhedsregistret (EBR)
• Ejendomsvurdering (VUR)
• Ejerfortegnelsen (EJF)
• Matriklen (MAT)

Der er derfor oprettet to typer prædefinerede filudtræk: Complete og DeltaDaily. Ved Complete får du ugentligt et fuldt totaludtræk af registeret, og ved DeltaDaily modtager du daglige opdateringer.

Indholdet i opdateringerne afhænger af hvilket filudtræk du vælger. Bemærk, at de filudtræk, som indeholder aktuelle filudtræk for eksempel kun leverer gældende data og det gælder også for de tilknyttede deltaudtræk og at du skal indlæse et fuldt deltaudtræk som en samlet opdatering for at bevare dataintegritet. Læs mere om Deltaudtræk og dataintegritet.

Hvad indeholder leverancen i et abonnement på et prædefineret filudtræk?

Når du har oprettet et abonnement på et prædefineret filudtræk, vil du med det samme modtage det senest oprettede filudtræk. Er det prædefineret filudtræk ikke tidligere blevet dannet, vil du modtage det, når det er blevet dannet af systemet.

Vælger du fx at tegne et abonnement på et ugentlig filudtræk om onsdagen, vil du modtage det senest dannede filudtræk. Filudtræk dannes om søndagen og vil senest blive leveret mandag tidlig morgen.

Du kan læse under den registerspecifikke dokumentation, hvad opdateringstiden er for den enkelte tjeneste.

Opbygge kopi

Prædefinerede filudtræk er en fordel for fx de brugere, der skal opbygge en kopi. I det tilfælde er der behov for et etableringsudtræk i form af et totaludtræk efterfulgt af daglige opdateringer. Der dannes én gang ugentligt et totaludtræk. Sideløbende vil der dagligt dannes deltaudtræk, hvilket også omfatter de dage der generes totaludtræk.

Skal du opbygge en kopi, skal du både oprette et abonnement på de tjenester, der hedder Complete, samt de tjenester der hedder DeltaDaily. For at opbygge en kopi skal du oprette abonnement på delta først. Dernæst skal du oprette abonnement på complete, som er tilgængelig hver mandag. For at få en fuld kopi skal du kombinere data i deltafilen fra søndag med totaludtrækket og deltafilen for mandag.

Hvis du kun ønsker at modtage et totaludtræk én gang, skal du slette abonnementet efter du har modtaget den første fil.

Når du skal behandle data, skal du sortere på registreringstid frem for datafordeler timestamp (DAFTimestamp).

Ønsker du at benytte deltaudtræk til at modtage ændringer skal du som minimum undersøge om filudtrækket indeholder fuld historik (både virknings- og registreringstid), da de aktuelle filudtræk kun leverer gældende data og det gælder også for deltaudtræk. Ændringer, som træder i kraft i fremtiden, vil ikke blive inkluderet i udtrækket på et senere tidspunkt, da deltaudtræk kun vil inkludere ændringer, der er modtaget siden sidst. Det er vigtigt, at du benytter et filudtræk med fuld historik, hvis du ønsker at modtage alle ændringer via deltaudtræk og det er en forudsætning, at registret bevarer fuld dobbelthistorik, når der sendes opdateringer til Datafordeleren.

Vi anbefaler, at du derfor undersøger hvorledes det enkelte register har implementeret bitemporalitet på Datafordeleren. Du kan med fordel starte med Datafordeleren - introduktion til bitemporalitet og læse mere i Datafordeleren - guide til kopiregistre 

Navngivning af prædefinerede filudtræk

Normalt er filen, som bliver genereret, baseret på abonnementsnavnet. Det er ikke tilfældet for prædefinerede filudtræk. For prædefinerede filudtræk er filnavnet givet af systemet og ikke baseret på abonnementsnavnet, som andre typer af filudtræk.

Abonnementsnavn DARDailyJSON-v01, som er et prædefineret udtræk af en fil DAR_Totaludtraek_DeltaDaily_JSON, vil resulterer i en fil, som hedder DAR_Totaludtraek_DeltaDaily_JSON_20191024210021.zip

I det første prædefinerede udtræk refererer tidspunktet i filnavnet til det tidspunkt, hvor dit abonnement er blevet oprettet. I de efterfølgende leverancer vil tidspunktet i navngivningen referere til det tidspunkt, hvor udtrækket er blevet dannet.

Since Previous og de prædefinerede filudtræk

Since Previous er altid sat for prædefinerede daglige filudtræk. Det har derfor ingen betydning for udtrækket, at man fjerner fluebenet i sit abonnement.

Indholdet i leverance er fra det senest dannede filudtræk. Det vil sige, at indholdet i deltafilen altid vil indeholde alle opdateringer siden sidste deltaopdatering blev dannet.Bemærk, at du ikke modtager automatisk vil modtage alle ændringer blot ved at benytte SincePrevious på et givent filudtræk. De prædefinerede filudtræk er defineret på baggrund af en række parametre og falder en ændring uden for en af disse parametre vil ændringen ikke komme med i deltaudtrækket.

Bemærk, at du ikke modtager automatisk vil modtage alle ændringer blot ved at benytte SincePrevious på et givent filudtræk. De prædefinerede filudtræk er defineret på baggrund af en række parametre og falder en ændring uden for en af disse parametre vil ændringen ikke komme med i deltaudtrækket.

Tidsparametre på ejendoms- og adresseområdet for de prædefinerede filudtræk

Nedenstående tabel giver et overblik over tidsparametre for de prædefinerede filudtræk på ejendoms- og adresseområdet. 

Indholdet i de de prædefinerede filudtræk bliver forklaret nærmere i dokumentationen for de enkelte filudtræk - klik på linket på tjenesten for at læse beskrivelserne.

Brugerdefineret filudtræk

I et brugerdefineret udtræk er der mulighed for at angive en række parametre (eksempelvis geografisk udstrækning, format, projektion, registreringstid med mere). Udtrækslogikken og formater af data vil være specificeret på forhånd af registret.

For brugerdefinerede udtræk er det muligt at downloade enkelte udtræk ad hoc eller opsætte et fast abonnement på et filudtræk. Du modtager en e-mail, når Datafordeleren har genereret nye filer på dit abonnement eller når dit ad hoc udtræk er færdigt. E-mailen bliver sendt til din webbruger. 

Brugerdefinerede filudtræk placeres på en FTP-server, og du kan hente dem via den FTP-klient, du har har valgt med brugernavn og adgangskode. Hvis data er følsomme skal din tjenestebruger være tilknyttet en SSH2-nøgle, og du vil kunne hente filerne med Secure FTP (SFTP) .

Ønsker du at hente alle data på en SFTP server, skal du oprette alle abonnementer med en tjenestebruger, der er tilknyttet en SSH2-nøgle. Dette gælder også for abonnementer på data der ikke er følsomme eller personhenførbare. 

Deltafiler

For nogle tjenester er det muligt at abonnere på deltafiler ved brug af funktionen "Since Previous". Her vil der kun returneres data, som har en Datafordeler-registreringstid lig med eller senere end det tidspunkt, hvor det samme filudtræk senest er genereret til den pågældende abonnent. Det vil sige, at der i abonnementet fremsøges data, som er opdateret på Datafordeleren siden den foregående generering af det tilsvarende filudtræk på samme abonnement. Der vil altid blive dannet en fil, også selvom der ikke har været opdateringer i registeret i perioden, i så fald vil filen være tom.

Tidsstemplet for seneste udtræk, vises som metadata for abonnementet i Selvbetjeningen. Deltafiler vælges ved en checkboks med "Since Previous" i Selvbetjeningen. 

Bemærk, at du skal indlæse et fuldt deltaudtræk som en samlet opdatering for at bevare dataintegritet. Læs mere om Deltaudtræk og dataintegritet.

Skedulering af filudtræk

Der er mulighed for at bestemme, hvornår et filudtræk ønskes eksekveret, ved at angive dag og klokkeslet for fremstillingen. Skeduleringen angives ved oprettelse af ad hoc udtræk eller abonnement.

Endpoint, folder og filplacering

Nedenstående tabel angiver foldernavn/placering og http(s) url for de forskellige filudtrækstyper:

Connectivity til FTP folderen kan først opnås når tjenestebrugeren har oprettet et abonnement på et filudtræk, da folderen først oprettes i det øjeblik der genereres et filudtræk.

Læs mere om hvordan du henter dit filudtræk via din FTP-client i afsnittet Hent filudtræk  på siden Guide til Filudtræk på Datafordeleren.

Folderstruktur

På FTP-klient bliver dine filudtræk fra Datafordeleren, som udgangspunkt, udstillet i en zip-fil.

På GeoDanmark Ortofoto er implementeret en funktionalitet, som udstiller indholdet af dit filudtræk i en række mindre zip-filer. Filudtrækket er udstillet i en mappe, som indeholder zip-filer for hver tile. På den måde er det muligt kun at hente de dele af filudtrækket, som du er interesseret i at benytte. Læs mere om filudtræk fra GeoDanmark Ortofoto på siden Filudtræk (GeoDanmark Ortofoto).

Sletning af abonnement

Hvis du ikke har behov for at bruge et aktivt abonnement længere, skal du slette abonnementet i Selvbetjeningen. Abonnementer bliver ikke automatisk slettet.

Metadatafil i FTP/SFTP

Der leveres altid en metadatafil med et filudtræk på FTP/SFTP serveren. 

I tilfælde hvor der ikke er data i filudtrækket, leveres der stadig en udtræksfil samt en metadatafil.

{
	"$schema": "http://json-schema.org/draft-04/schema#",
	"title": "FiludtraekMetadata",
	"description": "Leveranceskema for metadatabeskrivelse for filudtræk v3 04/03/2020",
	"type": "object",
	"required": [
		"leveranceNavn",
		"miljoe",
		"fortroligData",
		"dataOmfattetAfPersondataloven",
		"DatafordelerUdtraekstidspunkt",
		"tilgaengelighedsperiode",
		"AbonnementsOplysninger",
		"BrugerUdfyldteParametre"
	],
	"properties": {
		"leveranceNavn":{
			"title":"leveranceNavn",
			"type":"string"
		},
		"miljoe":{
			"title":"miljoe",
			"type":"string"
		},
		"fortroligData":{
			"title":"fortroligData",
			"type":"string",
			"enum":["Ja", "Nej"]
		},
		"dataOmfattetAfPersondataloven":{
			"title":"dataOmfattetAfPersondataloven",
			"type":"string",
			"enum":["Ja", "Nej"]
		},
		"MD5CheckSum":{
			"title":"MD5CheckSum",
			"type":"string"
		},
		"DatafordelerUdtraekstidspunkt": {
			"type": "array",
			"items": {
				"type": "object",
				"required": [
					"deltavindueSlut"
				],
				"properties": {
					"deltavindueStart": {
						"title": "deltavindueStart",
						"description": "UTC timestamp",
						"type": "string",
						"format": "date-time"
					},
					"deltavindueSlut": {
						"title": "deltavindueSlut",
						"description": "UTC timestamp",
						"type": "string",
						"format": "date-time"
					}
				},
				"additionalProperties": false
			}, "maxItems": 1
		},
		"tilgaengelighedsperiode":{
			"title":"tilgaengelighedsperiode",
			"type":"integer"
		},
		"AbonnementsOplysninger": {
			"type": "array",
			"items": {
				"type": "object",
				"required": [
					"webBrugernavn",
					"tjenesteBrugernavn",
					"abonnementnavn",
					"tjenestenavn",
					"tjenesteversion",
					"oprettelsesdato",
					"senesteAbonnementRedigeringsdato",
					"gentagelsesinterval"
				],
				"properties": {
					"webBrugernavn": {
						"title": "webBrugernavn",
						"type": "string"
					},
					"tjenesteBrugernavn": {
						"title": "tjenesteBrugernavn",
						"type": "string"
					},
					"abonnementnavn": {
						"title": "abonnementnavn",
						"type": "string"
					},
					"tjenestenavn": {
						"title": "tjenestenavn",
						"type": "string"
					},
					"tjenesteversion": {
						"title": "tjenesteversion",
						"type": "string"
					},
					"oprettelsesdato": {
						"title": "oprettelsesdato",
						"description": "UTC timestamp",
						"type": "string",
						"format": "date-time"
					},
					"senesteAbonnementRedigeringsdato": {
						"title": "senesteAbonnementRedigeringsdato",
						"description": "UTC timestamp",
						"type": "string",
						"format": "date-time"
					},
					"gentagelsesinterval": {
						"title": "gentagelsesinterval",
						"type": "string",
						"enum":["Adhoc", "Dagligt", "Ugentligt", "Månedligt", "Årligt"]
					}
				},
				"additionalProperties": false
			},
			"maxItems": 1
		},
		"BrugerUdfyldteParametre": {
			"type": "array",
			"items": {
				"type": "object",
				"required": ["parameternavn", "parametervaerdi"],
				"properties": {
					"parameternavn":{
						"title":"parameternavn",
						"type":"string"
					},
					"parametervaerdi":{
						"title":"parametervaerdi",
						"type":"string"
					},
					"parametertype":{
						"title":"parametertype",
						"type":"string",
						"enum":["string", "date-time", "integer", "number", "object", "array", "null"]
					}
				},
				"additionalProperties": false
			}
		}
	},
	"additionalProperties": false
}

Åbn skema for metadatafilen i en browser

Vær opmærksom på, at metadatafilen for de prædefinerede filudtræk ikke er opbygget på samme måde, som de brugerdefinerede filudtræk på følgende parametre.

• Leverancenavn er systemgenereret
• Abonnementsoplysninger er systemgenereret

{
"leveranceNavn":"DAR_Totaludtraek_DeltaDaily_JSON_20200526210000.json",
"miljoe":"PROD01",
"fortroligData":"Nej",
"dataOmfattetAfPersondataloven":"Nej",
"MD5CheckSum":"256acc117d7c9812992ad9a44cdc05ad",
"DatafordelerUdtraekstidspunkt": [
{
"deltavindueStart":"2020-05-25T21:00:21.323+02:00",
"deltavindueSlut":"2020-05-26T21:00:00.412+02:00"}],
"tilgaengelighedsperiode":30,
"AbonnementsOplysninger": [
{
"webBrugernavn":"PREDEFINED",
"tjenesteBrugernavn":"PREDEFINED",
"abonnementnavn":"DAR Totaludtraek DeltaDaily JSON",
"tjenestenavn":"DAR-Totaludtraek",
"tjenesteversion":"1.0.1",
"oprettelsesdato":"2019-10-23T15:48:16.924+02:00",
"senesteAbonnementRedigeringsdato":"2019-10-23T15:48:16.924+02:00",
"gentagelsesinterval":"Dagligt"}],
"BrugerUdfyldteParametre": [
{
"parameternavn":"Status",
"parametervaerdi":"NULL"},
{
"parameternavn":"DAFTimestampTil",
"parametervaerdi":"2020-05-26T21:00:00.412+02:00"},
{
"parameternavn":"executionTimestamp",
"parametervaerdi":"2020-05-26T21:00:00.412+02:00"},
{
"parameternavn":"VirkningFra",
"parametervaerdi":"NULL"},
{
"parameternavn":"RegistreringFra",
"parametervaerdi":"NULL"},
{
"parameternavn":"VirkningTil",
"parametervaerdi":"NULL"},
{
"parameternavn":"SincePrevious",
"parametervaerdi":"true"},
{
"parameternavn":"DAFTimestampFra",
"parametervaerdi":"NULL"},
{
"parameternavn":"output_format",
"parametervaerdi":"json"},
{
"parameternavn":"RegistreringTil",
"parametervaerdi":"NULL"},
{
"parameternavn":"lastExecutedTimestamp",
"parametervaerdi":"2020-05-25T21:00:21.323+02:00"}]}

Åbn eksempel på struktur for metadataskema for prædefineret filudtræk i en browser

{
"leveranceNavn":"EJFtotal_regtid_kah_20200526210500.json",
"miljoe":"PROD01",
"fortroligData":"Ja",
"dataOmfattetAfPersondataloven":"Nej",
"MD5CheckSum":"3b7a5237abc602cdb4f2c21c6c956197",
"DatafordelerUdtraekstidspunkt": [
{
"deltavindueStart":"2020-05-25T21:05:00.341+02:00",
"deltavindueSlut":"2020-05-26T21:05:00.784+02:00"}],
"tilgaengelighedsperiode":30,
"AbonnementsOplysninger": [
{
"webBrugernavn":"xxxx",
"tjenesteBrugernavn":"IESZEITSDY",
"abonnementnavn":"EJFtotal_regtid_kah",
"tjenestenavn":"EJFTotalUdtraekFlad",
"tjenesteversion":"1.0.1",
"oprettelsesdato":"2019-07-02T15:17:57.058+02:00",
"senesteAbonnementRedigeringsdato":"2019-07-02T15:17:57.058+02:00",
"gentagelsesinterval":"Dagligt"}],
"BrugerUdfyldteParametre": [
{
"parameternavn":"Status",
"parametervaerdi":"NULL"},
{
"parameternavn":"DAFTimestampTil",
"parametervaerdi":"2020-05-26T21:05:00.784+02:00"},
{
"parameternavn":"Virkningstid",
"parametervaerdi":"NULL"},
{
"parameternavn":"Registreringstid",
"parametervaerdi":"Null"},
{
"parameternavn":"RegistreringstidTil",
"parametervaerdi":"NOW()"},
{
"parameternavn":"executionTimestamp",
"parametervaerdi":"2020-05-26T21:05:00.784+02:00"},
{
"parameternavn":"output_format",
"parametervaerdi":"JSON"},
{
"parameternavn":"VirkningstidFra",
"parametervaerdi":"0001-01-01T00:00:00.000+00:00"},
{
"parameternavn":"SincePrevious",
"parametervaerdi":"true"},
{
"parameternavn":"RegistreringstidFra",
"parametervaerdi":"2019-04-01T00:00:00.000+02:00"},
{
"parameternavn":"VirkningstidTil",
"parametervaerdi":"NOW()"},
{
"parameternavn":"DAFTimestampFra",
"parametervaerdi":"NULL"},
{
"parameternavn":"lastExecutedTimestamp",
"parametervaerdi":"2020-05-25T21:05:00.341+02:00"}]}
 

Åbn eksempel på struktur for metadataskema for brugerdefineret filudtræk i en browser

DataSync

DataSync er et værktøj til at sikre, at egne GIS-data løbende bliver opdateret i forhold til centralt registrerede data.

Læs mere om DataSync på GeoSites hjemmeside.

Septima Databox

Septima Databox giver dig en lokal og ajourført database med registerdata og GIS-data fra Datafordeleren i dit eget miljø

Læs mere om Septima Databox på Septimas hjemmeside.