Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.
Comment: Opbygget efter Anvendelse af filudtræk på Datafordeleren WorkZone 1442-0442

Anchor
Toppen
Toppen

Table of Contents


Introduktion

Denne side beskriver adgangen til og den tekniske distribution af filudtræk, som er gældende for alle registre på Datafordeleren, der udstiller data med filudtræk.

Filudtræk giver brugeren mulighed for at downloade data fra Datafordeleren. Det er den enkelte registermyndighed, der beslutter, hvilke data myndigheden stiller til rådighed som filudtræk.

Denne side beskriver adgangen til og den tekniske distribution af filudtræk, som er gældende for alle registre på Datafordeleren, der udstiller data med filudtræk.


Brugeroprettelse

Det kræver en bruger for at hente størstedelen af filudtrækstjenesterne på Datafordeleren. Derfor er første skridt for at få adgang til filudtræk at oprette en webbruger og en tjenestebruger på Datafordeleren. Find mere information om brugeroprettelse på Datafordelerens hjemmeside

Der er tre adgangstyper på Datafordeler, der afhænger af, hvilke begrænsninger der er til adgangen til data. De tre adgangstyper er beskrevet på Datafordelerens hjemmeside

De
  • fleste filudtræk kan tilgås af tjenestebrugere, som er oprettet med brugernavn/
password
  • adgangskode.
    Filudtræk med adgangsbegrænsede data kan kun tilgås af tjenestebrugere, som er oprettet med SSH2-nøgle.

Det kan være nødvendigt at anmode om adgang til data hos registeret. Proceduren herfor er beskrevet på Datafordelerens hjemmeside

Anvendere af SFTP og https skal have deres IP-adresse whitelistet, og hvis begge type teknologier anvendes skal anvenderens IP-adresse whitelistes for begge typer. Whitelisting af IP-adresser foregår i forbindelse med anmodningen om adgang til data hos registret. 

Til toppen





Table of Contents




Typer af filudtræk

Der er overordnet to typer af filudtræk: Prædefineret og brugerdefineret udtræk. 

Prædefineret 

Prædefineret/prægenereret: Der kan hentes data i på forhånd genereret genererede filudtræk, som leveres produceres og udstilles efter et givent interval fastsat af registermyndigheden . Det kan fx være ugentlig ugentligt eller kvartalsvis. Indholdet af filerne vil være specificeret på forhånd ud fra en udtrækslogik, der udvælger data fra datamodellen. Formatet af data følger et skema, der er specificeret på forhånd. Filformater vil være et eller flere af de mulige formater (XML, JSON, CSV, GIS formater). For geodata vil der desuden være valgt projektion på forhånd. 

For de tjenester der kan tilgås uden brugerbrugeroprettelse, er det ikke muligt at abonnere på prædefinerede /-genererede filudtræk, det er i stedet muligt at kan man ”abonnere” på feeds ved hjælp af en browser eller feedreader. I dataoversigten Dataoversigten på Datafordelerens hjemmeside vises ATOM-Atom feedet for det anonyme filudtræk, hvor det er muligt at se informationer om placeringen af filudtrækket. Både stien til FTP-serveren og url’en til servicen, der leverer den relevante fil, kan ses i ATOM-feedet. Det er ikke muligt at downloade denne type filudtræk direkte fra selvbetjeningsportalen. Frit tilgængelige filudtræk genereres med et givet interval og bliver lagt på en fri tilgængelig del af FTP-serveren samt som en tilgængelig fil, der kan hentes via HTTP/HTTPS. Det er registermyndigheden som fastsætter intervallet for generering af filudtrækket.Selvbetjeningen. 

Prædefinerede filudtræk der er frit tilgængelige uden brugeroprettelse kan hentes i en fælles FTP folder eller via HTTP.

Brugerdefineret udtræk

Brugerdefineret udtræk: baseres på et abonnement, som brugeren har oprettet. Når data leveres er det udtræk fra dags dato. I et brugerdefineret udtræk er der mulighed for at angive en række parametre (f.eks. eksempelvis geografisk udstrækning, format, projektion, registreringstid med mere), hvorefter der produceres en fil som gøres tilgængeligt på en FTP. Udtrækslogikken vil være specificeret på forhånd af registret og formater af data vil følge et skema, der er være specificeret på forhånd . Tjenestebrugere kan via selvbetjeningsportalen downloade et udtræk af registret.

For brugerdefinerede udtræk er det muligt at downloade enkelte udtræk ad hoc eller opsætte et fast abonnement på et filudtræk. Webbrugeren informeres via  Du modtager en e-mail, når der dannes nye filer til abonnementet.

Du kan se hvilke tjenester, der er tilgængelige for det enkelte register i dataoversigten. Tjenesterne er beskrevet i dokumentationen for registrets tjenester.  

Distribution af filudtræk

Distribution af filudtræk sker på to måder: via FTP/SFTP og via http/https.

Filudtræk via FTP/SFTP: Filudtræk placeres på enten et FTP-server eller en SFTP-server afhængigt af sikkerhedsniveauet. Fra disse filområder kan brugerne hente udtrækket af data.

Data kan hentes med FTP protokollen og brugernavn/password. Hvis data er følsomme, benyttes en SFTP server og data kan hentes med en tjenestebruger med SSH2-nøgle. 

Filudtræk via http/https: Filudtræk kan hentes via en service, dvs. via http/https.

Services med ikke følsomme data kan tilgås med både brugernavn og password samt certifikat. Services med følsomme data kan kun tilgås med certifikat.

Datafordeleren har genereret nye filer på dit abonnement eller når dit ad hoc udtræk er færdigt. E-mailen bliver sendt til din webbruger. 

Brugerdefinerede filudtræk placeres på en FTP-server, og du kan hente dem via den FTP-klient, du har har valgt med brugernavn og password. Hvis data er følsomme skal du hente filerne med Secure FTP (SFTP) . I det tilfælde skal din tjenestebruger være tilknyttet en SSH2-nøgle. 




Endpoint, folder og filplacering

Filudtræk der hentes med anonym adgang placeres i en fælles folder. Hvorimod filudtræk der hentes med kendt adgang eller godkendt adgang placeres i en brugerspecifik folder. Folderne er dog forskellige afhængig af, om den data der hentes er placeret i sikkerhedszone 0 eller sikkerhedszone 5.

Nedenstående tabel angiver foldernavn/placering og http(s) url for de forskellige filudtrækstyper:


FiludtrækstypePlacering eller url
Placering af frit tilgængelige filudtræk i zone 0\\<FTP endpoint>\DD1FTPUpdateAreaS0\public
Url for frit tilgængelige filudtræk der hentes med http i zone 0http(s)://services.datafordeler.dk/system/file/1/public?filename=<filnavn>

Placering af abonnements-baserede filudtræk for kendte adgang og godkendt adgang i zone 0

\\<FTP endpoint>\DD1FTPUpdateAreaS0\<bruger>
Placering af abonnements-baserede filudtræk for kendt adgang og godkendt adgang i zone 5\\<FTP endpoint>\DD1FTPUpdateAreaS5\<bruger>


Connectivity til FTP folderen kan først opnås når tjenestebrugeren har oprettet et abonnement på et filudtræk, da folderen først oprettes i det øjeblik der genereres et filudtræk.




Tidsparametre i filudtræk

Der er mulighed for at bruge forskellige tidsparametre med særlig relevans for filudtræk.

Datafordeler timestamp

For nogle tjenester er det muligt at angive DAFTimestampFra og DAFTimestampTil.

Datafordeler timestamp er et tidsparameter for, hvornår data er indlæst eller opdateret på Datafordeleren modsat fx. RegistreringTil der er et tidsparameter for hvornår data er registreret i et register.

Parametrene er klokkeslæt ud fra formen ”hh:mm:{ss}.{ssssss}Z|+hh:mm”, hvor sekunder og millisekunder kan udelades. 

Deltafiler

For nogle tjenester er det muligt at abonnere på deltafiler ved brug af funktionen "Since Previous". Her vil der kun returneres data, som har en Datafordeler-registreringstid lig med eller senere end det tidspunkt, hvor det samme filudtræk senest er genereret til den pågældende abonnent. Det vil sige, at der i abonnementet fremsøges data, som er opdateret på Datafordeleren siden den foregående generering af det tilsvarende filudtræk på samme abonnement.

Værdien af tidsstempel for seneste udtræk, vises som metadata for abonnementet i selvbetjeningsportalenSelvbetjeningen.

Deltafiler vælges ved en checkboks med "Since Previous" i Selvbetjeningen. 

Schedulering

Skedulering af filudtræk

Der er mulighed for , at bestemme, hvornår et filudtræk ønskes eksekveret, ved at angive hvornår på døgnet et filudtræk skal dannes. Scheduleringen dag og klokkeslet for fremstillingen. Skeduleringen angives ved oprettelse af ad hoc udtræk eller abonnement.




Metadatafil i FTP/SFTP

Der leveres altid en metadatafil med et filudtræk på FTP/SFTP serveren. 

I tilfælde hvor der ikke er data i filudtrækket, leveres der stadig en udtræksfil samt en metadatafil.


Code Block
titleStruktur for metadatafil
collapsetrue
{
  "$schema": "http://json-schema.org/draft-04/schema#", 
  "title": "FiludtraekMetadata",
  "description": "Metadatabeskrivelse for filudtræk",
  "type": "object",
  "properties": {
              "leveranceNavn":{
                "title":"leveranceNavn",
                "type":"string"
              },
              "miljoe":{
                "title":"miljoe",
                "type":"string"
              },
              "fortroligData":{
                "title":"fortroligdata",
                "type":"string",
                "enum":["Ja","Nej"]
              },
              "dataOmfattetAfPersondataloven":{
                "title":"dataOmfattetAfPersondataloven",
                "type":"string",
                "enum":["Ja","Nej"]
              },
              "MD5CheckSum":{
                "title":"MD5CheckSum",
                "type":"string"
              },
             "DatafordelerUdtraekstidspunkt": {
                "type": "array",
                "items": {
                  "type": "object",
                  "required": [
                    "deltaVindueStart",
                    "DeltavindueSlut"
                  ],
                  "properties": {
                    "deltaVindueStart": {
                      "title": "deltaVindueStart",
                      "description": "UTC timestamp",
                      "type": "string",
                      "format": "date-time"
                    },
                    "DeltavindueSlut": {
                      "title": "DeltavindueSlut",
                      "description": "UTC timestamp",
                      "type": "string",
                      "format": "date-time"
                    }
                  }
                }
              },
              "tilgaengelighedsperiode":{
                "title":"tilgaengelighedsperiode",
                "type":"integer"
              },
             "AbonnementsOplysninger": {
                "type": "array",
                "items": {
                  "type": "object",
                  "required": [
                    "webBrugernavn",
                    "tjenesteBrugernavn",
                    "abonnementnavn",
                    "tjenestenavn",
                    "tjenesteversion",
                    "oprettelsesdato",
                    "senesteAbonnementRedigeringsdato",
                    "gentagelsesinterval"
                  ],
                  "properties": {
                    "webBrugernavn": {
                      "title": "webBrugernavn",
                      "type": "string"
                    },
                    "tjenesteBrugernavn": {
                      "title": "tjenesteBrugernavn",
                      "type": "string"
                    },
                    "abonnementnavn": {
                      "title": "abonnementnavn",
                      "type": "string"
                    },
                    "tjenestenavn": {
                      "title": "tjenestenavn",
                      "type": "string"
                    },  
                    "tjenesteversion": {
                      "title": "tjenesteversion",
                      "type": "string"
                    }, 
                    "oprettelsesdato": {
                      "title": "oprettelsesdato",
                      "type": "string",
                      "pattern": "(0[1-9]|[12]\\d|3[01])-(0[1-9]|1[0-2])-(\\d{3})"
                    },  
                    "senesteAbonnementRedigeringdsato": {
                      "title": "senesteAbonnementRedigeringsdato",
                      "type": "string",
                      "pattern": "(0[1-9]|[12]\\d|3[01])-(0[1-9]|1[0-2])-(\\d{4})"
                    },                                                                               
                    "gentagelsesinterval": {
                      "title": "gentagelsesinterval",
                      "type": "string",
                      "enum":["Adhoc","Dagligt","Ugentligt","Månedligt","Årligt"]
                    }
                  }
                }
              },
			    "BrugerUdfyldteParametre": {
                  "type": "array",
                  "items": {
          		      "type": "object",
				      "properties": {
                            "parameternavn":{
                            "title":"parameternavn",
                            "type":"string"
                        },
                        "parametervaerdi":{
                          "title":"parametervaerdi",
                          "type":"string"
                        },
                        "parametertype":{
                          "title":"parametertype",
                          "type":"string",
                          "enum":["string","date-time","integer","number","object","array","null"]
                        }
                    }        
                 }
              }                         
          }
        }


Åbn skema for metadatafilen i en browserSkema for metadatafilen