Driftudmeldinger

Vigtig sikkerhedsmeddelelse: Hosted.dk - citrix.hosted.dk utilgængelig Nedbrud

Start: 17 hours ago
Beskrivelse af udmelding

Vi har som en forebyggende sikkerhedsforanstaltning taget vores Citrix NetScalers offline indtil videre. Dette betyder, at det ikke er muligt at logge på Citrix.

Vi har modtaget troværdige oplysninger fra sikkerhedsmiljøet og nationale IT-sikkerhedsberedskaber (såkaldte CERT/CSIRT) om to kritiske, ikke-patchede sårbarheder i Citrix NetScaler ADC og NetScaler Gateway – det system, der ligger bag adgangen til citrix.hosted.dk. Sikkerhedsfirmaet watchTowr har offentligt bekræftet, at sårbarhederne allerede udnyttes aktivt af angribere, og at de blev opdaget i forbindelse med en efterforskning af et konkret angreb.

Der er tale om såkaldte zero-day-sårbarheder, dvs. sårbarheder, som der endnu ikke findes en rettelse til. Begge muliggør fjernafvikling af skadelig kode (remote code execution), hvilket betyder, at en angriber udefra potentielt kan køre kode på systemet. Sårbarhederne er endnu ikke tildelt CVE-numre, og Citrix har endnu ikke udgivet et sikkerhedsnotat eller en patch.

Citrix har bekræftet, at de arbejder i døgndrift på at udvikle en patch. Vi forventer, at Citrix deler information, CVE-numre og rettelser søndag eller i starten af næste uge.

Vi er ikke alene om beslutningen. Flere europæiske virksomheder, organisationer og myndigheder – herunder inden for kritisk infrastruktur – har ligeledes valgt at tage deres Citrix NetScalers offline.

Vi holder jer løbende orienteret, efterhånden som situationen udvikler sig.

Bemærk: Vi har på nuværende tidspunkt ingen tegn på, at nogen har fået uautoriseret adgang til jeres data, eller at vores NetScaler-miljø har været kompromitteret.

Opdateringer

  • 2 hours ago

    Vi har modtaget en rettelse (early access build) direkte fra Citrix til de sårbarheder, der lå til grund for, at vi tog vores Citrix NetScalers offline som en forebyggende sikkerhedsforanstaltning.

    Rettelsen er nu blevet installeret. Sammen med at vi løbende har gennemgået alle indikatorer på kompromittering (IOC'er), vi har modtaget, uden at finde tegn på, at vores miljø har været udsat — bringer vi nu systemerne online igen.

    Vær opmærksom på, at dette endnu ikke er en officiel, offentligt tilgængelig rettelse fra Citrix — det er en tidlig opdatering, vi har modtaget direkte fra Citrix. Vi forventer, at Citrix udgiver officiel information, CVE-numre og en endelig rettelse (GA) inden for de kommende dage.

    Vi følger fortsat situationen tæt i den mellemliggende periode og laver en ny opdatering, når vi har behov for at planlægge servicevindue ift. GA-opdatering.

  • 5 hours ago

    Vi har modtaget yderligere information om kompromitteringsindikatorer (IoC'er), som vi har brugt til at analysere vores NetScaler-miljø. Vi har fortsat ikke fundet tegn på kompromittering.

    Da Citrix endnu ikke har udgivet en patch eller yderligere detaljer, fastholder vi beslutningen om at holde adgangen til Citrix lukket, indtil en patch er tilgængelig og installeret. Forventningen er, at vi modtager en patch til installation i løbet af i dag.

    Vi opdaterer med ny status, så snart der er nyt fra Citrix eller anden relevant udvikling.

Several TSM backup servers down - tsm2, tsm7, tsm9, tsm12, tsm21 Nedbrud Løst

Start: 5 days ago 5 days ago
Beskrivelse af udmelding

Several TSM backup servers down. Maybe due to backend issues.

The following servers are down:
tsm2.zitcom.dk
tsm7.zitcom.dk
tsm9.zitcom.dk
tsm12.zitcom.dk
tsm21.zitcom.dk

Our backup provider is working on the problem, and we will update when any news is available.

Opdateringer

  • 5 days ago

    All servers are back online and ready for backup and restore operations.

    Please note that, in some cases, the previous TSM client session or scheduler service may hang. If this occurs, restarting the TSM scheduler services will resolve the issue.

    We apologize for any inconvenience.

Several TSM backup servers down - tsm3, tsm8, tsm10, tsm12, tsm13, tsm14, tsm16, tsm18. Nedbrud Løst

Start: 5 days ago 5 days ago
Beskrivelse af udmelding

Several TSM backup servers down. Maybe due to backend issues.

The following servers are down:
tsm3.zitcom.dk
tsm8.zitcom.dk
tsm10.zitcom.dk
tsm12.zitcom.dk
tsm13.zitcom.dk
tsm14.zitcom.dk
tsm16.zitcom.dk
tsm18.zitcom.dk

Our backup provider is working on the problem, and we will update when any news is available.

Opdateringer

  • 5 days ago

    All servers are back online and ready for backup and restore operations.

    Please note that, in some cases, the previous TSM client session or scheduler service may hang. If this occurs, restarting the TSM scheduler services will resolve the issue.

    We apologize for any inconvenience.

Periodiske 500- og 503-fejl på Object Storage-platformen Nedbrud

Start: 8 days ago
Beskrivelse af udmelding

Årsag til hændelse: Under undersøgelse

Vi oplever i øjeblikket periodiske HTTP 500- og 503-fejl på vores Object Storage-platform. Enkelte requests kan fejle, mens platformen i øvrigt kører, og et retry vil som regel lykkes umiddelbart efter.

Vi fejlsøger fortsat aktivt på årsagen, sammen med software leverandøren.

Berørte kunder:
Kunder med følgende services er påvirket:

  • objXXXX.obj.storagefactory.io

Risiko for nedetid:
[LAV] – Enkelte HTTP-requests kan fejle; et retry vil som regel løse det.

Opdateringer

  • 2 days ago

    Vores Object Storage-platform har kørt stabilt siden i går middag, og vi har siden da ikke observeret flere af de periodiske HTTP 500- og 503-fejl, som har berørt platformen.

    Vi følger fortsat platformen tæt over weekenden - forløber perioden uden nye udfald, anser vi problemet for løst. Når dette er verificeret, vender vi tilbage med en beskrivelse af årsagen til problemet.

    Vi takker for tålmodigheden og beklager de gener det har medført.

  • 4 days ago

    Vi ser igen en stigning i antallet af HTTP 503-fejl på Object Storage-platformen, samt nogle HTTP 500-fejl.

    Der arbejdes fortsat på sagen sammen med software leverandøren.

  • 4 days ago

    Vores Object Storage-platform har kørt stabilt siden kl. 13:46 i dag, og vi har siden da ikke observeret flere af de periodiske HTTP 500- og 503-fejl, som har berørt platformen.

    Vi følger fortsat platformen tæt de næste 48 timer - forløber perioden uden nye udfald, anser vi problemet for løst. Når dette er verificeret, vender vi tilbage med en beskrivelse af årsagen til problemet.

    Vi takker for tålmodigheden og beklager de gener det har medført.

  • 5 days ago

    Vi oplever fortsat periodiske HTTP 500- og 503-fejl på platformen, og der arbejdes fortsat på sagen sammen med software leverandøren.

    Her til morgen er der lavet adskillige konfigurationsændringer på platformen for at afhjælpe problemet.

    Vi kommer med den næste status i morgen, onsdag d. 23. september, kl. 10:00 - eller tidligere, hvis der er væsentligt nyt.

  • 6 days ago

    Vi oplever fortsat små, periodiske HTTP 500- og 503-fejl på platformen, hvor et retry som regel løser requestet.

    Der arbejdes stadig på sagen sammen med software leverandøren, og platformen monitoreres løbende.

    Vi kommer med den næste status i morgen, tirsdag d. 22. september, kl. 10:00 – eller tidligere, hvis der er væsentligt nyt.

  • 6 days ago

    Ingen væsentlig ændring siden sidste status: Vi ser fortsat sporadiske HTTP 500- og 503-fejl på platformen, og der arbejdes stadig på at finde og rette årsagen sammen med software leverandøren.

    Et retry løser som regel de requests, der fejler.

    Vi kommer med den næste status kl. 16:00 - eller tidligere, hvis der er væsentligt nyt.

  • 6 days ago

    Status på platformen: Antallet af HTTP 503-fejl er nu nærmest forsvundet, mens antallet af HTTP 500-fejl fortsat er faldende, men endnu ikke helt væk.

    Platformen monitoreres løbende, og der arbejdes videre på sagen sammen med software leverandøren.

    Vi kommer med den næste status kl. 14:00 - eller tidligere, hvis der er væsentligt nyt.

  • 7 days ago

    Problemet er endnu ikke løst, og der arbejdes fortsat på sagen sammen med software leverandøren.

    Omfanget er uændret: meget sporadiske HTTP 500- og 503-fejl, hvor et retry som regel løser requestet.

    Vi forventer at komme med den næste status i morgen, mandag d. 21. september, kl. 10:00 - eller tidligere, hvis der er væsentligt nyt.

  • 7 days ago

    Vi oplever stadig meget sporadiske HTTP 500- og 503-fejl på platformen, men på et væsentligt lavere niveau end tidligere.

    Platformen monitoreres fortsat, og sagen følges sammen med software leverandøren.

    Vi kommer med den næste status i morgen, søndag d. 20. september, kl. 11:00 - eller tidligere, hvis der er væsentligt nyt.

  • 7 days ago

    Vi arbejder fortsat aktivt på sagen i tæt samarbejde med software leverandøren.

    Den tidligere udmeldte forbedring holder: Antallet af HTTP 503-fejl er faldet markant og ligger nu på et meget lavt niveau, mens der fortsat opstår periodiske HTTP 500-fejl. Software leverandøren arbejder videre på at finde og rette årsagen hertil.

    Fejler et enkelt request, lykkes et retry som regel umiddelbart efter, og de fleste kunder vil derfor ikke bemærke noget til fejlene.

    Platformen monitoreres fortsat løbende.

    Vi kommer med en ny status igen kl. 21:00 – eller tidligere, hvis der er væsentligt nyt.

  • 8 days ago

    Vi arbejder fortsat på sagen.

    Der er allerede indført adskillige tiltag på platformen i samarbejde med software leverandøren, og det har haft en tydelig effekt: Antallet af fejlede requests (HTTP 500 og 503) er markant reduceret i løbet af dagen, men fejlene er endnu ikke helt væk.

    Fejlsøgningen fortsætter, og platformen monitoreres løbende.

    Vi kommer med en ny status igen kl. 18:00 – eller tidligere, hvis der er væsentligt nyt.

Forhøjet storage latency på DK2 Nedbrud Løst

Start: 9 days ago 9 days ago
Beskrivelse af udmelding

Grundet pakketab på netværket til et af vores storage systemer har der i perioden fra kl 11:08 - 11:18 været forhøjet latency på VMs placeret på pf6volX.stg.dk2.zitcom.dk datastores.

Fejlen er udbedret og latency er tilbage til normal niveau.

Vi beklager de gener dette har medført.

Problemer med managed Kubernetes Nedbrud Løst

Start: 11 days ago 11 days ago
Beskrivelse af udmelding

Vi oplever i øjeblikket problemer på managed Kubernetes.

Nye pods vil fejle i at starte, da de ikke kan hente sandbox image.
Følgende fejl vil være synlig under events på nye PODs: failed to pull and unpack image: failed to resolve reference

Vi arbejder på at løse problemet.

Opdateringer

  • 11 days ago

    Et midlertidigt fix er blevet implementeret, så PODs vil kunne starte igen.

    Vi arbejder fortsat på en permanent løsning.

Udfald på GPU-as-a-Service Nedbrud Løst

Start: 14 days ago 14 days ago
Beskrivelse af udmelding

Vi har i nat oplevet udfald på vores GPU-as-a-Service platform. Følgende maskiner var berørt:

  • node73.gpufactory.io
  • node90.gpufactory.io
  • node91.gpufactory.io
  • node101.gpufactory.io
  • node115.gpufactory.io

Udfaldet startede kl. 02:30, og maskinerne er online igen fra kl. 04:10.

Vi beklager de gener, dette måtte medføre.

Object Storage-platformen ustabil Nedbrud Løst

Start: 19 days ago 19 days ago
Beskrivelse af udmelding

Årsag til hændelse: Platform ustabil/utilgængelig

Vores Object Storage-platform er på nuværende tidspunkt meget ustabil, og betragtes som værende utilgængelig.

Platformen blev midlertidig stabiliseret ca 10:02, dog er problemet genopstået ca 11:04.

Vi fejlsøger fortsat aktivt på årsagen, sammen med leverandøren.

Berørte kunder:
Kunder med følgende services er påvirket:

  • objXXXX.obj.storagefactory.io

Risiko for nedetid:
[Høj] – Platformen er utilgængelig.

Næste opdatering:
12:00 – eller tidligere, hvis der er væsentligt nyt.

Opdateringer

  • 18 days ago

    Platformen har kørt stabilt i 24 timer - vi anser derfor problemet for værende løst.

  • 18 days ago

    Platformen kører fortsat stabilt med workaround. Vores leverandør arbejder på en permanent løsning, med mindst mulig påvirkning af driften for øje.
    Vi fortsætter med at overvåge platformen (udvidet), så vi hurtigst muligt kan fange eventuelle problemer.
    Vi melder tilbage med en status så snart det er muligt.

  • 19 days ago

    Platformen er stabil med workaround implementeret, i samarbejder med leverandøren (kl 11:14)
    Vi arbejder på at finde en permanent løsning, sammen med leverandøren
    I mellemtiden holder vi ekstra øje med platformen, så vi kan reagere hurtigt hvis nødvendigt

  • 19 days ago

    Platformen er igen stabiliseret (ca. 11:14), dog fejlrettes der stadig.
    Vi kommer med en status igen kl 13:00

Incident TSM16.zitcom.dk backup server down Nedbrud Løst

Start: 20 days ago 20 days ago
Beskrivelse af udmelding

TSM16.zitcom.dk Backup Server is currently down.
Scheduled backups and restores via TSM16 are currently unavailable.
Restores can still be performed directly from the target server.
We are actively troubleshooting the issue in coordination with our backup supplier. Next update will be provided as soon as new information is available.

Opdateringer

  • 20 days ago

    The server is back online, and backup and restore services are fully available again.
    Sorry for the inconvenience.

Problemer med Veeam Cloud Connect platform Nedbrud Løst

Start: 24 days ago 24 days ago
Beskrivelse af udmelding

Vi ser i øjeblikket problemer med vores Veeam Cloud Connect platform, der betyder at backup og restore pånuværrende ikke kan køre igennem korrekt.

Følgende services er berørte:

  • veeamrepoX.hostedservices.nu

Følgende abonnemter er berørte:

  • CloudRepo
  • AgentRepo

Vi er ved at undersøge sagen og kommer med en opdatering senest kl. 11:00 eller før hvis der er nyt i sagen

Opdateringer

  • 24 days ago

    Vi hører fra flere kunder at systemet igen ser ud til at kører som skal.

    Vi monitorer forsat incident resten af dagen.

Opgradering af firewall Planlagt arbejde

Start: in 5 hours - Forventet slut: in 10 hours
Beskrivelse af udmelding

Årsag til afvikling: Opdatering af firewall
Vi opgraderer vores firewall for at få rettet sikkerhedshuller og fejl.

Kunder med følgende services kan blive påvirket under servicevinduet i form af manglende netværksadgang til og fra servere og services:

  • Shared webhosting
  • Shared mail
  • Hjemmesideprogram
  • Enterprisecloud.nu

Dandomain - services der benytter følgende ip ranges:
94.143.8.1 - 94.143.15.254
194.150.112.1 - 194.150.115.254
194.255.15.1 - 194.255.15.30
194.255.46.1 - 194.255.46.254

Risiko for nedetid:
[MELLEM] Den berørte del indgår som del i et redundant setup, hvorfor vi forventer at kunne udføre opdateringen med få sekunders nedetid.

Opgraderings proces:

  1. Der bliver taget backup af den eksisterende firmware + konfiguration.
  2. Opgradering af firmware.
  3. Monitorering af systemerne

Fallback-plan:
Mere end 30 minutters nedetid igangsætter følgende fallback-plan:

  1. Gammel firmware installeres igen
  2. Backup af konfigurationen indlæses

Firmware opgradering af firewall på DK9 Planlagt arbejde Løst

Start: 3 days ago - Slut: 3 days ago
Beskrivelse af udmelding

Årsag til afvikling: Opgradering af firewall

Kunder med følgende services kan blive påvirket under servicevinduet i form af manglende netværksadgang til og fra servere og services:

  • Shared hosting
  • Hjemmesideprogram
  • Enterprisecloud.nu
    Produktet: VDC & CRP
  • vdom32.net.dk9, vdom201.net.dk9, vdom203.net.dk9, vdom204.net.dk9, vdom205.net.dk9, vdom206.net.dk9, vdom207.net.dk9, vdom208.net.dk9, vdom209.net.dk9, vdom210.net.dk9, vdom211.net.dk9, vdom216.net.dk9, vdom217.net.dk9, vdom218.net.dk9, vdom219.net.dk9, vdom221.net.dk9, vdom222.net.dk9, vdom223.net.dk9, vdom224.net.dk9, vdom225.net.dk9

Påvirkning:
[MELLEM] Den berørte del indgår som del i et redundant setup, hvorfor vi forventer at kunne udføre opdateringen med få sekunders nedetid.

Opdateringer

  • 3 days ago

    Clusteret er opgraderet til 7.4.12.

Flytning af firewall og vdom på DK9 Planlagt arbejde Løst

Start: 3 days ago - Slut: 3 days ago
Beskrivelse af udmelding

Årsag til afvikling: Opgradering af firewall hardware
Alle vdoms vil blive flyttet til nyt hardware og firmware version 7.4.12

Kunder med følgende services kan blive påvirket under servicevinduet i form af manglende netværksadgang til og fra servere og services:

Produktet: VDC & CRP

  • vdom5.net.dk9, vdom7.net.dk9, vdom9.net.dk9, vdom11.net.dk9, vdom12.net.dk9, vdom13.net.dk9, vdom14.net.dk9, vdom15.net.dk9, vdom16.net.dk9, vdom17.net.dk9, vdom18.net.dk9, vdom20.net.dk9, vdom21.net.dk9, vdom22.net.dk9, vdom23.net.dk9, vdom24.net.dk9, vdom25.net.dk9, vdom26.net.dk9, vdom28.net.dk9, vdom29.net.dk9, vdom30.net.dk9, vdom33.net.dk9, vdom34.net.dk9, vdom35.net.dk9, vdom36.net.dk9, vdom37.net.dk9, vdom39.net.dk9, vdom40.net.dk9, vdom41.net.dk9, vdom42.net.dk9, vdom43.net.dk9, vdom146.net.dk9, vdom147.net.dk9, vdom149.net.dk9, vdom150.net.dk9, vdom152.net.dk9, vdom154.net.dk9, vdom155.net.dk9, vdom157.net.dk9, vdom158.net.dk9, vdom159.net.dk9, vdom160.net.dk9, vdom161.net.dk9, vdom164.net.dk9, vdom165.net.dk9, vdom166.net.dk9, vdom167.net.dk9, vdom168.net.dk9, vdom169.net.dk9, vdom170.net.dk9, vdom171.net.dk9, vdom172.net.dk9, vdom173.net.dk9, vdom175.net.dk9, vdom176.net.dk9, vdom177.net.dk9, vdom178.net.dk9, vdom179.net.dk9, vdom182.net.dk9, vdom183.net.dk9, vdom184.net.dk9, vdom185.net.dk9, vdom186.net.dk9, vdom189.net.dk9, vdom190.net.dk9, vdom191.net.dk9, vdom193.net.dk9, vdom194.net.dk9, vdom195.net.dk9, vdom196.net.dk9, vdom197.net.dk9, vdom199.net.dk9, vdom200.net.dk9, vdom202.net.dk9, vdom212.net.dk9, vdom213.net.dk9, vdom214.net.dk9, vdom215.net.dk9, vdom220.net.dk9

Påvirkning:
[HØJ] Der kan være op til 5 minutters nedetid, i det vdomsene bliver flyttet til et nyt firewall cluster.
Fra onsdag d. 23 kl 12:00, må der ikke laves ændringer på jeres vdom, i det vi vil tage en backup af alle vdoms og gendanne vdoms ind på det nye firewall cluster. Skulle en ændring blive nødvendig skal I tage fat i os så vi kan gøre det sammen med jer.

Opdateringer

  • 3 days ago

    Vdoms er nu blevet flyttet til et andet firewall cluster, og kører firmware version 7.4.12.

Firewall hardware opgradering og flytning af vdoms Planlagt arbejde Løst

Start: 5 days ago - Slut: 5 days ago
Beskrivelse af udmelding

Årsag til afvikling: Opgradering af firewall hardware
Alle vdoms vil blive flyttet til nyt hardware og firmware version 7.4.11

Kunder med følgende services kan blive påvirket under servicevinduet i form af manglende netværksadgang til og fra servere og services:

Produktet: VDC & CRP

  • vdom3.net.dk2, vdom6.net.dk2, vdom13.net.dk2, vdom18.net.dk2, vdom23.net.dk2, vdom29.net.dk2, vdom30.net.dk2, vdom43.net.dk2, vdom47.net.dk2, vdom61.net.dk2, vdom66.net.dk2, vdom70.net.dk2, vdom87.net.dk2, vdom88.net.dk2, vdom106.net.dk2, vdom109.net.dk2, vdom127.net.dk2, vdom141.net.dk2, vdom145.net.dk2, vdom147.net.dk2, vdom149.net.dk2, vdom152.net.dk2, vdom158.net.dk2, vdom163.net.dk2, vdom164.net.dk2, vdom172.net.dk2, vdom175.net.dk2, vdom177.net.dk2, vdom180.net.dk2, vdom189.net.dk2, vdom191.net.dk2, vdom194.net.dk2, vdom199.net.dk2, vdom201.net.dk2, vdom203.net.dk2, vdom204.net.dk2, vdom205.net.dk2, vdom211.net.dk2, vdom214.net.dk2, vdom218.net.dk2, vdom229.net.dk2, vdom235.net.dk2, vdom246.net.dk2

Påvirkning:
[HØJ] Der kan være op til 5 minutters nedetid, i det vdomsene bliver flyttet til et nyt firewall cluster.
Fra mandag d. 21 kl 12:00, må der ikke laves ændringer på jeres vdom, i det vi vil tage en backup af alle vdoms og gendanne vdoms ind på det nye firewall cluster. Skulle en ændring blive nødvendig skal I tage fat i os, så vi kan flytte ændringen ind på det nye firewall.

Opdateringer

  • 5 days ago

    Alle vdoms er nu blevet flyttet.

PRTG down, due to update of PRTG monitoring servers Planlagt arbejde Løst

Start: 6 days ago - Slut: 6 days ago
Beskrivelse af udmelding

PRTG overvågning vil blive opdateret til seneste build og certifikater fornyes. Under opdateringen vil PRTG ikke være til rådighed.
Efter opdatering, vil monitoreringen automatisk genoptages.

Hvis i ikke benytter PRTG Overvågning, kan i se bort fra denne udmelding.

Haste opdatering - Veeam Service Provider Console Planlagt arbejde Løst

Start: 10 days ago - Slut: 10 days ago
Beskrivelse af udmelding

Årsag: Kritisk sårbarhed

Services: Følgende services vil være berørt under servicevinduet

Indvirkning:

  • Kontrolpanel vil være sporadisk utilgængelig i hele servicevinduet.
Opdateringer

  • 10 days ago

    Veeam Service Provider Console opdateringen er fuldtendt og igen tilgængelig

Opgradering af firewall i Norge Planlagt arbejde Løst

Start: 10 days ago - Slut: 9 days ago
Beskrivelse af udmelding

Årsag til afvikling: Opgradering af firewall cluster til 7.4.12

Kunder med følgende services kan blive påvirket under servicevinduet i form af manglende netværksadgang til og fra servere og services:

Produktet: VDC & CRP

  • vdom3.net.no1, vdom5.net.no1, vdom6.net.no1

Påvirkning:
[MELLEM] Der kan være få sekunders nedetid i det trafikken flyttes til den anden firewall node.

Opdateringer

  • 10 days ago

    Firewallen er blevet opgraderet

Opgradering af firewall på DK12 Planlagt arbejde Løst

Start: 10 days ago - Slut: 9 days ago
Beskrivelse af udmelding

Årsag til afvikling: Opgradering af firewall cluster til 7.4.12

Kunder med følgende services kan blive påvirket under servicevinduet i form af manglende netværksadgang til og fra servere og services:

Produktet: VDC & CRP

  • vdom3.net.dk12, vdom4.net.dk12, vdom5.net.dk12, vdom7.net.dk12, vdom8.net.dk12. vdom9.net.dk12

Påvirkning:
[MELLEM] Der kan være få sekunders nedetid i det trafikken flyttes til den anden firewall node.

Opdateringer

  • 10 days ago

    Firewallen er blevet opgraderet

Vedligeholdelse af nfs.storagefactory.io og smb.storagefactory.io Planlagt arbejde Løst

Start: 11 days ago - Slut: 11 days ago
Beskrivelse af udmelding

Årsag til afvikling: Planlagt vedligeholdelse af NFS- og SMB-platformene på DK9

Under servicevinduet flyttes de berørte systemer over til en anden node i platformen.

Kunder med følgende services kan blive påvirket under servicevinduet i form af manglende adgang til deres shares (NFS/SMB):

  • svm36.nfs.storagefactory.io
  • svm14.smb.storagefactory.io

Påvirkning:
[MELLEM] Der kan være få sekunders nedetid i det trafikken flyttes til en anden node.

Opgradering af Object Storage platform Planlagt arbejde Løst

Start: 12 days ago - Slut: 8 days ago
Beskrivelse af udmelding

Årsag til afvikling: Opgradering af Object Storage platform

Vi opgraderer backend til en nyere version.

Kunder med følgende services er berørt af denne opdatering:

  • objXXXX.obj.storagefactory.io

Der kan være korte udfald på enkelte requests som de bagvedliggende noder opgraderes.

Vi beklager de gener det kan medføre.

Opgradering af Veeam Cloud Connect til version 13.1 Planlagt arbejde Løst

Start: 12 days ago - Slut: 11 days ago
Beskrivelse af udmelding

Vi opgraderer vores resterende Veeam Cloud Connect platform til Veeam version 13.1.

Bemærk, at Veeam Backup & Replication servere der ikke kører version 12.3.2.X eller nyere, ikke længere er supporteret af Cloud Connect'en efter opgradering til version 13.1.

Vigtig information om servicevinduet

  • Tidspunkt: Mellem kl. 07:00 og 21:00
  • Backup & Restore: Grundet arbejdet der skal udføres for at få de resterende servere i Cloud Connect platformen, vil backup & & restore være utilgængelig i det meste af service vinduet. Når platformen er opgraderet kommer der en opdatering herpå, og backup & restore vil være tilgængelig igen herefter.

Berørte abonnementer:

  • CloudRepo
  • AgentRepo

Services: Følgende services vil være berørte under servicevinduet

  • Veeam Cloud Connect: veeamrepo*.hostedservices.nu
Opdateringer

  • 11 days ago

    Opgraderingen er fuldendt og platformen er online igen

Opgradering af firewall Planlagt arbejde Løst

Start: 12 days ago - Slut: 12 days ago
Beskrivelse af udmelding

Årsag til afvikling: Opgradering af firewall cluster til 7.4.12

Kunder med følgende services kan blive påvirket under servicevinduet i form af manglende netværksadgang til og fra servere og services:

Produktet: VDC & CRP

  • vdom5.net.dk1, vdom7.net.dk1, vdom9.net.dk1, vdom11.net.dk1, vdom13.net.dk1, vdom15.net.dk1, vdom18.net.dk1, vdom24.net.dk1, vdom46.net.dk1, vdom47.net.dk1, vdom52.net.dk1, vdom60.net.dk1, vdom68.net.dk1, vdom69.net.dk1, vdom70.net.dk1, vdom71.net.dk1, vdom75.net.dk1, vdom76.net.dk1, vdom80.net.dk1, vdom81.net.dk1, vdom82.net.dk1, vdom83.net.dk1, vdom84.net.dk1, vdom85.net.dk1, vdom88.net.dk1, vdom89.net.dk1, vdom90.net.dk1, vdom91.net.dk1, vdom93.net.dk1, vdom94.net.dk1, vdom95.net.dk1, vdom96.net.dk1, vdom97.net.dk1, vdom98.net.dk1, vdom102.net.dk1, vdom103.net.dk1, vdom104.net.dk1, vdom105.net.dk1, vdom107.net.dk1, vdom108.net.dk1, vdom112.net.dk1, vdom114.net.dk1, vdom120.net.dk1, vdom121.net.dk1, vdom123.net.dk1, vdom125.net.dk1, vdom127.net.dk1, vdom129.net.dk1, vdom132.net.dk1, vdom133.net.dk1, vdom135.net.dk1, vdom139.net.dk1, vdom140.net.dk1, vdom141.net.dk1, vdom143.net.dk1, vdom144.net.dk1, vdom146.net.dk1, vdom148.net.dk1, vdom149.net.dk1, vdom150.net.dk1, vdom153.net.dk1, vdom155.net.dk1, vdom156.net.dk1, vdom157.net.dk1, vdom158.net.dk1, vdom160.net.dk1, vdom161.net.dk1, vdom162.net.dk1, vdom163.net.dk1, vdom164.net.dk1, vdom165.net.dk1, vdom166.net.dk1, vdom169.net.dk1, vdom170.net.dk1, vdom172.net.dk1, vdom173.net.dk1, vdom174.net.dk1, vdom175.net.dk1, vdom177.net.dk1, vdom178.net.dk1, vdom180.net.dk1, vdom181.net.dk1, vdom182.net.dk1, vdom186.net.dk1, vdom187.net.dk1, vdom188.net.dk1, vdom191.net.dk1, vdom192.net.dk1, vdom193.net.dk1, vdom194.net.dk1, vdom195.net.dk1, vdom200.net.dk1, vdom201.net.dk1, vdom202.net.dk1, vdom203.net.dk1, vdom205.net.dk1, vdom209.net.dk1, vdom210.net.dk1, vdom211.net.dk1, vdom212.net.dk1, vdom214.net.dk1, vdom217.net.dk1, vdom220.net.dk1, vdom222.net.dk1, vdom223.net.dk1, vdom224.net.dk1, vdom225.net.dk1, vdom228.net.dk1, vdom229.net.dk1, vdom231.net.dk1, vdom232.net.dk1, vdom233.net.dk1, vdom234.net.dk1, vdom235.net.dk1, vdom236.net.dk1, vdom238.net.dk1, vdom239.net.dk1, vdom240.net.dk1, vdom241.net.dk1, vdom242.net.dk1, vdom244.net.dk1, vdom245.net.dk1, vdom246.net.dk1, vdom247.net.dk1, vdom248.net.dk1, vdom249.net.dk1, vdom250.net.dk1, vdom252.net.dk1, vdom253.net.dk1, vdom254.net.dk1, vdom255.net.dk1, vdom257.net.dk1, vdom258.net.dk1, vdom259.net.dk1, vdom260.net.dk1, vdom261.net.dk1, vdom263.net.dk1, vdom264.net.dk1, vdom265.net.dk1, vdom266.net.dk1, vdom267.net.dk1, vdom270.net.dk1, vdom271.net.dk1, vdom272.net.dk1, vdom273.net.dk1, vdom274.net.dk1, vdom275.net.dk1, vdom276.net.dk1, vdom277.net.dk1, vdom278.net.dk1, vdom279.net.dk1, vdom280.net.dk1, vdom282.net.dk1, vdom283.net.dk1, vdom284.net.dk1, vdom285.net.dk1, vdom286.net.dk1, vdom287.net.dk1, vdom289.net.dk1, vdom290.net.dk1, vdom291.net.dk1, vdom292.net.dk1, vdom293.net.dk1, vdom295.net.dk1, vdom297.net.dk1, vdom298.net.dk1, vdom299.net.dk1, vdom300.net.dk1, vdom301.net.dk1, vdom302.net.dk1, vdom303.net.dk1, vdom304.net.dk1, vdom307.net.dk1, vdom308.net.dk1, vdom309.net.dk1, vdom310.net.dk1, vdom311.net.dk1, vdom312.net.dk1, vdom313.net.dk1, vdom314.net.dk1, vdom315.net.dk1, vdom316.net.dk1, vdom317.net.dk1, vdom318.net.dk1, vdom319.net.dk1, vdom320.net.dk1, vdom321.net.dk1, vdom322.net.dk1, vdom324.net.dk1, vdom325.net.dk1

Påvirkning:
[HØJ] Der kan være op til 5 minutter nedetid i det trafikken flyttes til den anden firewall node, da dette er en major opgradering.

Opdateringer

  • 12 days ago

    Firewallen er nu opgraderet til 7.4.12.

Infrastructure upgrade of TSM Backup Servers Planlagt arbejde Løst

Start: 18 days ago - Slut: 17 days ago
Beskrivelse af udmelding

Our TSM Backup service provider will be performing scheduled maintenance on TSM backup servers. During this period, backup operations will be unavailable.
Restore operations will still be possible from target servers. The following backup servers will be affected:
TSM27.zitcom.dk
TSM20.zitcom.dk
TSM24.zitcom.dk
TSM1.zitcom.dk
TSM10.zitcom.dk
TSM12.zitcom.dk
TSM14.zitcom.dk
TSM16.zitcom.dk
TSM3.zitcom.dk
TSM7.zitcom.dk
TSM9.zitcom.dk

Konfigurations rettelse på Object Storage platform Planlagt arbejde Løst

Start: 25 days ago - Slut: 25 days ago
Beskrivelse af udmelding

Årsag til afvikling: Konfigurationsrettelse på Object Storage-platformen

For at rette periodiske 500-fejl i særligt belastede perioder retter vi en række indstillinger på Object Storage-platformen. Dette kræver, at vi genstarter services på noderne én ad gangen.

Under genstarten kan enkelte HTTP-requests fejle med en HTTP 500-fejl. Et retry vil som regel løse dette umiddelbart efter.

Berørte kunder:

Kunder med følgende services er berørt af denne konfigurationsrettelse:

  • objXXXX.obj.storagefactory.io

Risiko for nedetid:

[LAV] – Services genstartes én node ad gangen, hvorefter de øvrige noder overtager trafikken, indtil den genstartede node er klar igen.

Opgradering af Veeam Cloud Connect til version 13.1 Planlagt arbejde Løst

Start: 26 days ago - Slut: 25 days ago
Beskrivelse af udmelding

Vi opgraderer vores Veeam Cloud Connect platform til Veeam version 13.1.

Bemærk, at Veeam Backup & Replication servere der ikke kører version 12.3.2.X eller nyere, ikke længere er supporteret af Cloud Connect'en efter opgradering til version 13.1.

Vigtig information om servicevinduet

  • Tidspunkt: Mellem kl. 10:00 og 16:00
  • Backup & Restore: Vil være utilgængeligt i ca. 4 timer fra opstart af arbejdet.

Berørte abonnementer:

  • CloudRepo
  • AgentRepo
  • CloudLic

Services: Følgende services vil være berørte under servicevinduet

  • Veeam Cloud Connect: veeamrepo*.hostedservices.nu
  • Veeam Cloud Connect: veeambilling2.hostedservices.nu
Opdateringer

  • 25 days ago

    Migrering aflyst og dermed også upgrade til 13.1

    Beklageligvis må vi aflyse migreringen af Cloud Connect serverne til ny OS grundet større implikationer på Veeam Service Provider Console enden.

    Det er flere og store implekationer i migreringen af Cloud Connect serverne end først ansat, der kræver et større forbedredelse arbejde for at kunne udføre migreringen.

    De gamle servere er taget online igen, og er igen tilgængelig på kunde siden.

    Vi beklager meget for de gener der har måtte være med opgraderingen i går og i dag.

    Når vi har en fuldendt plan for migreringen, vil der komme en ny drift umelding.

  • 25 days ago

    Problemer med opgradering. Løsning rullet tilbage

    Der er problemer med det underliggende OS på de servere som hoster CloudRepo og AgentRepo.

    Vi har taget en beslutning om at rulle serverne er tilbage til før upgrade, for at undgå yderligere nedetid på løsningen i dag.

    Derfor er der planlagt et nyt service vindue i morgen mellem 10:00 og 14:00, hvor løsningen migreres til nogen nye servere og efterfølgende opgraderes til version 13.1

    Vi beklager for de gener dette måtte have.

  • 26 days ago

    Følgende abonnementer og services er online igen:

    • CloudLic
    • Veeam Cloud Connect: veeambilling2.hostedservices.nu

    Følgende abonnementer og services er fortsat offline pga. opgraderingen, og nedetid for opgraderingen er udvidet til kl. 18:00.

    • CloudRepo
    • AgentRepo
    • Veeam Cloud Connect: veeamrepo*.hostedservices.nu

Konfigurations rettelse på Object Storage platform Planlagt arbejde Løst

Start: 29 days ago - Slut: 29 days ago
Beskrivelse af udmelding

Årsag til afvikling: Konfigurationsrettelse på Object Storage-platformen

For at rette periodiske 500-fejl i særligt belastede perioder retter vi en række indstillinger på Object Storage-platformen. Dette kræver, at vi genstarter services på noderne én ad gangen.

Under genstarten kan enkelte HTTP-requests fejle med en HTTP 500-fejl. Et retry vil som regel løse dette umiddelbart efter.

Berørte kunder:

Kunder med følgende services er berørt af denne konfigurationsrettelse:

  • objXXXX.obj.storagefactory.io

Risiko for nedetid:

[LAV] – Services genstartes én node ad gangen, hvorefter de øvrige noder overtager trafikken, indtil den genstartede node er klar igen.