YouSee under ombygning
Her er den lange tekniske forklaring fra YouSee, på de fejl der har kunnet opleves i den seneste uges tid. Frem til sommer vil der være “håndværkere” i YouSees tekniske installationer.
YouSee pressemeddelelse
YouSee gennemfører i disse uger et større ombygningsarbejde på hovedstationen i København. Det var i forbindelse med dette arbejde, at der onsdag 1. maj og i de efterfølgende to dage opstod fejl og billedudfald på en række tv-kanaler.
Mange af YouSee’s kunder har været berørt af fejlene, ikke mindst da tv-signalet fra den sidste af de fire semifinaler i fodboldens Champions League om aftenen den 1. maj blev påvirket. Billederne på TV3+, der viste kampen, pixelerede med korte mellemrum, indtil det lidt efter kl. 22 lykkedes teknikerne at lokalisere og rette fejlen.
YouSees tekniske ledelse har gennemgået hændelserne, og konklusionen er, at fejlene indtraf i forbindelse med ombygningsarbejdet og skyldtes en overbelastning af centrale enheder på hovedstationen på Borups Alle. Driften er knapt en uge senere fortsat påvirket af fejlene, og det har været nødvendigt midlertidigt at omlægge distributionen af enkelte kanaler.
Ombygning startet i 2012
Ombygningen af hovedstationen blev indledt i maj sidste år, efter at hovedstationen to gange i løbet af foråret havde været ramt af kortere nedbrud. Den sidste gang var i øvrigt også i forbindelse med en semifinale i Champions League turneringen i 2011/2012.
De to nedbrud havde vist en sårbarhed i den tekniske opbygning, der under uheldige omstændigheder kunne forstyrre det system, der modtager, behandler og videresender specielt satellitbaserede kanaler.
For at sikre stabil drift besluttede YouSee at ombygge og opgradere hovedstationen. En af de helt centrale ændringer ville være at ombygge centralens datanetværk fra at være et såkaldt layer-2 til et layer-3 netværk. Det vil gøre netværket mere stabilt og dermed sikre en bedre tv-forsyning.
“Vi har brug for at modernisere og ombygge centralen både for at skabe større forsyningssikkerhed og for at skabe større kapacitet til den fremtidige stigning i on demand-forbruget. Jeg er meget ked af, at vores arbejde udløser en så alvorlig fejl, som var tilfældet i sidste uge, men jeg er overbevist om, at vi i sidste ende bliver i stand til at levere vores kunder et bedre produkt”, siger teknisk direktør Jørgen Michaelsen, YouSee.
50 ombygninger
I det forløbne år har YouSee gennemført næsten 50 andre ombygninger på hovedstationen. Hver ombygning er sket efter længere tids planlægning og typisk om natten, hvor der er færrest tv-seere. I de fleste tilfælde kræver arbejdet, at teknikerne må afbryde tv eller bredbånd i korte tidsrum.
Eksempelvis blev det netværk, der dækker YouSee?s kunder i Hovedstadsområdet, for nylig afbrudt kl. 2 om natten, og først knap fem timer senere idriftsat igen. På det tidspunkt havde teknikerne lukket og flyttet 250 netværksforbindelser og installeret to nye routere til at styre tv, bredbånd og telefoni til ca. 250.000 kunder.
Kritisk punkt
I onsdags var ombygningsarbejdet nået til et kritisk punkt, hvor det centrale IP-netværk på Borups Alle skulle ombygges til layer-3 netværk.
Analyser havde vist, at layer-2-netværket i ekstreme situationer kunne blive oversvømmet af data (floodding) med det resultat af tv-kanalerne ville gå i sort eller begynde at pixelere kraftigt. Med et layer-3-netværk ville man kunne forhindre en sådan situation og dermed få større sikkerhed for tv-forsyningen til selskabets 1,2 mio. kunder.
En sådan ombygning er en kompliceret proces, hvor en række netværksenheder skal lukkes ned og opgraderes med ny software, hvorefter de skal sættes i drift igen med nye adresse-tabeller osv. Det hele skal ske inden for ganske få timer og i en nøje afstemt rækkefølge.
Kaskader af pixeleringer
Omtrent tre timer inde i arbejdet, dvs. omkring kl. 5 om morgenen den 1. maj opstod der problemer. Hver gang en ny kanal blev åbnet igen, blev systemet overbelastet, og kaskader af pixeleringer og billedudfald skyllede ud over kabel-nettet. For at få styr på situationen, måtte teknikerne genetablere tv-kanal for tv-kanal, mange af dem i fem-seks forskellige versioner til kabel-tv, IPTV osv.
Processen trak ud og sidst på eftermiddagen manglede der fortsat ti kanaler, da man besluttede at standse arbejdet. På det tidspunkt havde teknikerne arbejdet 15 timer i træk. Risikoen for at der ville opstå nye fejl undervejs var høj, og man nærmede sig tvs prime time, hvor millioner af danskerne ser tv samtidig.
Fejl fra første fløjt
Kl. 20.45 fløjtede dommeren fodboldkampen mellem Barcelona og Bayern München i gang, og stort set samtidig begyndte signalet på tv3+ og flere andre satellitbaserede kanaler at pixelere igen. I snart fire timer havde teknikerne ikke rørt ved netværket, og signalet havde været helt stabilt indtil da.
Teknikerne var blevet på jobbet og kunne med det samme gå i gang med at forsøge at finde fejlen, men først omkring kl. 22.10 blev synderen lokaliseret til en enhed, der overvågede datastrømmen til en række tv-kanaler. Enheden var ikke direkte årsag til fejlen, men den trak så store datamængder gennem netværket, at de routere, der sender tv-kanalerne ud i kabel-nettet, blev overbelastet og lavede fejl.
Konkret var der tale om en kombination af en akut stigning i forbruget af on demand tv (start forfra, tv-arkiv og filmleje), måleenhedens store dataforbrug samt datatrafikken fra de almindelige tv-kanaler, der havde udløst en kendt svaghed i centralens routere.
De pågældende routere kunne under særlige omstændigheder fejle, hvis de blev belastet med en kombination af unicast og multicast trafik, og det var præcist det, der skete.
Routerens svaghed er i øvrigt ikke dokumenteret, dvs. der er ikke noget klart billede af, hvilke kombinationer og hvor store mængder data, der skal til for at udløse fejlen.
Analyse af fejl
Torsdag gik dagen med at analysere begivenhederne aftenen før og planlægge, hvordan de resterende ti kanaler kunne blive genetableret. Det gjaldt nu om at finde en løsning, så arbejdet kunne foregå uden at udløse nye fejl eller afbrydelser for kunderne.
Da der samme aften igen ville være en vigtig international fodboldkamp, valgte teknikerne sidst på dagen at fokusere på at få genetableret Canal9, som sendte den pågældende kamp.
I løbet af fredag blev de sidste kanaler genetableret, men enkelte af dem måtte nøjes med at blive distribueret i den gamle SD-kvalitet. SD kræver kun en tredjedel af den datamængde, som en HD-kanal kræver, og for ikke igen at overbelaste routerne måtte man i første omgang nøjes med det gamle signal.
Ombygningen fortsætter
I de kommende uger fortsætter YouSee med at ombygge og opgradere anlægget på Borups Alle.
En af de næste store opgaver bliver at udskifte de gamle routere, som altså har vist sig at have en svaghed med de meget store datamængder, som centralen håndterer. De vil blive afløst af nyere routere, som kan håndtere langt større datamængder, og samtidig adskilles datatrafikken fra unicast og multicast, så der ikke længere vil være risiko for, at de to trafiktyper kan genere hinanden.
“Vi vil gøre alt for at undgå, at ombygningerne igen kommer til at koste store afbrydelser til gene for vores kunder. Vi kan ikke undgå at lukke for signalet i korte tidsrum, men det bliver typisk om natten, og det bliver forhåbentligt uden episoder som det, vi oplevede onsdag i sidste uge”, siger Jørgen Michaelsen.
Ombygningen af centralen ventes færdig inden sommer.
