Infrastruktura okablowania w centrach danych

Centra danych – fundament nowoczesnych sieci

Centrum danych stanowi serce każdej sieci przedsiębiorstwa. Umożliwia przesyłanie, dostęp i przechowywanie ogromnych ilości kluczowych informacji.

Na tej stronie

• Czym jest okablowanie centrum danych?
• Normy okablowania centrów danych
• Kluczowe wyzwania w centrum danych
• Aspekty okablowania w centrach danych
• Dowiedz się więcej

Czym jest okablowanie centrum danych?

Okablowanie centrum danych łączy sieci LAN przedsiębiorstwa z przełącznikami, serwerami, sieciami SAN oraz innymi urządzeniami aktywnymi obsługującymi aplikacje, transakcje i komunikację. To również miejsce, w którym sieć LAN łączy się z sieciami operatorów zapewniających dostęp do Internetu i innych sieci poza obiektem.

Normy okablowania centrów danych

Normy takie jak ANSI/TIA-942, ISO/IEC 24764 oraz ANSI/BICSI 002 określają minimalne zalecenia dotyczące projektowania i wdrażania centrów danych, w tym tras kablowych i przestrzeni instalacyjnych, okablowania szkieletowego i poziomego, redundancji i dostępności, zarządzania okablowaniem oraz wymagań środowiskowych.

Normy te definiują również funkcjonalne obszary centrum danych:

• Pomieszczenie wejściowe (ER – Entrance Room): To strefa, w której zewnętrzne usługi telekomunikacyjne są doprowadzane do centrum danych. Może być zlokalizowana wewnątrz lub na zewnątrz obiektu i pełni funkcję punktu styku pomiędzy siecią operatora a infrastrukturą centrum danych. Z ER wyprowadzone jest również okablowanie szkieletowe łączące centrum danych z innymi budynkami w środowisku kampusowym.
• Główny obszar dystrybucyjny (MDA – Main Distribution Area): Stanowiąc centralny punkt dystrybucji w centrum danych, obszar MDA mieści kluczowe przełączniki i routery odpowiedzialne za połączenia z sieciami LAN, SAN oraz pozostałymi strefami centrum danych. To również punkt integracji z pomieszczeniami telekomunikacyjnymi (TR – Telecommunications Rooms) rozmieszczonymi w różnych częściach obiektu.
• Poziomy obszar dystrybucyjny (HDA – Horizontal Distribution Area): HDA stanowi punkt dystrybucji łączący serwery znajdujące się w obszarze dystrybucji urządzeń (EDA – Equipment Distribution Area) z głównymi przełącznikami zlokalizowanymi w obszarze MDA. To tutaj zakończone jest światłowodowe okablowanie szkieletowe prowadzące z MDA, podłączone do światłowodowych paneli krosowych w punktach cross-connect lub interconnect, które integrują przełączniki agregacyjne i dostępowe.
  Większość centrów danych posiada co najmniej jeden obszar HDA. W architekturze Top-of-Rack (ToR), gdzie przełączniki dostępowe są instalowane bezpośrednio w tej samej szafie co serwery i łączą się z nimi bezpośrednio, obszar HDA nie jest wymagany.
• Obszar dystrybucji urządzeń (EDA – Equipment Distribution Area): EDA to obszar, w którym zlokalizowane są serwery oraz inne urządzenia aktywne centrum danych. Serwery są łączone z przełącznikami znajdującymi się w obszarze HDA za pomocą okablowania poziomego zakończonego na miedzianych lub światłowodowych panelach krosowych. W architekturze Top-of-Rack (ToR) serwery mogą być również podłączane bezpośrednio do przełączników zainstalowanych w tej samej szafie teleinformatycznej, bez konieczności prowadzenia połączeń przez obszar HDA.
• Pośredni obszar dystrybucyjny (IDA – Intermediate Distribution Area): IDA jest opcjonalnym elementem architektury centrum danych, stosowanym głównie w dużych obiektach wielokondygnacyjnych lub składających się z wielu pomieszczeń. Stanowi pośredni punkt dystrybucji, umożliwiający rozprowadzanie połączeń światłowodowych z obszaru MDA do poszczególnych obszarów HDA i EDA przy wykorzystaniu przełączników agregacyjnych.
• Obszar dystrybucji strefowej (ZDA – Zone Distribution Area): ZDA to opcjonalny element infrastruktury centrum danych, rzadko spotykany w korporacyjnych centrach danych. Obszar ten nie zawiera urządzeń aktywnych, ale może pełnić funkcję punktu konsolidacyjnego w okablowaniu poziomym pomiędzy obszarami HDA i EDA. Zastosowanie ZDA ułatwia przyszłą rozbudowę infrastruktury, rekonfigurację połączeń oraz dostosowanie okablowania do zmieniających się potrzeb centrum danych.

Poniższy schemat ilustruje strukturę centrum danych zgodnie z normą TIA-942. Poszczególne obszary funkcjonalne są połączone za pomocą okablowania szkieletowego (backbone cabling – kolor niebieski) oraz okablowania poziomego (horizontal cabling – kolor czerwony).

Kluczowe wyzwania w centrum danych

Centrum danych stanowi kluczowy element funkcjonowania przedsiębiorstwa i mieści coraz większą liczbę urządzeń o znaczeniu krytycznym dla działalności biznesowej. Zapewnienie niezawodności, wydajności oraz gotowości infrastruktury na przyszłe potrzeby wiąże się z szeregiem wyzwań i istotnych aspektów, które należy uwzględnić już na etapie projektowania i eksploatacji centrum danych.

Rozwój i skalowalność

Wraz ze wzrostem ilości danych i aplikacji centra danych muszą stale zwiększać swoją pojemność, aby obsłużyć coraz większą liczbę urządzeń aktywnych oraz połączeń sieciowych. Jednocześnie konieczne jest zapewnienie transmisji danych o wysokiej przepustowości i niskich opóźnieniach.
Dobrze zaprojektowane centrum danych maksymalnie wykorzystuje dostępną przestrzeń, pozostawiając możliwość dalszej rozbudowy infrastruktury. Odpowiednio zaplanowane trasy kablowe ułatwiają zarządzanie okablowaniem, zwiększają efektywność operacyjną oraz pomagają utrzymać wysoką wydajność, niezawodność i odporność całego systemu.

Wraz z rosnącym znaczeniem danych w biznesie dynamicznie rozwija się rynek centrów danych typu cloud i colocation. Umożliwiają one szybsze wdrażanie nowych systemów i usług, pozwalając firmom elastycznie reagować na zmieniające się potrzeby bez konieczności kosztownej rozbudowy własnej infrastruktury.
Coraz więcej przedsiębiorstw decyduje się na model hybrydowego IT, łącząc własne zasoby informatyczne z usługami chmurowymi i kolokacyjnymi. Kluczowe systemy oraz dane wymagające pełnej kontroli często pozostają w lokalnej infrastrukturze lub w bezpiecznych centrach kolokacyjnych, podczas gdy pozostałe usługi są przenoszone do chmury.
W modelu chmurowym najczęściej wykorzystywane są usługi SaaS (Software as a Service), natomiast centra danych typu colocation zazwyczaj oferują model IaaS (Infrastructure as a Service).

Redundancja i dostępność

Niezawodność centrum danych opiera się przede wszystkim na dwóch filarach: dostępności (availability) oraz redundancji (redundancy).

Redundancja polega na zastosowaniu nadmiarowych elementów infrastruktury, takich jak urządzenia, połączenia sieciowe, systemy zasilania czy trasy kablowe. Dzięki temu awaria pojedynczego komponentu nie wpływa na ciągłość działania całego systemu.
Poziom redundancji najczęściej określa się za pomocą oznaczenia „N”, gdzie N oznacza minimalną liczbę komponentów niezbędnych do prawidłowego funkcjonowania centrum danych.
• N+1 – jeden dodatkowy komponent ponad minimalne wymagania operacyjne.
• 2N – pełna redundancja, czyli podwojenie wszystkich kluczowych komponentów.
• 2N+1 – pełna redundancja (2N) rozszerzona o dodatkowy komponent rezerwowy.

Wymagany poziom redundancji jest określany m.in. przez klasyfikację Tier opracowaną przez Uptime Institute, która definiuje poziomy dostępności centrów danych. Do poziomów redundancji odnosi się również system klas dostępności opisany w standardzie BICSI 002.

Zasilanie, chłodzenie i efektywność energetyczna

Zużycie energii jest jednym z kluczowych wyzwań w centrum danych, biorąc pod uwagę wysokie koszty energii wymaganej przez współczesne zaawansowane środowiska obliczeniowe. Menedżerowie centrów danych odpowiedzialni za zapewnienie efektywności i ograniczanie kosztów operacyjnych często wykorzystują wskaźnik Power Usage Effectiveness (PUE) opracowany przez organizację The Green Grid, aby upewnić się, że urządzenia efektywnie wykorzystują energię dostarczaną do centrum danych.

W związku z rosnącym naciskiem na zrównoważony rozwój organizacja The Green Grid opracowała również wskaźnik Carbon Usage Effectiveness (CUE), który określa ilość emisji gazów cieplarnianych (GHG) przypadającą na jednostkę energii zużywanej przez infrastrukturę IT w centrum danych.
Organizacja opracowała także wskaźnik Water Usage Effectiveness (WUE), który mierzy stosunek ilości wody wykorzystywanej w centrum danych (np. do chłodzenia wodnego, nawilżania itp.) do zużycia energii przez urządzenia IT.

Systemy chłodzenia utrzymują odpowiednią temperaturę pracy urządzeń oraz zapobiegają powstawaniu lokalnych przegrzań (hot spots), które mogłyby negatywnie wpływać na żywotność i niezawodność sprzętu. Organizacja ASHRAE zaleca utrzymywanie temperatury pracy w centrum danych w zakresie od 18°C do 27°C (64°F do 81°F).
Chłodzenie ma istotny wpływ na efektywność centrum danych i odpowiada za 30% do 50% całkowitego zużycia energii.

• Zapobieganie mieszaniu się zimnego powietrza nawiewanego z gorącym powietrzem wylotowym pozwala na uzyskanie wyższych temperatur powietrza powrotnego, co zwiększa efektywność systemów chłodzenia centrum danych i zapobiega przewymiarowaniu energochłonnych jednostek klimatyzacyjnych.
• Zastosowanie konfiguracji gorących i zimnych korytarzy (hot aisle / cold aisle) jest pasywnym sposobem zapobiegania mieszaniu się ciepłego i zimnego powietrza w centrum danych. Polega ona na ustawieniu rzędów szaf w taki sposób, aby zoptymalizować dopływ chłodnego powietrza do przedniej części urządzeń, a gorące powietrze odprowadzać z tylnej części urządzeń do systemu powrotu powietrza chłodzącego.

Wraz ze wzrostem mocy obliczeniowej i ilości generowanego ciepła niektóre centra danych potrzebują bardziej efektywnych metod zapobiegania mieszaniu się gorącego i zimnego powietrza.

• Pasywne systemy izolacji (containment) całkowicie oddzielają gorące i zimne korytarze. Wykorzystują panele dachowe do odizolowania zimnego korytarza od pozostałej części centrum danych (cold aisle containment) lub pionowe panele do odizolowania gorącego korytarza i kierowania gorącego powietrza wylotowego do górnej przestrzeni powrotnej systemu wentylacyjnego (hot aisle containment). Systemy containment mogą również działać aktywnie, wykorzystując wentylatory do zasysania gorącego powietrza z szafy do gorącego korytarza.
• Niektóre środowiska obliczeń wysokiej wydajności (HPC), takie jak centra danych typu hyperscale o bardzo wysokiej gęstości mocy, coraz częściej wykorzystują rozwiązania chłodzenia cieczą w celu skuteczniejszego odprowadzania ciepła. Rozwiązania te obejmują:
  • wymienniki ciepła montowane w tylnych drzwiach szafy (rear door heat exchangers), które chłodzą gorące powietrze wylotowe podczas jego przepływu przez wypełnione cieczą wężownice znajdujące się z tyłu szafy,
  • chłodzenie immersyjne (liquid immersion), w którym urządzenia zanurzone są w cieczy chłodzącej krążącej w obiegu schłodzonej wody,
  • chłodzenie typu cold plate lub direct-to-chip, gdzie ciecz chłodząca jest pompowana do niewielkich płyt chłodzących zamocowanych bezpośrednio na komponentach generujących ciepło, takich jak procesory (CPU).

Aspekty okablowania w centrach danych

Niezależnie od wielkości i rodzaju centrum danych, zastosowanej topologii sieciowej czy wykorzystywanych aplikacji, podstawowa infrastruktura okablowania odgrywa kluczową rolę w zapewnieniu niezawodnych połączeń o wysokiej przepustowości. To właśnie ona umożliwia komunikację pomiędzy urządzeniami centrum danych rozmieszczonymi w różnych obszarach funkcjonalnych.
Przy projektowaniu okablowania dla centrum danych należy wziąć pod uwagę kilka istotnych aspektów.

Zarządzanie okablowaniem

Zagęszczone i nieuporządkowane okablowanie w trasach kablowych oraz szafach może powodować poważne problemy w centrum danych, utrudniając prawidłowy przepływ chłodnego powietrza do urządzeń lub odprowadzanie gorącego powietrza. Może również prowadzić do uszkodzeń kabli, ograniczać możliwości rozbudowy oraz znacząco utrudniać rutynowe przenoszenie, dodawanie i modyfikowanie połączeń.

• Prowadzenie okablowania o dużej gęstości nad szafami jest jedną ze strategii zapobiegania zagęszczeniu kabli w przestrzeni podpodłogowej, które mogłoby ograniczać przepływ chłodnego powietrza.
• W obrębie szafy rozwiązania do poziomego i pionowego zarządzania okablowaniem pomagają właściwie prowadzić i organizować kable wokół urządzeń, aby utrzymać prawidłowy przepływ powietrza.
• W przypadku okablowania miedzianego, które jest grubsze od światłowodowego i może w większym stopniu ograniczać przepływ powietrza, jednym z rozwiązań jest stosowanie kabli krosowych miedzianych o mniejszej średnicy przewodników.
• Poziome i pionowe zarządzanie okablowaniem ma kluczowe znaczenie dla zachowania właściwego promienia gięcia oraz odciążenia kabli. Przekroczenie dopuszczalnego promienia gięcia lub nadmierne obciążenie kabli może prowadzić do pogorszenia parametrów transmisyjnych lub nawet do braku połączenia.

Testowanie okablowania

W każdej strefie funkcjonalnej centrum danych, połączonej za pomocą okablowania szkieletowego lub poziomego, wykorzystywane są różne media transmisyjne dla różnych zastosowań, które wymagają odpowiedniego testowania.

• Okablowanie szkieletowe pomiędzy obszarami ER, MDA i HDA niemal zawsze wykorzystuje światłowody jednomodowe i wielomodowe.
• Okablowanie poziome pomiędzy HDA a EDA (połączenia przełącznik–serwer) obejmuje połączenia miedziane kategorii 6A lub wyższej albo światłowody wielomodowe.
• Jeśli w obszarze EDA zastosowano architekturę Top-of-Rack (ToR), do tych połączeń często wykorzystuje się bezpośrednie kable połączeniowe Twinax DAC (Direct Attach Cable) wyposażone w moduły SFP+ lub SFP28. Testowanie modułów SFP/QSFP obejmuje weryfikację poprawności dostarczania zasilania.
  Aby uzyskać bardziej szczegółowe informacje na temat tego, co jest testowane w poszczególnych obszarach funkcjonalnych centrum danych, pobierz nasz bezpłatny white paper: „Centrum danych – gdzie i co należy testować?”.

Budżet tłumienia w torach światłowodowych

Tłumienie wtrąceniowe (insertion loss) określa ilość energii traconej przez sygnał podczas transmisji w torze kablowym (tłumienie) oraz straty powstające w punktach połączeniowych, takich jak złącza i spawy. Chociaż tłumienie wtrąceniowe jest jednym z parametrów wydajności systemów okablowania miedzianego, w przypadku systemów światłowodowych stanowi ono podstawowy parametr określający ich wydajność.

Normy branżowe określają maksymalny poziom tłumienia wtrąceniowego dopuszczalny dla prawidłowego działania aplikacji światłowodowych. Aplikacje o wyższych przepustowościach, takie jak 40GBASE-SR4 i 100GBASE-SR4, mają znacznie bardziej rygorystyczne wymagania w tym zakresie.

Centra danych określają swoje budżety tłumienia światłowodowego na podstawie odległości pomiędzy poszczególnymi obszarami funkcjonalnymi oraz liczby punktów połączeniowych występujących w torze transmisyjnym, tak aby spełnić wymagania określone przez standardy. Dokładne wyznaczenie budżetu tłumienia wymaga znajomości wartości tłumienia wtrąceniowego dla konkretnych kabli i elementów połączeniowych stosowanych przez danego producenta.

Podstawowe testowanie światłowodów (certyfikacja Tier 1) polega na pomiarze tłumienia wtrąceniowego całego toru światłowodowego w decybelach (dB) przy użyciu miernika strat optycznych OLTS (Optical Loss Test Set). Producenci systemów okablowania niemal zawsze wymagają wykonania certyfikacji Tier 1 jako warunku uzyskania gwarancji systemowej.
Niektórzy producenci wymagają również certyfikacji Tier 2, realizowanej za pomocą reflektometru optycznego OTDR (Optical Time Domain Reflectometer), który umożliwia analizę strat występujących w konkretnych punktach połączeniowych oraz w samym kablu. Zastosowanie pomiarów OTDR w połączeniu z testami OLTS zapewnia kompleksową strategię testowania, pozwalającą scharakteryzować cały tor transmisyjny i uzyskać najbardziej dokładne wyniki pomiaru tłumienia wtrąceniowego.

Utrzymanie tłumienia światłowodowego w granicach założonego budżetu zależy również od czystości czoła ferruli złączy światłowodowych. Zanieczyszczenia pozostają najczęstszą przyczyną problemów i niepowodzeń testów światłowodowych w centrach danych. Nawet niewielka cząstka znajdująca się na rdzeniu światłowodu może powodować dodatkowe tłumienie i odbicia sygnału, pogarszając parametry transmisji. Dlatego czyszczenie i inspekcja złączy światłowodowych stanowią kluczowy element procesu instalacji i terminacji światłowodów w centrach danych.

Okablowanie i złącza MPO

W centrach danych powszechnie stosuje się okablowanie oraz złącza MPO (Multi-Fiber Push-On). Rozwiązania MPO są wymagane w wielu aplikacjach światłowodowych jednomodowych i wielomodowych o wysokiej przepustowości, które wykorzystują transmisję równoległą (parallel optics) do nadawania i odbierania sygnałów za pośrednictwem wielu włókien jednocześnie.
Złącza MPO są również często wykorzystywane w aplikacjach dupleksowych jako okablowanie szkieletowe pomiędzy panelami krosowymi, ponieważ pozwalają zaoszczędzić miejsce oraz ograniczyć ilość wykorzystywanych materiałów.

Do testowania torów światłowodowych opartych na technologii MPO zaleca się stosowanie testerów światłowodowych obsługujących złącza MPO. Pozwala to skrócić czas pomiarów, ograniczyć złożoność procesu testowania oraz zwiększyć dokładność wyników.

Aby połączenia w centrum danych działały prawidłowo, konieczne jest zachowanie odpowiedniej polaryzacji – sygnał nadawany (Tx) na jednym końcu łącza musi zostać doprowadzony do odpowiedniego odbiornika (Rx) na drugim końcu. Zapewnienie prawidłowej polaryzacji jest bardziej złożone w przypadku połączeń MPO, ponieważ wiele włókien nadawczych i odbiorczych musi zostać poprawnie przyporządkowanych. Testery MPO umożliwiające weryfikację polaryzacji pomagają wykrywać i eliminować błędy związane z nieprawidłowym przyporządkowaniem włókien.

Zdobywaj wiedzę:

MPO w centrum danych i jak je testować

Nie chcesz kupować?:

https://flukenetworks.assmann.pl/wypozycz-tester/