Fibre channel over ethernet: nu of nooit (of later)?

12-11-2009 09:08 | Door Dik van Oeveren | Lees meer artikelen over: Ethernet, Redundancy, TCP/IP, Switches, Blades, FCoE | Er zijn 8 reacties op dit artikel | Permalink
Computable Expert
Dik van Oeveren
Dik van Oeveren

Solutions Architect

Expert van Computable voor de topics: Netwerken en Datacenters

Meer

Fibre channel over ethernet is hot. De vraag is of de technologie rijp is voor algemene acceptatie en uitrol in de markt. Dit artikel beoogt inzicht te geven in de FCoE-technologie. Daarnaast wordt een analyse gemaakt waar we op dit moment staan in de standaardisatie en wordt beargumenteerd waarom men vandaag wel of niet voor een FCoE-oplossing kiest.

Fibre channel is een infrastructuur die toegepast wordt in storage area networks.
De entiteiten van de FC-standaard kunnen vergeleken worden met het OSI-model. FC voorziet in een fysieke laag (FC0), datalinklaag (FC1), netwerklaag (FC2), een serviceslaag (FC3) en een protocol mapping-laag (FC4).

De meest toegepaste methode voor fibre channel is momenteel op basis van een FC-SW (fibre channel switched fabric), ofwel een controller. Op deze controller(s) worden de fibre channel host bus adapters van de san's aangesloten. De fibre channel backbone wordt hoofdzakelijk gebruikt voor het san-verkeer en niet voor dataverkeer tussen clients en servers. Ten behoeve van client connectivity worden extra ethernet netwerkadapters geïnstalleerd in de servers. Er bestaat dus een fysieke scheiding tussen san-backbone en ethernet waardoor extra complexiteit van de infrastructuur ontstaat en extra bekabeling en hardware nodig is.

Sinds 2007 is gestart met de standaardisatie van FCoE. Deze standaard maakt het mogelijk om fibre channel-verkeer (FC0 en FC1) over ethernet te transporteren. Hiermee ontstaat de mogelijkheid om zowel IP-verkeer als FC-verkeer over een enkele infrastructuur te laten opereren.

Een aantal maanden geleden heeft het T11 Committee de zogenaamde FC-BB-5-standaard geratificeerd. Deze standaard behelst de vastlegging van de codering en het frameformaat van FCoE. Alleen, met de ratificering van deze standaard is FCoE nog geen feit. Een cruciaal element in FC is het feit dat er geen verlies van data mag optreden. De FCoE-standaard opereert op de fysieke en datalinklaag van het OSI-model. De datalinklaag voorziet niet in mechanismen die het verlies van data voorkomen. Dit in tegenstelling tot iSCSI welke op de netwerklaag van het OSI-model opereert. De netwerklaag voorziet hier wel in op basis van het flow control en IP TOS-mechanisme

Het is dus noodzakelijk dat er extra standaarden vastgelegd worden die ervoor zorgen dat data delivery van san gewaarborgd blijft. De IEEE802.1 Committee houdt zich sinds 2007 bezig met standaardisering van de protocollen die nodig zijn voor lossless ethernet (data center bridging).

IEEE 802.1Qbb (priority-based flow control) is een enhancement van het zogenaamde IEEE802.3X Pause Packet. PFC zorgt naast flow control ook voor de mogelijkheid om netwerkverkeer te classificeren en te prioriseren. Dit is belangrijk om netwerkcongestie te voorkomen.

IEEE 802.1Qaz (enhanced transmission selection) zorgt voor een toekenning van bandbreedte voor gespecificeerde applicaties op een geconvergeerde netwerkverbinding (ethernet en FCoE-frames gecombineerd op een enkele verbinding). Bijvoorbeeld kan voor IPC-verkeer (san-clustering) maximale prioriteit toegekend worden, terwijl voor TCP/IP en regulier san-verkeer een bepaalde bandbreedte toegekend wordt.

IEEE802.1Qau wordt toegepast voor notificatie van congestie tussen hosts en controllers in op basis van de datalink-layer.

IEEE 802.1 DCBX (data center bridging exchange protocol) is gebaseerd op het standaard link layer discovery protocol (LLDP) en zorgt voor het automatisch instellen van de verbinding op basis van uitwisseling van parameters tussen converged enhanced ethernet (CEE) hosts en switches.

Het zal zeker nog een jaar duren voordat deze standaarden daadwerkelijk geratificeerd zijn. Tot die tijd zijn de nu beschikbare FCoE-oplossingen proprietary en merkgebonden. De vraag rijst dan ook of het zinvol is om nu te kiezen voor een FCoE-oplossing.

De diverse analisten raden sterk aan om te wachten tot de oplossing volwassen is en de standaarden zijn geratificeerd. Zelfs marktleider Brocade geeft in een van zijn whitepapers aan dat de standaard nog niet volwassen is en er nog veel research plaats moet vinden om de oplossing stabiel te krijgen. Daarnaast liggen de initiële aanschafkosten van een FCoE-oplossing hoog ten opzichte van het in stand houden van een bestaande FC-infrastructuur. FCoE behelst de aanschaf van speciale netwerkadapters (converged networkadapter) en nieuwe FCoE-switches. Op dit moment zijn er alleen top of rack FCoE-switches beschikbaar die op basis van multi 10 Gbps ethernet naar een core switch verbinden. Dit houdt in dat er op dit moment ook geen volledige FCoE-oplossing beschikbaar is in de markt.

Cisco heeft bijvoorbeeld de Nexus 5000 uitgebracht (acquisitie Nuova). Dit is een ToR-controller die in een rack geplaatst wordt en op basis van FCoE verbonden wordt met CNA's. De uplink is gebaseerd op ethernet. De Nexus 4000 is een oem-versie van de Nexus 5000. Het domeinbereik van de san is hiermee beperkt tot de controller. Het is niet zonder meer mogelijk om het san-domein uit te breiden over verschillende ToR-controllers waardoor de mogelijkheden voor redundancy beperkt worden tot een enkel rack. Brocade heeft zeer recent een FCoE-blade uitgebracht voor hun FC DCX-chassis, maar ook hier betreft het geen geïntegreerde netwerkbrede FCoE-oplossing.

H3C is een nieuwe speler in de enterprisemarkt. Zij hebben op dit moment geen FCoE-oplossing, maar wel een duidelijke roadmap. H3C geeft aan producten beschikbaar te hebben zodra de standaarden geratificeerd zijn. Zij werken samen met chipfabrikanten Marvell en Broadcom. Hun datacenteroplossing (S5820 en S12500) is in ieder geval voorbereid op FCoE.

Fibre channel over ethernet zal de komende jaren in sterk toenemende mate een belangrijke rol gaan spelen in de datacenteromgevingen. Op dit moment is het alleen interessant voor de very early adopters om in de praktijk kennis te maken met deze technologie. Zolang de standaarden niet geratificeerd zijn en de kosten van aanschaf en onderhoud te hoog zijn, zal implementatie van FCoE de nodige risico's met zich meenemen voor wat betreft wijzigingen in standaarden en het gebrek aan mogelijkheden om de reeds aangeschafte producten zonder kosten te migreren. Hier geldt dus het credo: bezint eer gij begint.

Reacties op dit artikel
Geen ratingdvdc, 13-11-2009 12:56
Leuk artikel, maar kan de redacteur/auteur een volgende keer wel eerst een spellingcheck uitvoeren?
Geen ratingDik van Oeveren, 13-11-2009 20:12
Met excuses voor de drie fouten. Ik hoop wel dat de inhoud van het artikel zinvol is.
Geen ratingFred, 18-11-2009 16:34
Het is wel goed om te vermelden dat de auteur in dienst is van 3Com, een leverancier die op dit moment nog geen FCoE producten in het assortiment heeft.
Geen ratingDik van Oeveren, 19-11-2009 9:29
Hallo Fred,
 
Dit klopt inderdaad. Zolang er geen geratificeerde standaarden beschikbaar zijn zullen we voorzichtig zijn met het op de markt brengen van de FCoE producten. De huidig beschikbare FCoE producten kunnen niet conformeren aan de standaarden omdat deze nog niet geratificeerd zijn door de DCB committee. Lossless Ethernet is hiermee dus geen feit en wordt nu door middel van proprietary methodes opgelost. Zoals gezegd in het artikel, als men die route verkiest, het niet erg vindt om alles bij een enkele vendor onder te brengen, early adopter te zijn en de hoofdprijs te betalen dan kan ik daar niets tegen inbrengen.
Men heeft altijd een keuze... Het feit blijft dat op dit moment alleen Cisco en EMC (logisch) FCoE propageren. De rest van de wereld (analisten, vendoren) is terughoudend met de technologie.
Geen ratingSven, 25-11-2009 10:06
De rest van de wereld terughoudend is geen sprake van.
Zo voert IBM bijvoorbeeld al Cisco, Brocade en Juniper CEE oplossingen. Erg terughoudend is de markt ook niet. Als sales kom ik geregeld de vraag al concreet tegen.
Geen ratingDik van Oeveren, 29-11-2009 15:15
Hallo Sven,
 
Brocade geeft aan dat het veel te vroeg is voordat FCoE volwassen is (pagina 4):
http://www.brocade.com/downloads/documents/white_papers/EmergingFCoEProtocol_WP_01.pdf
 
Gartner geeft hetzelfde aan in document G00167903 (augustus 2009):
 
Key Findings
? Top-of-rack convergence provides the largest benefit with the least disruption.
? Using a single technology for LAN and storage area network (SAN) access within the
rack can deliver savings without requiring a converged backbone.
? Existing solutions may lack sufficient throughput for SAN traffic, forcing Balkanization of
storage and driving up cost and complexity.
? Although the T11 Fibre Channel over Ethernet (FCoE) standard has been approved, it is
only a piece of the standards puzzle required to construct converged networks.
? Alternative technologies may offer superior approaches to FCoE for in-the-rack
networking.
Recommendations
? Consider all of the options for I/O virtualization.
? If you decide to adopt FCoE/Converged Enhanced Ethernet (CEE) as your I/O
virtualization technology, use a phased approach to deployment to avoid vendor lock-in
and increased long-term costs.
? Require all vendors to contractually commit to no-cost upgrades to the appropriate
standards for all components within six months of the ratification of those standards.
? Be wary of vendor claims that you can build a standards-compliant end-to-end
converged data center network today, or within the next 18 months.
 
De markt wordt op dit moment gedicteerd door een enkele vendor. Het feit dat er vraag is, komt vooral voort uit de marketing die rond FCoE gevoerd wordt en er wordt naar mijn mening te weinig gekeken naar de volwassenheid van de oplossingen.
Er zijn op dit moment een paar FCoE spelers in de markt (Cisco (Nuova), Qlogic, Brocade en Blade Networks). Alle FCoE oplossingen zijn gebaseerd rondom deze brands. De oplossingen die beschikbaar zijn beperken zich tot een enkele switch. Stel je voor dat je een DataCentre wilt uitrollen met verschillende ToR FCoE switches zul je die toch op een bepaalde manier deze switches via een backbone willen verbinden (cloud en virtualisatie). Omdat Lossless Ethernet niet mogelijk is op dit moment op core (chassis) switches, kun je dus geen redundancy bouwen over verschillende racks op basis van FCoE.
 
Een andere ontwikkeling is de verwachte ratificering van 40 en 100 Gbps Ethernet in de loop van 2010. Stel je voor dat je iSCSI SAN's op basis van 40 Gbps netwerkwijd kunt uitrollen. FCoE (met huidige snelheid van 10 Gbps over Ethernet) krijgt er dan een geduchte concurrent bij.
 

 
Geen ratingHans, 03-12-2009 23:11
Momenteel help ik een klant bij de eerste implementatie van FCoE. Dik, dit is geen oplossing met EMC - er zijn nog meer storage vendors die FCoE propageren! NetApp in dit geval.
 
Er zijn wel een aantal serieuze afwegingen te maken, voordat je met FCoE begint. Dit behelst het gehele datapad van server tot storage device.
Alles moet op elkaar afgestemd worden.
Van server naar switch:
Server O/S type en versie
CNA (= FCoE HBA) merk, type, aantal poorten, firmware versie
Kabel type (koper of fiber) (???? - ??)
Switch merk en samenstelling
 
Van switch naar storage:
Storagesysteem geschikt voor FCoE?
Welke OS-level heeft dit systeem?
Welke FCoE-kaart(en) past?
Firmware level van de kaart?
 
Is de huidige storage geschikt voor FCoE?
Zoniet, dan moet je besluiten voorlopig een traditionele koppeling toe te passen:
FC of iSCSI
 
Is FCoE wel mogelijk in de storage als koppelvlak, dan dient deze van de storagefabrikant betrokken te worden.
 
Het hele datapad moet door de storagefabrikant gecertificeerd zijn. Dat geldt voor welke combinatie dan ook - voor alle FCoE of de combinatie FCoE - FC.
 
Last but not least - de kopplevlakken (SFP's) zijn ook in deze wereld uiterst belangrijk.
Het is dan ook zaak, je te verzekeren, dat de fabrikanten van de storage, switch en CNA goed met elkaar (willen) samenwerken.
 
Toch heeft FCoE veel voordelen.
Veel minder kabels.
Je kunt veel kleinere servers gebruiken.
Lager stroomverbruik.
Minder koeling nodig.
Overzichtelijker fysieke verbindingen.
Beheer wordt eenvoudiger - verbindingen worden voor een groot deel virtueel (jawel ook hier)
Grotere flexibiliteit in de benutting van de kabels. Bijvoorbeeld overdag meet IP bandbreedte en in de nacht meer FC bandbreedte (back-up werk wil veel bandbreedte)
 
In het grotere kader moet vooraf worden afgewogen, of en zoja hoe men twee datacenters met elkaar wil verbinden.
Waar wil je beginnen met de migratie naar FCoE.
Zeker in deze tijd is een big bang scenario niet te verwachten. De flinke kosten en grote migratie inspanningen vereisen een zorgvuldige afweging.
 
Zoals overal is de oplossing (FCoE in dit geval) in een aantal gevallen heel goed inzetbaar. In andere situaties zijn andere oplossingen te verkiezen.
De redactie vindt deze reactie: GoedDik van Oeveren, 04-12-2009 13:24
Hallo Hans,
 
Een zeer heldere uitleg. Je slotwoord sluit aan bij mijn conclusie. FCoE is zeker inzetbaar, maar kijk goed naar je situatie, probeer vendor lock te voorkomen en probeer zoveel mogelijk garanties te krijgen voor kostenloze upgrades naar oplossingen die de geratificeerde standaarden gaan ondersteunen.
In het geval van Netapp, sorry dit is uiteraard ook een speler in de FCoE markt. Waar ga je je Netapp op aansluiten? Op een Nexus, Brocade (denk ik niet), of een Blade Networks? Overigens, Juniper heeft nu ook een FCoE oplossing beschikbaar. En ja, het is een oplossing van Blade Networks. Welke chipsets gebruikt Netapp in haar FCoE producten? Emulex toch? Tja, had ik niet genoemd.
Wat ik hiermee wil zeggen is dat er maar enkele spelers in de markt zijn die echt FCoE producten hebben. Alle andere leveranciers OEM'en of kopen de halffabrikaten in. Hier is op zich niets op tegen uiteraard maar het geeft wel de volwassenheid van de markt aan. Men is voorzichtig met het zelf ontwikkelen van producten, er wordt vraag gecreeerd door een enkele speler in de markt, de markt wil volgen en andere vendoren moeten op de bandwagon springen om de klant te kunnen bedienen.
Er is nog een artikel van de Yankee group waarin de hype lifecycle gelinkt wordt aan FCoE (op Computable vind je een ander artikel dat de hype lifecycle behelst, deze is ook toepasbaar op technologien). Volgens de Yankee group bevindt FCoE zich op de eerste opgaande curve.
Maar goed, genoeg gepleidooid. Bedankt voor je uitgebreide en zeer zinvolle response.
11 vacatures
Embedded Software Engineer (M/V)

Avantes , Apeldoorn

Architect Infrastructuur (40 upw)

NCCW , Almere

Network Engineer Remote Control

Qi ict , Delft

ICT Engineer

Lancom B.V. , Rotterdam

Technical Engineer

Qi ict , Delft

Top 10 Reagerende members
  Aantal reacties
met 3+ sterren
Gemiddelde
waardering
Klik voor meer info1 1556 6.2
Klik voor meer info2 1288 6.0
Klik voor meer info3 1262 6.2
Klik voor meer info4 1065 6.2
Klik voor meer info5 973 6.1
Klik voor meer info6 901 6.1
Klik voor meer info7 755 6.2
Klik voor meer info8 516 6.1
Klik voor meer info9 394 6.0
Klik voor meer info10 391 6.2