Toekomst van data: 400 g optische module

 

 

De vormfactoroorlogen waar niemand eerlijk over praat

 

Loop een willekeurige netwerkconferentie binnen en je hoort het debat over QSFP-DD versus OSFP, gepresenteerd als een technische vergelijking. Dat is het niet. Het is een politieke strijd, verwoord in specificatiebladen.

QSFP-DD won de volumestrijd voordat de eerste 400G-switch werd verzonden. Achterwaartse compatibiliteit met QSFP28-kooien betekende dat elke netwerkoperator theoretisch kon upgraden zonder de bestaande infrastructuur eruit te halen. Dat is 'theoretisch' een zware opgave.-Ik heb gezien hoe ingenieurs hele weekenden bezig zijn geweest met het proberen oudere schakelaarfirmware modules met dubbele-dichtheid te laten herkennen die fysiek passen maar zich elektrisch niet gedragen.

OSFP kwam uit het kamp van Arista met een eenvoudig veld: grotere module, betere thermiek, helemaal opnieuw ontworpen voor 400G in plaats van acht rijstroken in een kooi te dwingen die voor vier was gebouwd. Het geïntegreerde koellichaam verwerkt 15-20 watt zonder te zweten. QSFP-DD bij 12 watt? De thermische grenzen worden al verlegd bij toepassingen met hoge dichtheid.

De sector koos toch voor QSFP-DD. Compatibiliteit wint. Altijd gedaan.

Maar dit is wat de artikelen over de vormfactorvergelijking nooit vermelden: de verschillen in thermische capaciteit worden op grote schaal dramatisch groter. Een 400G-switch met 32-poorten, volledig gevuld met QSFP-DD-modules, verbruikt ongeveer 640 watt alleen al aan de optica. Dat is vóór de switch ASIC, besturingsvlak, ventilatoren, voedingen. We hebben het over 1,5-2 kilowatt totaal in een 1RU-chassis. De luchtstroomtechniek die nodig is om deze modules onder de grenswaarden voor de junctietemperatuur te houden, grenst aan het lucht- en ruimtevaartontwerp.

 

PAM4 maakte alles moeilijker

 

Iedereen viert PAM4 voor het verdubbelen van de spectrale efficiëntie. Niemand heeft het over de technische nachtmerrie die het veroorzaakte.

NRZ was eenvoudig. Twee spanningsniveaus. Het signaal vertegenwoordigt een één of een nul. Uw oogdiagram heeft één opening. Als het schoon is, ben je goud waard.

PAM4 verzendt twee bits per symbool met behulp van vier amplitudeniveaus. Drie gestapelde oogopeningen. Elk oog is ongeveer een-derde van de hoogte van een gelijkwaardig NRZ-oog. De geluidsmarges storten in. Plotseling is elke millimeter PCB-spoor van belang. Elke via creëert reflectie. Elke impedantiediscontinuïteit tussen de host-ASIC en de optische modulekooi wordt een betrouwbaarheidsprobleem.

Ik heb zes maanden besteed aan het debuggen van een 400G-implementatie waarbij willekeurige CRC-fouten op specifieke poorten verschenen. De oorzaak? Een iets afwijkende-van-specificatieconnector op het hostbord zorgde voor net genoeg retourverlies om het laagste PAM4-oog te beschadigen. Perfect geschikt voor 100G-verkeer. Catastrofaal voor 400G.

Het antwoord van de industrie was verplichte FEC. Je kunt geen 400G PAM4-optiek gebruiken zonder voorwaartse foutcorrectie-de onbewerkte BER overschrijdt eenvoudigweg bruikbare drempels. RS(544.514) voegt ongeveer 300 nanoseconden latentie toe. Niet enorm. Maar vertel dat aan het HPC-cluster dat MPI-taken uitvoert, waarbij elke microseconde staartlatentie de voltooiingstijd van de taak beïnvloedt.

 

 

Siliciumfotonica moest ons redden

 

De toonhoogte voor siliciumfotonica klinkt op papier perfect. Maak gebruik van tientallen jaren aan CMOS-fabrieksinvesteringen. Integreer modulatoren, fotodetectoren en golfgeleiders op één enkele chip. Bereik schaalvoordelen die afzonderlijke InP- en GaAs-componenten nooit zouden kunnen realiseren. Het stroomverbruik daalt met 20-30%. De kosten bereiken uiteindelijk een gelijkheid en ondermijnen vervolgens de traditionele benaderingen.

Intel verscheepte meer dan drie miljoen 100G silicium fotonische transceivers. Alibaba implementeerde vanaf 2020 400G DR4 silicium fotonische modules in hun cloudnetwerk. De technologie werkt.

Maar siliciumfotonica heeft een smerig geheim: de lichtbronnen kunnen nog steeds geen silicium zijn.

U hebt een externe laser nodig-meestal een indiumfosfide-chip-die is gebonden aan de silicium-PIC of is gekoppeld via glasvezel. Die hybride integratie voegt productiecomplexiteit toe. De opbrengsten lijden eronder. Het kostenvoordeel dat iedereen beloofde, wordt steeds weer een nieuwe generatie verdrongen.

Tot de bedrijven die hun inzet op siliciumfotonica voor 400G verdubbelen, behoren een aantal zeer slimme mensen die zeer dure weddenschappen afsluiten. Cisco's overnames van Luxtera en Acacia bedroegen in totaal $3,26 miljard. Dat is geen R&D-budgetgeld. Dat zijn strategische investeringen in infrastructuur.

Marktaandeelgegevens vertellen een ingewikkelder verhaal. Volgens LightCounting vertegenwoordigen silicium fotonische modules nog steeds minder dan 10% van de totale 400G-leveringen, ondanks jaren van hype. Traditionele op EML-gebaseerde transceivers domineren DR4- en FR4-toepassingen. De technologietransitie verloopt langzamer dan de persberichten suggereerden.

 

Wat de specificatiebladen verbergen over bereik

 

De IEEE-naamgevingsconventie voor 400G-optica lijkt nuttig totdat u daadwerkelijk modules probeert te kopen.

400G-SR8: 100 meter via multimode glasvezel. Acht parallelle rijstroken op 850 nm. Prima voor verbindingen binnen-racks. Vreselijk voor iets anders.

400G-DR4: 500 meter via single- glasvezel. Vier parallelle rijstroken op 1310 nm. Het werkpaard voor de meeste datacenterverbindingen.

400G-FR4: 2 kilometer, single-mode, CWDM-golflengten gemultiplext op één vezelpaar. Maakt gebruik van dure extern gemoduleerde lasers.

400G-LR4: 10 kilometer. Hetzelfde golflengteschema als FR4 maar met optische versterking om het bereik te vergroten.

Eenvoudig genoeg. Alleen spelen fabrikanten constant snel en los met deze aanduidingen.

Ik heb "DR4-compatibele" modules gezien die onder laboratoriumomstandigheden 500 meter bereikten en faalden op 300 meter met een echte vezelinstallatie met een licht verhoogd connectorverlies. De specificatie zegt 500 meter met een linkbudget van 7dB. De wiskunde werkt perfect, uitgaande van overal ongerepte verbindingen. De realiteit omvat vuile connectoren, onvolmaakte verbindingen en glasvezelkabels die een iets langere weg door het plafond hebben afgelegd dan de kabelmanagementtekeningen aangeven.

Het FR4-bereik van 2 km klinkt voldoende totdat u gebouwen op een campus met elkaar verbindt en ontdekt dat uw glasvezelpad 2,3 kilometer meet. Nu heb je LR4-modules nodig die drie keer zo duur zijn, of je wordt creatief met versterking, of je accepteert dat deze link niet echt werkt.

 

De DR4 versus FR4-beslissing

 

Deze is eigenlijk van belang voor echte implementaties en niemand legt het goed uit.

DR4 gebruikt vier parallelle vezels voor zenden en vier voor ontvangen. In totaal acht vezels. MPO-12-connector met vier ongebruikte posities. Maximaal bereik 500 meter. Stroomverbruik doorgaans 8-10 watt. Modulekosten ongeveer 60% van gelijkwaardige FR4.

FR4 maakt gebruik van golflengteverdelingsmultiplexing om alle vier de rijstroken op één enkel vezelpaar te plaatsen. Duplex LC-connector. Maximaal bereik 2 kilometer. Stroomverbruik doorgaans 10-12 watt. Premiumprijzen omdat EML-lasers niet goedkoop zijn.

De vezeltopologie bepaalt alles.

Greenfield datacenter met gestructureerde bekabeling die u wenst? Parallelle vezels zijn logisch. Leid MPO-trunkkabels tussen rijen. Gebruik DR4 overal. Lagere opticakosten compenseren de extra glasvezel.

Brownfield-omgeving met bestaande duplexvezelfabriek? FR4 of je trekt een nieuwe kabel.

Gemengde omgeving met enkele parallelle runs en een aantal duplex-legacy-installaties? Welkom bij de compatibiliteitsnachtmerrie. Je zult eindigen met beide moduletypen, verschillende connectorstijlen en ten minste één kast waarin iemand de verkeerde patchkabel heeft gebruikt en vier uur heeft besteed aan het oplossen van "link-down" -waarschuwingen.

 

De uitbraakvraag

 

Een 400G-DR4-module bevat vier 100G-lanes. Elke baan werkt onafhankelijk op de optische laag. Dit maakt breakout- mogelijk door één 400G-switchpoort aan te sluiten op vier afzonderlijke 100G-apparaten met behulp van een breakout-vezelassemblage.

De economie klinkt overtuigend. Eén 400G-poort. Vier 100G-servers. Er zijn geen extra switchpoorten nodig.

De realiteit is ingewikkelder.

Switch-ASIC's ondersteunen niet altijd willekeurige breakout-configuraties. Sommige platforms vereisen specifieke firmware. Anderen staan ​​alleen breakout toe op bepaalde poortgroepen. Een paar implementeren een breakout in de hardware, maar de softwarestack biedt de configuratieoptie niet.

Erger nog: breakout-kabels zorgen voor ondersteuningsnachtmerries. Is het probleem de 400G-module, de breakout-assemblage of een van de vier 100G-apparaatpoorten? Het oplossen van problemen vereist het verwisselen van kabels, het afzonderlijk testen van elke poot en bidden dat het probleem reproduceerbaar is.

Ik heb organisaties overal zien standaardiseren op native 100G, specifiek om breakout-complexiteit te voorkomen. De optiek kost meer. De dichtheid van de switchpoorten lijdt eronder. Maar de operationele eenvoud wint.

 

 

Stroomverbruik Realiteit

 

Op elk gegevensblad van de 400G-module staat het energieverbruik vermeld. De cijfers zijn technisch accuraat en praktisch nutteloos.

Een QSFP-DD DR4 kan een standaardvermogen van 8,5 watt leveren. Dat is de module die onder normale bedrijfsomstandigheden afkomstig is van de 3,3V-rail van de schakelaar. Het extra vermogen dat de switch-ASIC verbruikt bij het besturen van die acht 50G PAM4-banen, is niet inbegrepen. Hierbij wordt geen rekening gehouden met de overhead van het thermische beheer,-krachtigere ventilatoren, extra luchtstroom en misschien aanvullende koeling.

Bij 32 poorten per switch komt het verschil tussen modules van 8 watt en 12 watt uit op 128 watt. Dat is niet triviaal als u de stroomverdeling voor een hele rij racks plant.

De overstap van 100G naar 400G verviervoudigt het energieverbruik per poort niet.-De efficiëntiewinst door integratie en DSP-verbeteringen helpen daarbij. Maar het totale vermogen per schakelaar is absoluut toegenomen. Datacenters die een elektrische en koelinfrastructuur met een dichtheid van rond de 100G hebben gepland, ontdekken capaciteitsbeperkingen bij het upgraden naar 400G bij volledige bezetting.

 

Compatibiliteit is niet binair

 

Verkopers beweren graag dat ze ‘compatibel zijn met alle grote switchplatforms’. Deze verklaring is technisch verdedigbaar en praktisch misleidend.

De compatibiliteit van optische modules hangt van meer af dan fysieke pasvorm en elektrische signalering. DOM-protocollen (Digital Optical Monitoring) variëren per leverancier. CMIS-implementaties (Common Management Interface Specification) hebben voldoende flexibiliteit zodat twee "compatibele" implementaties mogelijk niet goed samenwerken. Sommige schakelaars controleren de ID-codes van leveranciers en weigeren niet-herkende modules volledig aan te steken.

De grijze markt voor 'compatibele' 400G-optiek explodeerde juist omdat merk-naammodules 3-5x meer kosten dan alternatieven van derden. Sommige van die alternatieven werken feilloos. Anderen veroorzaken subtiele problemen die zich alleen manifesteren onder specifieke verkeerspatronen of na wekenlang hardlopen.

Ik heb persoonlijk 400G DR4-modules van derden- getest die alle conformiteitsmetingen in het laboratorium hebben doorstaan ​​en vervolgens onherstelbare FEC-fouten hebben veroorzaakt bij 2% van het verkeer onder productiebelasting. De temperatuur in de module bij aanhoudend hoge-bandbreedte overschreed wat de optische componenten aankonden. De module werkte. Tot het niet gebeurde.

 

Wat 800G betekent voor 400G

 

De 800G-transitie is al aan de gang. Hyperscalers implementeren vandaag de dag 800G. De rest van de industrie zal binnen 18 tot 24 maanden volgen.

Dit betekent niet dat 400G overbodig wordt-de modules zullen jarenlang worden geleverd-maar het verandert wel de economie.

800G gebruikt acht 100G-lanes in plaats van de acht 50G-lanes van 400G. Dezelfde PAM4-modulatie, hogere symboolsnelheid per baan. De natuurkunde wordt moeilijker. Thermische enveloppen duwen richting 20-25 watt per module. Het thermische voordeel van OSFP wordt relevanter bij deze vermogensniveaus.

Belangrijker nog is dat 800G-modules kunnen worden uitgebreid tot dubbele 400G-configuraties. Eén 800G-2xDR4-module biedt twee onafhankelijke 400G-verbindingen. Voor omgevingen met gemengde 400G- en 800G-vereisten vereenvoudigt deze breakout-mogelijkheid het voorraadbeheer.

De datacenteroperators met wie ik spreek, houden meestal vast aan 400G voor leaf-{1}}spine-connectiviteit, terwijl ze 800G evalueren voor GPU-clusterverbindingen waar de bandbreedtedichtheid het belangrijkst is. De AI-trainingsbelastingen met alle-tot-communicatiepatronen leggen echt de nadruk op 400G-verbindingen op manieren die bij traditioneel noord-zuid-verkeer nooit hebben plaatsgevonden.

 

De co-verpakte optiekhorizon

 

Iedereen in de sector weet dat CPO eraan komt. Optische transceivers die rechtstreeks zijn geïntegreerd met switch-ASIC's. Er zijn helemaal geen insteekbare modules. Het stroomverbruik daalt van 15 picojoule per bit naar misschien 5, mogelijk onder de 1 picojoule naarmate de technologie volwassener wordt.

NVIDIA heeft CPO-plannen aangekondigd voor hardware voor 2025/2026. Meta en Microsoft hebben prototypes gedemonstreerd. OIF standaardiseert interfaces.

De vraag is niet of CPO gebeurt. Het gaat erom of het snel genoeg gebeurt om van belang te zijn voor uw huidige planningscyclus.

Wat ik heb gelezen: plug-in optica domineert tot minstens 2028 voor de meeste implementaties. CPO kan eerder in aangepaste hyperscaler-builds verschijnen. De operationele flexibiliteit van hot-swappable modules-de mogelijkheid om een ​​defecte optiek te vervangen zonder een switch uit te schakelen-is enorm belangrijk voor omgevingen zonder N+1 redundantie overal.

Plan vandaag nog voor plug-in 400G en 800G. Budget voor CPO-evaluatie over drie jaar. Laat de roadmap-dia's van leveranciers geen tijdlijnen versnellen die de productierealiteit niet kan ondersteunen.

 

Praktische begeleiding die daadwerkelijk helpt

 

Voor nieuwbouw: standaardiseer op DR4 met parallelle glasvezelinfrastructuur. De kostenbesparingen ten opzichte van FR4 bestrijken duizenden modules. Plan stroom en koeling voor 10 watt per module, zelfs als de specificatiebladen 8 beloven.

Voor upgrades: controleer obsessief uw bestaande vezelfabriek. Ken het daadwerkelijk gemeten verlies op elk segment. Ontdek de 400 meter DR4-limietovertredingen voordat uw optiek arriveert.

Voor AI-clusters: 800G is al het juiste antwoord. De bandbreedtevereisten rechtvaardigen de premie. Stap niet half-naar 400G als uw werklast dit binnen 18 maanden zal ontgroeien.

Voor iedereen: test optica van derden- uitgebreid voordat u volume implementeert. De kostenbesparingen zijn reëel. Dat geldt ook voor de mislukkingen. Valideer met uw specifieke switchplatforms onder realistische belasting voordat u inventarisdollars vastlegt.

De technologie werkt. Twintig miljoen 400G- en 800G-modules zijn niet voor niets in 2024 verzonden. Maar de overgang van 100G vereist aandacht voor details die specificatiebladen en marketingmateriaal gemakshalve achterwege laten. De natuurkunde geeft niets om je implementatietijdlijn.