400G optische modules in moderne netwerken

 

De vormfactoroorlogen die niemand heeft gewonnen

 

QSFP-DD en OSFP kwamen uit het standaardproces voort als twee broers en zussen die het nergens over eens konden worden, behalve dat ze allebei 400G wilden. De industrie had acht elektrische rijstroken van elk 50 Gbps nodig, en twee verschillende consortia besloten dat probleem op twee verschillende manieren op te lossen.

QSFP-DD heeft het compatibiliteitsargument gewonnen. Hij past in bestaande QSFP28-kooien als je hard genoeg tuurt en de tweede rij pinnen niet erg vindt. Achterwaartse compatibiliteit is van belang als je tienduizenden ingezette poorten hebt en een CFO die gerichte vragen stelt over gestrande activa.

OSFP won het thermische argument. Dankzij de iets grotere behuizing en het geïntegreerde koellichaam kun je de 15-20 watt die deze modules verbruiken, daadwerkelijk kwijtraken zonder aangrenzende poorten te koken. Ik heb lijnkaarten gezien waarbij de QSFP-DD-hoekpoorten consequent 8 graden heter worden dan de middelste, omdat het luchtstroomontwerp uitging van 100G-vermogensenveloppen.

Geen van beide heeft echt gewonnen. De meeste hyperscalers zijn overgestapt op QSFP-DD vanwege de eenvoud van de inventarisatie. De meeste telecomimplementaties gingen over op OSFP omdat hun samenhangende modules de thermische speelruimte nodig hadden. Alle anderen kozen wat hun schakelaarleverancier had verzonden en gingen verder.

De QSFP112-variant verdient vermelding omdat deze iedereen in verwarring brengt. Vier rijstroken van elk 100 G-hetzelfde 400G-aggregaat, minder rijstroken, nieuwere SerDes. Voor de NIC-connectiviteit is het van belang waar u server-naar-TOR-koppelingen wilt, zonder de complexiteit van de DSP-versnellingsbak. Het doet er minder toe dan verkopers elders beweren.

 

PAM4 heeft alles veranderd (en een paar dingen kapot gemaakt)

 

Dit is wat niemand adequaat uitlegt als ze je 400G verkopen: PAM4-signalering ruilt ruisimmuniteit in voor bandbreedte-efficiëntie, en die afweging is niet gratis.

NRZ-codering gebruikte twee signaalniveaus. Hoog of laag. Eén of nul. Uw ontvanger hoefde alleen maar onderscheid te maken tussen deze twee toestanden, en het oogdiagram gaf u comfortabele marges. PAM4 gebruikt vier niveaus-00, 01, 10, 11-wat betekent dat uw ontvanger nu onderscheid moet maken tussen drie drempeloverschrijdingen met een derde van de spanningsscheiding. De theoretische SNR-straf van 9,54 dB is helemaal niet theoretisch. Het verschijnt elke dag in uw pre-FEC BER-tellers.

De DSP in een 400G-module doet heroïsch werk om dit te compenseren. Feed-voorwaartse equalisatie, beslissingsfeedback-equalisatie, klok- en gegevensherstel-allemaal met 53,125 GBaud per baan. Als het werkt, is het onzichtbaar. Als het niet werkt, krijg je uitbarstingen van corrigeerbare fouten, onderbroken door enkele niet-corrigeerbare fouten, en veel succes met het uitzoeken of het probleem je module, je vezel, je host of de kosmische achtergrondstraling is.

 

 

Golflengtevarianten: meer dan alleen bereik

 

De bereikspecificaties vertellen slechts een deel van het verhaal.

400G-SR8 maakt gebruik van 850 nm VCSEL's over acht parallelle vezels, gericht op 100 meter boven OM4. Het is goedkoop. Het is multimode. Het vereist een MPO-16-connector met acht TX- en acht RX-vezels. Binnen een rack of tussen aangrenzende racks werkt dit prima. Op het moment dat iemand vraagt ​​om het "nog een klein stukje verder" te gebruiken, herinner hem er dan aan dat modale spreiding op 850 nm niet onderhandelt.

400G-DR4 werkt op 1310 nm via vier parallelle single- vezels, geschikt voor 500 meter. De MPO-12-connector gebruikt de acht buitenste vezels en laat er vier ongebruikt-een feit dat kabelinstallateurs ongeveer één keer per implementatie in verwarring brengt. DR4 is het werkpaard geworden voor leaf--spine-connectiviteit in single-mode fabrieken, omdat 500 meter de meeste datacentergeometrieën beslaat en er nog ruimte over is.

400G-FR4 maakt gebruik van CWDM4-golflengten (1271, 1291, 1311, 1331 nm), gemultiplext op één enkel vezelpaar via duplex LC. Twee kilometer bereik. Dit is waar 400G economisch begint te voelen voor campusinterconnecties, omdat je geen acht-glasvezel-MPO-trunks tussen gebouwen trekt.

400G-LR4 strekt dezelfde CWDM4-benadering uit tot 10 kilometer met een hoger lanceervermogen en betere ontvangers. De prijsstijging van FR4 naar LR4 verbaast nog steeds inkoopafdelingen die hun mentale model niet hebben bijgewerkt van 100G-LR4-prijzen.

 

De coherente olifant

 

400G-ZR verdient een eigen sectie omdat het een fundamenteel andere technologie vertegenwoordigt, gekleed in dezelfde vormfactor.

Alles wat ik tot nu toe heb beschreven, maakt gebruik van directe-detectie-optiek. Licht gaat naar binnen, fotodiode zet het om, DSP ruimt het op. Coherente optica codeert tegelijkertijd informatie in zowel amplitude als fase over twee polarisaties, en gebruikt vervolgens een lokale oscillator en geavanceerde digitale signaalverwerking om alles bij de ontvanger te herstellen. Het resultaat: 400 Gbps over 120+ kilometer onversterkte glasvezel in een plug-in module.

De OIF 400ZR-standaard specificeert 16QAM-modulatie bij 60 GBaud met dubbele polarisatie. De aaneengeschakelde FEC (zachte-beslissing binnen Hamming, harde-beslissing buitentrap) levert ongeveer 10,8 dB netto codeerversterking op. Het geheel verbruikt 15-20 watt en genereert warmte die een QSFP-DD-module zou doen huilen.

Ik heb ZR-modules geïnstalleerd zien worden in schakelaars die niet ontworpen waren voor die thermische belasting. Het schakelchassis rapporteerde normale temperaturen omdat de inlaatsensoren koele lucht maten. De module rapporteerde 73 graden omdat deze ingeklemd zat tussen twee andere ZR-modules met onvoldoende luchtstroom. De link werkte-nauwelijks-met verhoogde FEC-correcties die niemand opmerkte totdat de pre-FEC BER de drempelwaarde overschreed en pakketten begonnen weg te vallen.

ZR+- en MZR-varianten vergroten het bereik, ten koste van de interoperabiliteit. Leveranciers-specifieke verbeteringen op het gebied van lanceerkracht, ontvangergevoeligheid en FEC-algoritmen kunnen links uitbreiden tot meer dan 400 km, maar u koopt een oplossing in plaats van een basisproduct.

 

 

De derde-vraag van de derde partij

 

Ik heb dit gesprek ongeveer zeshonderd keer gevoerd.

"Kunnen we 400G-optica van derden- gebruiken?"

Technisch gezien wel. De MSA-specificaties zijn er juist om interoperabiliteit van meerdere leveranciers mogelijk te maken. Een compatibele QSFP-DD van fabrikant X moet zich identiek gedragen als een QSFP van fabrikant Y. De IEEE-normen definiëren de optische en elektrische parameters. CMIS (Common Management Interface Specification) standaardiseert hoe de host met de module praat.

Praktisch gezien hangt het ervan af.

De authenticatiemechanismen van Cisco zijn geëvolueerd van de botte 'fout-de poort uitschakelen'-benadering van oudere platforms naar meer geavanceerde leveranciersverificatie die waarschuwingen registreert maar niet noodzakelijkerwijs de functionaliteit uitschakelt. De service-niet-ondersteunde-zendontvangeropdracht blijft het ontsnappingsluik. Arista is doorgaans toleranter, maar zal weigeren problemen te ondersteunen die voortkomen uit modules van derden-. Het standpunt van Juniper varieert per platform en softwareversie op manieren die het raadplegen van hun compatibiliteitsmatrices vereisen.

Ik gebruik zonder aarzeling optica van derden- in laboratoriumomgevingen. Voor productiepaden die om 2 uur 's nachts inkomsten genereren als er iets mislukt? Ik wil TAC kunnen bellen en ze daadwerkelijk kunnen helpen in plaats van onmiddellijk af te wijken naar "vervanging door ondersteunde transceivers".

De kostenberekening verandert deze berekening voor hyperscalers die met tienduizenden modules kopen en optica-ingenieurs in dienst hebben die leveranciers onafhankelijk kunnen karakteriseren en kwalificeren. Het is een andere berekening voor bedrijven die honderden modules kopen via distributiekanalen met beperkte technische middelen.

 

Thermische realiteit

 

Een 400G QSFP-DD-module verbruikt ergens tussen de 10 en 15 watt, afhankelijk van de variant en de leverancier. Een 400G coherente ZR-module verbruikt 15-20 watt. Een 800G QSFP-DD800-module-die al in AI-clusters is geïmplementeerd, verbruikt 18-25 watt.

Plaats 64 hiervan in een 2RU-switch en je beschikt over 640 watt alleen uit de optica, voordat je rekening houdt met de ASIC van de switch, het geheugen, de ventilatoren en de voedingen. Het thermische ontwerpprobleem is in één generatie veranderd van ‘adequaat’ naar ‘kritisch’.

Ik zag hoe een warmtebeeldcamera een volledig-belaste 400G-ruggengraatschakelaar veegde tijdens een kwalificatietest. De populairste modules waren niet degene die je zou verwachten. Hoekposities, benedenwinds van de ASIC-uitlaat, werden heter dan de middenplaatmodules die frisse lucht kregen. De standaard DDM-temperatuurmetingen vertoonden een spreiding van 17 graden over poorten die zogenaamd identiek waren.

De modulespecificaties beloven werking van 0 graden tot 70 graden, maar de prestatiecurven zien er bij 70 graden niet hetzelfde uit als bij 25 graden. De laserdrempelstroom neemt toe. De hellingsefficiëntie neemt af. Golflengtedrift-en voor CWDM4- en DWDM-systemen betekent golflengtedrift overspraak met aangrenzende kanalen.

Lucht-gekoelde systemen naderen hun grenzen. Vloeistofkoeling voor schakelaars blijft exotisch, maar wordt steeds noodzakelijker voor AI/ML-clusters waar GPU's en optica strijden om hetzelfde thermische budget.

 

 

Realiteiten testen

 

De IEEE-normen definiëren compliancepunten. Ze garanderen niet dat uw specifieke link zal werken.

TDECQ (Transmitter and Dispersion Eye Closure Quaternary) is het PAM4-equivalent van OMA (Optical Modulation Amplitude), maar ingewikkelder. Het probeert de zenderkwaliteit te karakteriseren op een manier die de prestaties van de ontvanger voorspelt. De meting vereist referentieontvangers en wiskundige transformaties die variëren tussen leveranciers van testapparatuur op manieren die eindeloze discussies in de normcommissie veroorzaken.

Testen vóór-FEC BER zijn belangrijker dan ooit. De 'vingerafdruk' van uw bitfouten-willekeurig versus bursty, uniform verdeeld versus geconcentreerd in specifieke PAM4-symbolen-bepaalt of uw FEC deze daadwerkelijk kan corrigeren. Echte willekeurige fouten werken goed samen met Reed-Solomon-codes. Burst-fouten als gevolg van klokherstelproblemen of DSP-wangedrag kunnen de FEC overweldigen, zelfs als de onbewerkte BER er acceptabel uitziet.

Ik heb geleerd om pre-FEC-statistieken te eisen van elke 400G-link, en niet alleen post-FEC. Een link met 0,00 post-FEC BER terwijl pre-FEC BER wordt uitgevoerd op 2×10⁻⁴ ziet er geweldig uit totdat je beseft dat er bijna geen marge meer over is. Voeg daar een licht vervuilde connector of een verouderde laser aan toe, en die link zal zonder waarschuwing over de FEC-klif kantelen.

 

Connectorverontreiniging

 

Bij 400G wordt het besmettingsprobleem acuut. Het gemoduleerde oog heeft minder marge. Deeltjes die bij lagere snelheden onzichtbaar zouden zijn geweest, dempen nu voldoende af om er toe te doen.

Single{0}}vezelkernen hebben een doorsnede van 9 micrometer. Een MTP/MPO-12-connector heeft acht actieve glasvezelpaden (vier TX, vier RX) plus vier ongebruikte. Elke paringscyclus riskeert besmetting. Elk vervuild eindvlak riskeert insertieverlies dat een beslag legt op uw linkbudget.

De vereiste schoonmaakdiscipline is niet-onderhandelbaar, maar wordt zelden consequent gevolgd. Reinigingsmiddelen met één-klik, droge doekjes bij statische problemen, nat reinigen met isopropylalcohol die onmiddellijk moet worden drooggeveegd in plaats van te laten verdampen-elke methode heeft aanhangers en critici. Waar iedereen het over eens is: inspecteer met een glasvezelscoop voordat je hem aansluit, en als deze vuil is, maak hem dan schoon en inspecteer opnieuw.

Ik zag hoe een implementatieteam een ​​hele middag bezig was met het oplossen van problemen met een intermitterende 400G-DR4-link. Meerdere modulewissels. Configuratie beoordelingen. Uiteindelijk brak de inspectiescope uit en vond bouwafval op de schotadapter dat niemand had gedacht te controleren. Twintig seconden met een schoonmaakhulpmiddel loste op wat vier uur probleemoplossing niet kon.

 

 

Wat dit allemaal betekent voor de planning

 

Als u vandaag de dag nieuwe datacenterinfrastructuur implementeert, is 400G de basislijn voor de ruggengraatlaag en in toenemende mate ook voor leaf-spine-uplinks. De kosten per bit zijn gedaald tot een punt waarop een uitbraak van 4×100G uit een 400G-module vaak goedkoper is dan individuele 100G-modules. DR4 voor alles groter dan 30 meter binnen een gebouw. FR4 voor campusverbindingen. LR4 of ZR als u tussen locaties reist.

Als u een onderneming bent die uw eerste 400G-implementatie overweegt, zijn de overstapplatforms volwassener geworden, is de toeleveringsketen van modules gestabiliseerd en is voor de prijsstelling niet langer vereist dat de uitvoerende macht -aftekent bij elke inkooporder. Begin met een vernieuwing van uw -ruggengraat, bewijs dat uw bekabelingsinfrastructuur de strengere besmettingstolerantie aankan en begrijp dat uw beheertools FEC-statistieken moeten gaan verzamelen voordat u ze daadwerkelijk nodig heeft.

Als je een hyperscaler bent die dit leest, ben je al voorbij de 400G voor GPU-clusters en vraag je je af hoe 1,6T daadwerkelijk zal worden ingezet. Veel succes met de thermische problemen; Ik zal je papieren over twee jaar lezen.

De modules zelf zijn opmerkelijk betrouwbaar geworden. De problemen doen zich overal elders voor: vervuilde connectoren, verkeerd geconfigureerde FEC-modi, thermische ontwerpen die uitgingen van de stroombereiken van gisteren, en ondersteunende organisaties die nog steeds leren hoe ze PAM4-signaalintegriteitsproblemen kunnen oplossen. De weinig glamoureuze basisprincipes-het schoonmaken van uw connectoren, het meten van uw temperaturen, het begrijpen van uw FEC-budget-zijn belangrijker dan de debatten over de specificatiebladen ooit zullen doen.