400G optiskie moduļi mūsdienu tīklos

 

Form Factor Wars neviens neuzvarēja

 

QSFP-DD un OSFP radās no standartizācijas procesa kā divi brāļi un māsas, kuri nevarēja vienoties par neko, izņemot to, ka viņi abi vēlējās 400 G. Nozarei bija vajadzīgas astoņas elektriskās joslas ar ātrumu 50 Gbps, un divi dažādi konsorciji nolēma šo problēmu atrisināt divos dažādos veidos.

QSFP-DD uzvarēja saderības argumentā. Tas ir piemērots esošajiem QSFP28 būriem, ja jūs pietiekami stingri sašķiedaties un neiebilstat par otro tapu rindu. Atgriezeniskajai savietojamībai ir nozīme, ja jums ir desmitiem tūkstošu izvietotu ostu un finanšu direktors, kurš uzdod konkrētus jautājumus par balasta līdzekļiem.

OSFP uzvarēja termisko argumentu. Nedaudz lielāks korpuss un integrētais dzesētājs nozīmē, ka jūs faktiski varat izkliedēt 15-20 vatus, ko šie moduļi patērē, negatavojot blakus esošos portus. Esmu redzējis līnijas kartes, kurās stūra QSFP-DD porti pastāvīgi darbojas par 8 grādiem karstāki nekā vidējie, jo gaisa plūsmas dizains paredzēja 100 G jaudas aploksnes.

Neviens īsti neuzvarēja. Lielākajai daļai hiperskalētāju krājumu vienkāršības dēļ tika izmantota QSFP{1}}DD. Lielākajai daļai telekomunikāciju izvietojumu tika izmantots OSFP, jo to saskaņotajiem moduļiem bija nepieciešama termiskā telpa. Visi pārējie izvēlējās to, ko nosūtīja slēdžu pārdevējs, un devās tālāk.

QSFP112 variants ir pelnījis pieminēt, jo tas mulsina visus. Četras joslas ar 100 G katru-tāds pats 400 G, mazāk joslu, jaunāki SerDes. NIC savienojumam ir svarīgi, kur vēlaties izveidot servera-uz-TOR saites bez DSP pārnesumkārbas sarežģītības. Tam ir mazāka nozīme, nekā pārdevēji apgalvo citur.

 

PAM4 mainīja visu (un salauza dažas lietas)

 

Lūk, ko neviens pienācīgi nepaskaidro, pārdodot jums 400G: PAM4 signalizācija maina prettrokšņu noturību pret joslas platuma efektivitāti, un šis kompromiss nav bezmaksas.

NRZ kodējums izmantoja divus signāla līmeņus. Augsts vai zems. Viens vai nulle. Jūsu uztvērējam vienkārši vajadzēja atšķirt šos divus stāvokļus, un acu diagramma sniedza jums ērtas robežas. PAM4 izmanto četrus līmeņus-00, 01, 10, 11-kas nozīmē, ka jūsu uztvērējam tagad ir jānošķir trīs sliekšņu krustojumi ar vienu trešdaļu sprieguma atdalīšanas. Teorētiskais 9,54 dB SNR sods vispār nav teorētisks. Tas tiek parādīts jūsu pirms FEC BER skaitītājos katru dienu.

DSP 400G modulī veic varonīgu darbu, to kompensējot. Plūsmas-uz priekšu izlīdzināšana, lēmumu atgriezeniskās saites izlīdzināšana, pulksteņa un datu atkopšana-viss darbojas ar ātrumu 53,125 GBaud katrā joslā. Kad tas darbojas, tas ir neredzams. Ja tas nedarbojas, jūs saņemat labojamu kļūdu uzliesmojumus, ko ik pa laikam papildina nelabojamas kļūdas, un veiksmi, lai noskaidrotu, vai problēma ir jūsu modulī, šķiedrā, resursdatorā vai kosmiskajā fona starojumā.

 

 

Viļņa garuma varianti: vairāk nekā tikai sasniedzamība

 

Sasniedzamības specifikācijas stāsta tikai daļu no stāsta.

400G-SR8 izmanto 850 nm VCSEL astoņās paralēlās šķiedrās, mērķējot uz 100 metriem virs OM4. Tas ir lēts. Tas ir daudzrežīms. Tam nepieciešams MPO-16 savienotājs ar astoņām TX un astoņām RX šķiedrām. Plauktā vai starp blakus esošajiem plauktiem tas darbojas labi. Brīdī, kad kāds jautā par tā darbību "tikai nedaudz tālāk", atgādiniet viņiem, ka modālā izkliede pie 850 nm nav vienlīdzīga.

400G-DR4 darbojas pie 1310 nm četrās paralēlās viena -moda šķiedrās, kas paredzētas 500 metriem. MPO{8}}12 savienotājs izmanto astoņas ārējās šķiedras un atstāj neizmantotas četras{11}}fakts, kas mulsina kabeļu uzstādītājus aptuveni reizi izvietošanas laikā. DR4 ir kļuvis par darba zirgu lapu{12}}mugurkaula savienojamībai vienmoda iekārtās, jo 500 metri aptver lielāko daļu datu centra ģeometriju un ir brīvas vietas.

400G-FR4 izmanto CWDM4 viļņu garumus (1271, 1291, 1311, 1331 nm), kas multipleksēts vienā šķiedru pārī, izmantojot duplekso LC. Sasniedz divus kilometrus. Šeit 400 G sāk justies ekonomiski izdevīgi universitātes pilsētiņas starpsavienojumiem, jo ​​starp ēkām nav jāvelk astoņi{11}}šķiedras MPO maģistrāles.

400G-LR4 nodrošina to pašu CWDM4 pieeju līdz 10 kilometriem ar lielāku palaišanas jaudu un labākiem uztvērējiem. Cenu lēciens no FR4 uz LR4 joprojām pārsteidz iepirkumu nodaļas, kuras nav atjauninājušas savu garīgo modeli no 100G-LR4 cenām.

 

Sakarīgais zilonis

 

400G-ZR ir pelnījis savu sadaļu, jo tas pārstāv principiāli atšķirīgu tehnoloģiju, kas ietērpts vienā un tajā pašā formas faktorā.

Viss, ko esmu aprakstījis līdz šim, izmanto tiešo{0}}noteikšanas optiku. Gaisma ieplūst, fotodiode to pārvērš, DSP to attīra. Koherentā optika kodē informāciju gan amplitūdā, gan fāzē divās polarizācijās vienlaikus, pēc tam izmanto vietējo oscilatoru un izsmalcinātu digitālo signālu apstrādi, lai atgūtu visu uztvērējā. Rezultāts: 400 Gb/s vairāk nekā 120+ kilometriem nepastiprinātas šķiedras pievienojamā modulī.

OIF 400ZR standarts nosaka 16QAM modulāciju pie 60 GBaud ar dubultu polarizāciju. Savienotā FEC (soft-decision inner Hamming, hard{5}}decision exter kāpnes) nodrošina aptuveni 10,8 dB neto kodēšanas pastiprinājumu. Viss patērē 15-20 vatus un rada siltumu, kas liktu QSFP-DD modulim raudāt.

Esmu redzējis, ka ZR moduļi ir uzstādīti slēdžos, kas nav paredzēti šai termiskajai slodzei. Slēdža šasija ziņoja par normālu temperatūru, jo tās ieplūdes sensori mērīja vēsu gaisu. Modulis ziņoja par 73 grādiem, jo ​​tas bija iespiests starp diviem citiem ZR moduļiem ar nepietiekamu gaisa plūsmu. Saite darbojās-tik tikko{5}}ar paaugstinātiem FEC labojumiem, ko neviens nepamanīja, kamēr pirms-FEC BER pārsniedza slieksni un sāka samazināties pakešu skaits.

ZR+ ​​un MZR varianti paplašina sasniedzamību uz savietojamības rēķina. Pārdevēja-īpaši uzlabojumi palaišanas jaudai, uztvērēja jutībai un FEC algoritmiem var pagarināt saites līdz 400 km, taču jūs pērkat risinājumu, nevis preci.

 

 

Trešās{0}}puses jautājums

 

Man ir bijusi šī saruna aptuveni sešsimt reižu.

"Vai mēs varam izmantot trešās puses 400G optiku{0}}?"

Tehniski jā. MSA specifikācijas pastāv, lai nodrošinātu vairāku piegādātāju sadarbspēju. Saderīgam ražotāja X QSFP-DD ir jādarbojas identiski tam, ko ražojis ražotājs Y. IEEE standarti nosaka optiskos un elektriskos parametrus. CMIS (Common Management Interface Specification) standartizē to, kā saimniekdators runā ar moduli.

Praktiski tas ir atkarīgs.

Sistēmas Cisco autentifikācijas mehānismi ir attīstījušies no vecās platformas pieejas "kļūda{0}}atspējot portu" uz sarežģītāku piegādātāja verifikāciju, kas reģistrē brīdinājumus, bet ne vienmēr atspējo funkcionalitāti. Pakalpojuma neatbalstītā-uztvērēja komanda joprojām ir evakuācijas lūka. Arista mēdz būt pielaidīgāka, taču atteiksies atbalstīt problēmas, kas varētu rasties no trešo pušu moduļiem. Juniper nostāja atšķiras atkarībā no platformas un programmatūras versijas tādos veidos, ka ir nepieciešams iepazīties ar to saderības matricām.

Es bez vilcināšanās izmantoju trešās puses{0}}optiku laboratorijas vidēs. Ražošanas ceļiem, kas nodrošina ieņēmumu datplūsmu plkst. 2:00, kad kaut kas neizdodas? Es vēlos, lai varētu piezvanīt TAC un panākt, lai viņi patiešām palīdzētu, nevis nekavējoties novirzītu un "aizstātu ar atbalstītiem raiduztvērējiem".

Izmaksu matemātika maina šo aprēķinu hiperskaloriem, kuri pērk moduļus par desmitiem tūkstošu un nodarbina optikas inženierus, kuri var neatkarīgi raksturot un kvalificēt piegādātājus. Tā ir atšķirīga matemātika uzņēmumiem, kas pērk simtiem moduļu, izmantojot izplatīšanas kanālus ar ierobežotiem tehniskajiem resursiem.

 

Termiskā realitāte

 

400 G QSFP-DD modulis patērē 10–15 vatus atkarībā no varianta un pārdevēja. 400 G koherentais ZR modulis patērē 15-20 vatus. 800 G QSFP-DD800 modulis-jau izvietots mākslīgā intelekta klasteros — patērē 18–25 vatus.

Ievietojiet 64 no tiem 2RU slēdžā, un jums būs 640 vati tikai no optikas, pirms ņemat vērā slēdžu ASIC, atmiņu, ventilatorus un barošanas avotus. Termiskā dizaina problēma vienā paaudzē ir pārcēlusies no "adekvātas" uz "kritisku".

Kvalifikācijas pārbaudes laikā es noskatījos, kā termiskās attēlveidošanas kamera slaucīja pilnībā{0}}nolādētu 400 G mugurkaula slēdzi. Karstākie moduļi nebija tie, kādus jūs varētu gaidīt. Stūra pozīcijas, pa vējam no ASIC izplūdes, bija karstākas nekā priekšējās-plāksnes centra moduļi, kas saņēma svaigu gaisu. Standarta DDM temperatūras rādījumi uzrādīja 17 grādu sadalījumu pa portiem, kas it kā bija identiski.

Moduļa specifikācijas sola darbību no 0 līdz 70 grādiem, taču veiktspējas līknes 70 grādu leņķī neizskatās tāpat kā 25 grādu leņķī. Lāzera sliekšņa strāva palielinās. Slīpuma efektivitāte samazinās. Viļņa garuma novirze{7}}un CWDM4 un DWDM sistēmām viļņu garuma novirze nozīmē šķērsrunu ar blakus esošajiem kanāliem.

Gaisa{0}}dzesēšanas sistēmas tuvojas savām robežām. Slēdžu šķidruma dzesēšana joprojām ir eksotiska, taču arvien vairāk nepieciešama AI/ML klasteriem, kur GPU un optika sacenšas par to pašu siltuma budžetu.

 

 

Realitātes pārbaude

 

IEEE standarti nosaka atbilstības punktus. Viņi negarantē, ka jūsu konkrētā saite darbosies.

TDECQ (raidītāja un dispersijas acu aizvēršanas kvartārs) ir PAM4 ekvivalents OMA (optiskās modulācijas amplitūda), taču tas ir sarežģītāks. Tas mēģina raksturot raidītāja kvalitāti tādā veidā, kas paredz uztvērēja veiktspēju. Lai veiktu mērījumus, ir nepieciešami atsauces uztvērēji un matemātiskas transformācijas, kas atšķiras starp testa iekārtu pārdevējiem tādā veidā, kas izraisa nebeidzamas standartu komitejas debates.

Pirms-FEC BER pārbaude ir svarīgāka nekā jebkad agrāk. Jūsu bitu kļūdu “pirkstu nospiedums”-nejauši pret pārrāvumu, vienmērīgi sadalīti un koncentrēti konkrētos PAM4 simbolos-nosaka, vai jūsu FEC patiešām var tās labot. Patiesas nejaušas kļūdas lieliski tiek atskaņotas ar Rīda-Zālamana kodiem. Sērijveida kļūdas, kas radušās pulksteņa atkopšanas problēmu vai DSP nepareizas darbības dēļ, var nomākt FEC pat tad, ja neapstrādātā BER izskatās pieņemama.

Esmu iemācījies pieprasīt iepriekšēju-FEC statistiku no katras 400 G saites, nevis tikai pēc-FEC. Saite, kas parāda 0,00 post-FEC BER, izpildot pre-FEC BER pie 2 × 10⁻⁴, izskatās lieliski, līdz saprotat, ka rezerve vairs nav gandrīz nekāda. Pievienojiet nedaudz netīru savienotāju vai novecojošu lāzeru, un šī saite bez brīdinājuma apgāzīsies pār FEC klinti.

 

Savienotāju piesārņojums

 

Pie 400 G piesārņojuma problēma kļūst aktuāla. Modulētajai acij ir mazāka rezerve. Daļiņas, kas būtu bijušas neredzamas pie mazākiem ātrumiem, tagad pietiekami vājina, lai būtu nozīme.

Viena režīma{0}}šķiedru serdeņu diametrs ir 9 mikrometri. MTP/MPO-12 savienotājam ir astoņi aktīvie šķiedru ceļi (četri TX, četri RX) un četri neizmantoti. Katrs pārošanās cikls apdraud piesārņojumu. Katra piesārņota gala seja apdraud ievietošanas zudumu, kas iznīcina jūsu saites budžetu.

Nepieciešamā tīrīšanas disciplīna nav-apspriežama, taču tā reti tiek ievērota konsekventi. Tīrīšanas līdzekļi ar vienu-klikšķi, sausās salvetes ar statiskām problēmām, mitrā tīrīšana ar izopropilspirtu, kas nekavējoties jānoslauka sausā veidā, nevis jāļauj iztvaikot-katrai metodei ir piekritēji un kritiķi. Par ko visi piekrīt: pirms pievienošanas pārbaudiet ar šķiedru tēmekli un, ja tas ir netīrs, notīriet to un pārbaudiet vēlreiz.

Es noskatījos, kā izvietošanas komanda visu pēcpusdienu sadedzināja problēmas, kas saistītas ar periodisku 400 G-DR4 saiti. Vairāku moduļu mijmaiņas. Konfigurācijas apskati. Beidzot izlauza pārbaudes tvērumu un uz starpsienas adaptera atrada būvgružus, kurus neviens nebija domājis pārbaudīt. Divdesmit sekundes ar tīrīšanas rīku novērsa to, ko četru stundu traucējummeklēšana nespēja.

 

 

Ko tas viss nozīmē plānošanai

 

Ja šodien izvietojat jaunu datu centra struktūru, 400G ir mugurkaula slāņa bāzes līnija un arvien vairāk lapu{1}}mugurkaula augšupsaites. Maksa par bitu ir samazinājusies līdz 4 × 100 G izlaišanai no 400 G moduļa bieži vien ir lētāka nekā atsevišķi 100 G moduļi. DR4 visam, kas atrodas ēkā, kas pārsniedz 30 metrus. FR4 universitātes pilsētiņas starpsavienojumiem. LR4 vai ZR, ja sasniedzat starp vietnēm.

Ja esat uzņēmums, kas plāno pirmo 400G izvietošanu, pārslēgšanas platformas ir nobriedušas, moduļu piegādes ķēde ir stabilizējusies, un cenu noteikšanai vairs nav nepieciešama izpildvaras parakstīšanās katrā pirkuma pasūtījumā. Sāciet ar lapu-mugurkaula atsvaidzināšanu, pierādiet, ka jūsu kabeļu infrastruktūra spēj izturēt stingrāku piesārņojuma toleranci, un saprotiet, ka jūsu pārvaldības rīkiem ir jāsāk vākt FEC statistiku, pirms tā jums patiešām ir nepieciešama.

Ja esat hiperskalers, kas lasa šo, jūs jau esat pārsnieguši 400 G GPU klasteriem un domājat, kā 1.6T tiks izvērsts. Veiksmi ar termiskām problēmām; Es izlasīšu tavus dokumentus pēc diviem gadiem.

Paši moduļi ir kļuvuši ļoti uzticami. Problēmas pastāv visur citur: piesārņoti savienotāji, nepareizi konfigurēti FEC režīmi, termiskās konstrukcijas, kas pieņēmušas vakardienas jaudas aploksnes, un atbalsta organizācijas, kas joprojām mācās novērst PAM4 signāla integritātes problēmas. Neglaimojošie pamatelementi-attīra jūsu savienotājus, mēra temperatūru, izprot jūsu FEC budžetu-vairāk nekā jebkad būs debatēs par specifikācijām.