Datu nākotne: 400 g optiskais modulis

 

 

Formu faktoru kari, par kuriem neviens godīgi nerunā

 

Dodieties uz jebkuru optisko tīklu konferenci, un jūs dzirdēsiet QSFP{0}}DD pret OSFP debates, kas veidotas kā tehnisks salīdzinājums. Tā nav. Tā ir politiska cīņa, kas ietērpta specifikāciju lapās.

QSFP-DD uzvarēja skaļuma cīņā pirms pirmā 400 G slēdža piegādes. Atgriezeniskā saderība ar QSFP28 būriem nozīmēja, ka katrs tīkla operators teorētiski varēja veikt jaunināšanu, neizjaucot esošo infrastruktūru. Tas "teorētiski" rada smagus spēkus-Esmu novērojis, kā inženieri veselas nedēļas nogales pavada, cenšoties panākt, lai mantotā slēdža programmaparatūra atpazītu dubultā-blīvuma moduļus, kas ir fiziski piemēroti, bet elektriski nepareizi darbojas.

OSFP nāca no Arista nometnes ar vienkāršu soli: lielāks modulis, labāki termoi, kas paredzēti 400 G no nulles, nevis piespiežot astoņas joslas četriem paredzētā būrī. Integrētā dzesētāja iztur 15-20 vatus, neizraisot sviedrus. QSFP-DD pie 12 vatiem? Jau tagad tiek palielināti termiskie ierobežojumi augsta blīvuma izvietošanā.

Nozare tomēr izvēlējās QSFP{0}}DD. Uzvar saderība. Vienmēr ir.

Bet šeit ir tas, kas formas faktoru salīdzināšanas rakstos nekad nav minēts: siltuma jaudas atšķirības ievērojami saplūst mērogā. 32-portu 400G slēdzis, kas pilnībā piepildīts ar QSFP-DD moduļiem, izkliedē aptuveni 640 vatus no optikas vien. Tas ir pirms slēdža ASIC, vadības plaknes, ventilatoriem, barošanas avotiem. Mēs runājam par kopējo jaudu 1,5–2 kilovati 1RU šasijā. Gaisa plūsmas inženierija, kas nepieciešama, lai šos moduļus uzturētu zem krustojuma temperatūras robežām, robežojas ar kosmosa dizainu.

 

PAM4 padarīja visu grūtāku

 

Ikviens svin PAM4 par spektrālās efektivitātes dubultošanu. Neviens nepiemin tā radīto inženiertehnisko murgu.

NRZ bija vienkāršs. Divi sprieguma līmeņi. Signāls ir vai nu viens, vai nulle. Jūsu acu diagrammai ir viena atvere. Ja tas ir tīrs, tu esi zeltains.

PAM4 pārraida divus bitus uz vienu simbolu, izmantojot četrus amplitūdas līmeņus. Trīs sakrautas acu atveres. Katra acs ir aptuveni viena-trešdaļa līdzvērtīgas NRZ acs augstuma. Trokšņa robežas sabrūk. Pēkšņi katrs PCB pēdas milimetrs ir svarīgs. Katrs caurums rada pārdomas. Katrs pretestības pārtraukums starp resursdatora ASIC un optiskā moduļa korpusu kļūst par uzticamības problēmu.

Es pavadīju sešus mēnešus, atkļūdojot 400G izvietošanu, kur konkrētos portos parādījās nejaušas CRC kļūdas. Galvenais cēlonis? Nedaudz neatbilstošs-no-specifikācijas resursdatora plates savienotājs radīja pietiekami daudz atdeves zuduma, lai sabojātu zemāko PAM4 aci. Lieliski piemērots 100G trafikam. Katastrofāli 400G.

Nozares atbilde bija obligāta FEC. Jūs nevarat palaist 400G PAM4 optiku bez pārejas kļūdu labošanas-neapstrādātā BER vienkārši pārsniedz izmantojamos sliekšņus. RS(544,514) pievieno aptuveni 300 nanosekundes latentuma. Nav milzīgs. Bet pastāstiet to HPC klasterim, kurā tiek veikti MPI uzdevumi, kur katra gala latentuma mikrosekunde ietekmē darba pabeigšanas laiku.

 

 

Bija paredzēts, ka silīcija fotonika mūs glābs

 

Silīcija fotonikas tonis uz papīra izklausās ideāli. Izmantojiet gadu desmitiem ilgus CMOS lieliskos ieguldījumus. Integrējiet modulatorus, fotodetektorus un viļņvadus vienā mikroshēmā. Sasniedziet tādus apjomradītus ietaupījumus, kādus nevarētu izmantot atsevišķi InP un GaAs komponenti. Enerģijas patēriņš samazinās par 20-30%. Izmaksas galu galā sasniedz paritāti un pēc tam samazina tradicionālās pieejas.

Intel piegādāja vairāk nekā trīs miljonus 100G silīcija fotonisko raiduztvērēju. Sākot ar 2020. gadu, Alibaba savā mākoņu tīklā izvietoja 400 G DR4 silīcija fotoniskos moduļus. Tehnoloģija darbojas.

Bet silīcija fotonikai ir netīrs noslēpums: gaismas avoti joprojām nevar būt silīcijs.

Jums ir nepieciešams ārējs lāzers, -parasti indija fosfīda presforma-, kas savienota ar silīcija PIC vai savienota ar šķiedru. Šī hibrīdā integrācija palielina ražošanas sarežģītību. Ražas cieš. Izmaksu priekšrocības, ko visi solīja, turpina izstumt vēl vienu paaudzi.

Uzņēmumi, kas dubulto silīcija fotoniku 400G, ietver dažus ļoti gudrus cilvēkus, kas veic ļoti dārgas likmes. Cisco Luxtera un Acacia iegādes apjoms sasniedza 3,26 miljardus ASV dolāru. Tā nav pētniecības un attīstības budžeta nauda. Tas ir stratēģisks ieguldījums infrastruktūrā.

Tirgus daļas dati stāsta par sarežģītāku stāstu. Saskaņā ar LightCounting datiem silīcija fotoniskie moduļi joprojām veido mazāk nekā 10% no kopējiem 400G sūtījumiem, neskatoties uz gadiem ilgušo ažiotāžu. Tradicionālie EML{4}}uztvērēji dominē DR4 un FR4 lietojumprogrammās. Tehnoloģiju pāreja notiek lēnāk, nekā tika ieteikts paziņojumos presei.

 

Ko specifikāciju lapas slēpj par sasniedzamību

 

IEEE nosaukšanas konvencija 400G optikai šķiet noderīga, līdz jūs mēģināt faktiski iegādāties moduļus.

400 G-SR8: 100 metri pa daudzmodu šķiedru. Astoņas paralēlas joslas pie 850 nm. Piemērots-statīva savienojumiem. Briesmīgi par visu citu.

400 G-DR4: 500 metri pa viena-režīmu šķiedru. Četras paralēlas joslas pie 1310 nm. Darba zirgs lielākajai daļai datu centru starpsavienojumu.

400G-FR4: 2 kilometri, viens-režīms, CWDM viļņu garumi multipleksēti vienā šķiedru pārī. Izmanto dārgus ārēji modulētus lāzerus.

400 G-LR4: 10 kilometri. Tāda pati viļņa garuma shēma kā FR4, bet ar optisko pastiprinājumu, lai paplašinātu sasniedzamību.

Pietiekami vienkārši. Izņemot to, ka ražotāji pastāvīgi spēlē ātri un brīvi ar šiem apzīmējumiem.

Esmu redzējis "ar DR4 saderīgus" moduļus, kas laboratorijas apstākļos sasniedz 500 metru augstumu un sabojājas 300 metru augstumā ar faktisko šķiedru iekārtu, kurai ir nedaudz palielināts savienotāja zudums. Specifikācijās norādīts, ka 500 metri ar 7 dB saites budžetu. Matemātika darbojas lieliski, pieņemot, ka visur ir senatnīgi savienojumi. Realitāte ietver netīrus savienotājus, nepilnīgus savienojumus un šķiedru vadus, kas caur griestiem veica nedaudz garāku ceļu, nekā norādīts kabeļu vadības rasējumos.

2 km FR4 sasniedzamība izklausās adekvāti, līdz jūs savienojat universitātes pilsētiņā un atklājat, ka jūsu šķiedras ceļš ir 2,3 kilometri. Tagad jums ir nepieciešami LR4 moduļi par trīskāršām izmaksām, vai arī jūs esat radošs ar pastiprināšanu, vai arī piekrītat, ka šī saite faktiski nedarbosies.

 

Lēmums DR4 pret FR4

 

Tas faktiski ir svarīgs reālai izvietošanai, un neviens to labi neizskaidro.

DR4 izmanto četras paralēlas šķiedras pārraidei un četras uztveršanai. Kopā astoņas šķiedras. MPO-12 savienotājs ar četrām neizmantotām pozīcijām. Maksimālais sasniedz 500 metrus. Enerģijas patēriņš parasti ir 8-10 vati. Moduļa izmaksas ir aptuveni 60% no līdzvērtīgas FR4.

FR4 izmanto viļņu garuma dalīšanas multipleksēšanu, lai visas četras joslas ievietotu vienā šķiedru pārī. Dupleksais LC savienotājs. Maksimālais sasniedz 2 kilometrus. Enerģijas patēriņš parasti ir 10-12 vati. Augstākās cenas, jo EML lāzeri nav lēti.

Šķiedru topoloģija nosaka visu.

Greenfield datu centrs ar strukturētu kabeļu jūsu norādīto? Paralēlai šķiedrai ir jēga. Palaidiet MPO maģistrāles kabeļus starp rindām. Izmantojiet DR4 visur. Zemākas optikas izmaksas kompensē papildu šķiedru.

Degradētās teritorijas vide ar esošo duplekso šķiedru rūpnīcu? FR4 vai jūs velciet jaunu kabeli.

Jaukta vide ar dažām paralēlām darbībām un kādu duplekso mantoto iekārtu? Laipni lūdzam saderības murgā. Jūs iegūsit abus moduļu veidus, dažādus savienotāju stilus un vismaz vienu skapi, kurā kāds izmantoja nepareizu plākstera vadu un četras stundas pavadīja, lai novērstu "saites uz leju" brīdinājumus.

 

Izlaušanās jautājums

 

400 G-DR4 modulī ir četras 100 G joslas. Katra josla optiskajā slānī darbojas neatkarīgi. Tas ļauj -savienot vienu 400 G slēdža portu ar četrām atsevišķām 100 G ierīcēm, izmantojot sadales šķiedras komplektu.

Ekonomika izklausās pārliecinoši. Viens 400G ports. Četri 100G serveri. Nav nepieciešami papildu slēdžu porti.

Realitāte ir sarežģītāka.

Switch ASIC ne vienmēr atbalsta patvaļīgas sadalījuma konfigurācijas. Dažām platformām ir nepieciešama īpaša programmaparatūra. Citi atļauj izlaušanos tikai noteiktās portu grupās. Daži ievieš aparatūras pārrāvumus, taču programmatūras steks neparāda konfigurācijas opciju.

Sliktāk: pārtraukuma kabeļi rada atbalsta murgus. Vai problēma ir 400G modulī, sadales mezglā vai vienā no četriem 100G ierīces portiem? Problēmu novēršanai ir nepieciešams nomainīt kabeļus, atsevišķi pārbaudīt katru kāju un pārbaudīt, vai problēma ir atkārtojama.

Esmu redzējis, ka organizācijas visur standartizē vietējo 100G, lai izvairītos no sarežģījumiem. Optika maksā vairāk. Slēdža porta blīvums cieš. Taču uzvar darbības vienkāršība.

 

 

Enerģijas patēriņa realitāte

 

Katrā 400G moduļa datu lapā ir norādīts enerģijas patēriņš. Skaitļi ir tehniski precīzi un praktiski bezjēdzīgi.

QSFP-DD DR4 standarta jauda var būt 8,5 vati. Tas ir moduļa zīmējums no slēdža 3,3 V sliedes normālos darbības apstākļos. Tas neietver papildu jaudu, ko patērē slēdzis ASIC, braucot ar šīm astoņām 50G PAM4 joslām. Tas neņem vērā siltuma pārvaldību,{9}}jaudīgākus ventilatorus, papildu gaisa plūsmu, varbūt papildu dzesēšanu.

Izmantojot 32 portus uz vienu slēdzi, starpība starp 8 vatu un 12 vatu moduļiem palielinās līdz 128 vatiem. Tas nav triviāli, ja plānojat jaudas sadali visai plauktu rindai.

Pāreja no 100 G uz 400 G ne četrkāršo enerģijas patēriņu uz vienu portu-palīdz efektivitātes pieaugums, ko sniedz integrācija un DSP uzlabojumi. Bet kopējā jauda uz vienu slēdzi absolūti palielinājās. Datu centri, kas plānoja elektrisko un dzesēšanas infrastruktūru aptuveni 100 G blīvumā, atklāj jaudas ierobežojumus, veicot jaunināšanu uz 400 G ar pilnu iedzīvotāju skaitu.

 

Saderība nav bināra

 

Pārdevējiem patīk apgalvot, ka "saderība ar visām galvenajām slēdžu platformām". Šis apgalvojums ir tehniski attaisnojams un praktiski maldinošs.

Optiskā moduļa savietojamība ir atkarīga ne tikai no fiziskās piemērotības un elektriskās signalizācijas. DOM (Digital Optical Monitoring) protokoli dažādiem pārdevējiem atšķiras. CMIS (Common Management Interface Specification) implementācijām ir pietiekami daudz elastības, lai divas "saderīgas" implementācijas varētu nesadarboties tīri. Daži slēdži pārbauda pārdevēja ID kodus un atsakās pilnībā apgaismot neatpazītus moduļus.

"Saderīgās" 400G optikas pelēkais tirgus eksplodēja tieši tāpēc, ka zīmola-nosaukuma moduļi maksā 3-5 reizes vairāk nekā trešās puses alternatīvas. Dažas no šīm alternatīvām darbojas nevainojami. Citi rada smalkas problēmas, kas izpaužas tikai noteiktos satiksmes modeļos vai pēc nedēļu ilgas skriešanas.

Esmu personīgi testējis trešās puses 400G DR4 moduļus, kas laboratorijā izturēja katru atbilstības mērījumu, un pēc tam ražošanas slodzes laikā 2% datplūsmas radīja nelabojamas FEC kļūdas. Temperatūra moduļa iekšienē ilgstošas ​​lielas{5}}joslas platuma darbības laikā pārsniedza optisko komponentu spējas. Modulis strādāja. Kamēr tas nenotika.

 

Ko 800G nozīmē 400G

 

800G pāreja jau notiek. Hiperskalori šodien izvieto 800G. Pārējā nozare sekos 18-24 mēnešu laikā.

Tas nenoveco 400 G{1}}moduļi tiks piegādāti gadiem ilgi,-bet tas maina ekonomiku.

800G izmanto astoņas 100G joslas, nevis 400G astoņas 50G joslas. Tāda pati PAM4 modulācija, lielāks simbolu ātrums katrā joslā. Fizika kļūst grūtāka. Termiskās aploksnes virzās uz 20-25 vatiem uz vienu moduli. OSFP termiskās telpas priekšrocības kļūst aktuālākas šajos jaudas līmeņos.

Vēl svarīgāk ir tas, ka 800G moduļi var izdalīties līdz divām 400G konfigurācijām. Viens 800G-2xDR4 modulis nodrošina divas neatkarīgas 400G saites. Vidēm ar jauktām 400 G un 800 G prasībām šī sadalīšanas iespēja vienkāršo krājumu pārvaldību.

Datu centru operatori, ar kuriem es runāju, lielākoties atbalsta 400 G lapu{1}}spine savienojamībai, savukārt GPU klasteru starpsavienojumiem, kur joslas platuma blīvums ir vissvarīgākais, novērtē 800 G. AI apmācības darba slodze ar visiem-līdz-visiem saziņas modeļiem patiesi uzsver 400 G saites tādā veidā, kā tradicionālā ziemeļu-dienvidu satiksme nekad nav darījusi.

 

Co{0}}Packaged Optics Horizon

 

Ikviens šajā nozarē zina, ka nāks CPO. Optiskie raiduztvērēji, kas integrēti tieši ar slēdžu ASIC. Nav pievienojamu moduļu vispār. Tehnoloģijai attīstoties, enerģijas patēriņš samazinās no 15 pidžouliem bitā līdz varbūt 5, potenciāli zem 1 pidžouliem.

NVIDIA ir paziņojusi par CPO plāniem 2025./2026. gada aparatūrai. Meta un Microsoft ir demonstrējuši prototipus. OIF standartizē saskarnes.

Jautājums nav par to, vai notiek CPO. Tas ir atkarīgs no tā, vai tas notiek pietiekami ātri, lai tas būtu svarīgi jūsu pašreizējam plānošanas ciklam.

Es lasu: pieslēdzamā optika dominē vismaz līdz 2028. gadam lielākajā daļā izvietošanas gadījumu. CPO var parādīties hiperskalera pielāgotajās versijās agrāk. Karstā-nomaināmo moduļu-spējai nomainīt bojātu optiku, neizslēdzot slēdžu-ir liela nozīme vidēs bez N+1 dublēšanas visur.

Plānojiet pievienojamu 400 G un 800 G jau šodien. Budžets CPO novērtēšanai trīs gados. Neļaujiet pārdevēju ceļvežu slaidiem paātrināt laika grafikus, ko ražošanas realitāte nevar atbalstīt.

 

Praktiski norādījumi, kas patiešām palīdz

 

Jaunām versijām: standartizējiet DR4 ar paralēlo šķiedru infrastruktūru. Izmaksu ietaupījumi, salīdzinot ar FR4 savienojumu tūkstošiem moduļu. Plānojiet jaudu un dzesēšanu 10 vatiem vienam modulim, pat ja specifikāciju lapās tiek solīts 8.

Jauninājumiem: obsesīvi pārbaudiet savu esošo šķiedru augu. Zināt faktiskos izmērītos zaudējumus katrā segmentā. Atklājiet 400 metru DR4 ierobežojumu pārkāpumus, pirms tiek piegādāta optika.

AI klasteriem: 800G jau ir pareizā atbilde. Joslas platuma prasības attaisno piemaksu. Nepārkāpiet-uz pusi līdz 400 G, ja jūsu darba slodze to pārsniegs 18 mēnešu laikā.

Ikvienam: pirms apjoma izvietošanas rūpīgi pārbaudiet trešās puses{0}}optiku. Izmaksu ietaupījumi ir reāli. Tāpat arī neveiksmes. Validējiet ar savām īpašajām slēdžu platformām reālas slodzes apstākļos, pirms veicat krājumu ieguldīšanu.

Tehnoloģija darbojas. Divdesmit miljoni 400G un 800G moduļu tika nosūtīti 2024. gadā kāda iemesla dēļ. Taču pārejai no 100G ir jāpievērš uzmanība detaļām, kuras specifikāciju lapās un mārketinga materiālos ērti izlaist. Fizikai nerūp jūsu izvietošanas laika skala.