Tīkla interfeisa karte (NIC)

Jūsu serverim ir 100 G porti, bet jūsu NIC atbalsta tikai 10 G. Apsveicam, - jūs tikko samaksājāt par joslas platumu, kuru nekad neizmantosit. Tīkla interfeisa karte ir visvairāk aizmirstais šaurums mūsdienu tīkla dizainā. Kamēr inženieri aizraujas ar slēdžu auduma un raiduztvērēja specifikācijām, NIC klusi nosaka faktisko caurlaidspēju, ko var nospiest katrs serveris. Šajā rokasgrāmatā ir ietvertas ne tikai pamata definīcijas, bet arī paskaidrots, kā darbojas NIC, kādi veidi pastāv, un - visbūtiskāk, - kā pielāgot NIC pa labi.raiduztvērējs, DAC kabelis, vaiAOCmaksimālai veiktspējai.

 

 

Kas ir tīkla interfeisa karte?

Tīkla interfeisa karte (NIC), ko sauc arī par tīkla adapteri vai tīkla interfeisa kontrolleri, ir aparatūra, kas savieno serveri, darbstaciju vai atmiņas ierīci ar tīklu. Tas apstrādā pārveidošanu starp datiem resursdatora sistēmā un signāliem pa vadu vai šķiedru -, pārvaldot visu, sākot no kadru iekapsulēšanas un kontrolsummas pārbaudes līdz pārtraukumu apstrādei un DMA pārsūtīšanai.

Katram NIC ir unikāla MAC adrese, kas ierakstīta tā programmaparatūrā, kas kalpo kā ierīces identitāte 2. slāņa tīklā. Agrīnie NIC tika piegādāti kā atsevišķas PCI paplašināšanas kartes. Mūsdienās lielākā daļa patērētāju datoru izmanto LAN-uz-mātesplatē (LOM) mikroshēmu pamata 1G savienojumam. Taču datu centros un uzņēmumu vidē speciālas NIC kartes joprojām ir būtiskas, jo iebūvētie kontrolleri vienkārši nevar nodrošināt caurlaidspēju, izkraušanas iespējas vai portu blīvumu, kas nepieciešams mūsdienu darba slodzei.

 

 

Kā NIC patiesībā darbojas: ne tikai "Sūtīt un saņemt"

Mācību grāmatas skaidrojums - "NIC iekapsulē datus kadros un nosūta tos" - ir tehniski pareizs, taču tajā nav ņemts vērā tas, kas padara NIC vērtīgu. Lūk, kas notiek zem pārsega modernā servera NIC:

 

Kadru apstrāde

Pārraides pusē NIC ņem datus no OS tīkla skursteņa, pievieno Ethernet galvenes un CRC kontrolsummas, pēc tam serializē tos elektriskos vai optiskos signālos. Saņemšanas pusē tas apvērš procesu, pārbaudot CRC un noņemot galvenes pirms lietderīgās slodzes nodošanas resursdatoram.

 

Izkraušanas dzinēji

Šeit NIC nopelna naudu. Mūsdienu NIC izkrauj uzdevumus, kas citādi patērē CPU ciklus: TCP/UDP kontrolsummas aprēķināšana, TCP segmentācijas izkraušana (TSO), liela saņemšanas noslodze (LRO) un saņemšanas sānu mērogošana (RSS), kas sadala ienākošo trafiku pa vairākiem CPU kodoliem. Bez šīm izlādēm 25G NIC varētu piesātināt CPU kodolu, tikai apstrādājot paketes.

 

Kodola apiešana ar DPDK

Pat ar aparatūras izkraušanu OS kodola tīkla steks rada pieskaitāmās izmaksas ar ārkārtēju pakešu ātrumu. NIC, kas atbalsta DPDK (Data Plane Development Kit), ļauj lietojumprogrammām lasīt un rakstīt paketes tieši no lietotāja vietas, pilnībā apejot kodolu. Tas samazinās uz-pakešu latentumu no milisekundēm līdz viena-cipara mikrosekundēm -, kas ir prasība augstas-frekvences tirdzniecībai, 5G lietotāja-plaknes funkcijām un NFV darba slodzes pārvietošanas ātrumam 100G saitēm.

 

DMA un pārtraukumu apvienošana

Tā vietā, lai centrālais procesors kopētu katru paketi, NIC izmanto tiešo atmiņas piekļuvi, lai ierakstītu kadrus tieši sistēmas RAM. Pārtraukumu apvienošana grupē vairākus pakešu notikumus vienā CPU pārtraukumā, ievērojami samazinot pieskaitāmās izmaksas ar lielu pakešu ātrumu.

 

Virtualizācijas atbalsts

Virtualizētās vidēs SR-IOV (vienas saknes I/O virtualizācija) ļauj vienam fiziskam NIC nodrošināt vairākas virtuālās funkcijas, no kurām katra ir tieši piešķirta virtuālajam datoram. Tas pilnībā apiet hipervizora virtuālo slēdzi, nodrošinot virtuālajām mašīnām gandrīz-bez-metāla tīkla veiktspēju.

 

 

NIC veidi: praktiskā klasifikācija

 

Pēc saskarnes veida - Tas ir tas, kas nosaka jūsu kabeļus

NIC porta tips	Savienotājs	Plašsaziņas līdzekļi	Tipisks ātrums	Maksimālais attālums
RJ45 (bāze-T)	RJ45	Cat5e/Cat6/Cat6a varš	1G / 2.5G / 5G / 10G	100m
SFP+	LC duplekss	10G SFP+ raiduztvērējivai 10GDAC kabeļi	10G	80 km (šķiedra) / 7 m (DAC)
SFP28	LC duplekss	25G SFP28 raiduztvērējivai 25G DAC	25G	40 km (šķiedra) / 5 m (DAC)
QSFP+	MPO vai LC	40G QSFP+ raiduztvērēji	40G	40 km (šķiedra) / 7 m (DAC)
QSFP28	MPO vai LC	100G QSFP28 raiduztvērējivai 100GDAC kabeļi	100G	80 km (šķiedra) / 5 m (DAC)
QSFP-DD	MPO vai LC	400 G QSFP-DD raiduztvērēji	400G	10 km+ (šķiedras)

Kāpēc tas ir svarīgi:NIC porta veids nosaka, kādus raiduztvērējus un kabeļus varat izmantot. Izvēloties divu-portu SFP28 NIC, jūs tiksit iekļauts SFP28 ekosistēmā -25G SFP28 optiskie moduļi, SFP28DAC kabeļivai SFP28AOC kabeļi. Izvēlieties nepareizi, un jūs iegādāsities adapterus vai nomainīsit kartes.

 

Piezīme par MPO un LC savienotājiem:QSFP+ un QSFP28 porti ar apzīmējumu "SR4" izmanto paralēlu optiku - četras 10G vai 25G joslas, kas tiek pārraidītas vienlaicīgi. Tas prasaMPO/MTP-12 plāksteriar 8 vai 12 šķiedru serdeņiem, nevis standarta dupleksuLC kabeļiizmanto SFP+ vai SFP28 moduļi. Ja pirmo reizi izvietojat 40G vai 100G SR4 optiku, jūsu esošā divu-šķiedru plākstera paneļu infrastruktūra nedarbosies - MPO maģistrāles kabeļu un kasešu plānā.

 

Ar kopnes interfeisu - PCIe ģenerēšanas nozīme

Visi mūsdienu serveru NIC izmanto PCIe. Taču PCIe paaudze un joslu platums nosaka stingrus caurlaidspējas griestus:

• PCIe 3.0 x8:Apmēram 64 Gb/s - pietiek divu-portu 25G vai vienam-portam 40G
• PCIe 3.0 x16:Apmēram 128 Gbps - pietiekami vienam-portam 100 G
• PCIe 4.0 x16:Aptuveni 256 Gb/s - nepieciešami diviem-portiem 100 G vai vienam-portam 200 G
• PCIe 5.0 x16:~512 Gb/s - iespējo 400 G NIC

100 G NIC, kas pievienots PCIe 3.0 x8 slotam, fiziski nevar nodrošināt 100 G. Pirms iegādes vienmēr pārbaudiet servera PCIe slota ģenerāciju un platumu.

 

Pēc formas faktora - OCP NIC 3.0 ir jaunais noklusējums

Tradicionālās PCIe pievienošanas{0}}kartes joprojām dominē uzņēmumu serveros, taču hipermēroga datu centri lielākoties ir pārgājuši uz OCP NIC 3.0 standartu (gan Small Form Factor, gan Large Form Factor). OCP NIC tiek pievienoti speciālā starpstāvu slotā servera mātesplatē, nevis aizņem standarta PCIe paplašināšanas slotu. Ieguvumi ir ievērojami: karstās-swap iespēja bez servera izslēgšanas, uzlabots termiskais dizains ar tiešu gaisa plūsmu pār NIC un īsāks elektriskais ceļš uz centrālo procesoru, kas samazina signāla integritātes problēmas pie 100 G+ ātruma. Ja jūsu servera platforma atbalsta OCP 3.0 - un lielākā daļa modernāko dizainu no lielākajiem ODM to dara -, tai vajadzētu būt jūsu pirmajai izvēlei 100G un 200G NIC izvietošanai.

 

Pēc intelekta līmeņa

Standarta NICapstrādāt pamata pakešu apstrādi ar aparatūras izkraušanu. Piemērots lielākajai daļai uzņēmumu un datu centru lietojumprogrammu.

SmartNICpievienojiet programmējamu datu apstrādes vienību (DPU), kas var izpildīt ugunsmūra noteikumus, šifrēšanu, slodzes līdzsvarošanu un telemetriju tieši NIC, atbrīvojot resursdatora CPU kodolus lietojumprogrammu darba slodzei. Mākoņu infrastruktūrā, kur katrs CPU kodols tiek monetizēts, SmartNIC maksā par sevi, atgūstot kodolus, kas citādi darbinātu OVS vai IPsec.

RDMA NIC (RNIC)atbalsta attālās tiešās atmiņas piekļuves protokolus, piemēram, RoCEv2 vai iWARP, kas nodrošina atmiņas pārsūtīšanu no servera-uz{2}}serveri ar viena-cipara mikrosekundes latentumu. GPU apmācības klasteros, kas veidoti ap NVIDIA H100 vai A100 paātrinātājiem, RDMA NIC nav obligāti - tie ir mugurkauls. Katram GPU mezglam ir nepieciešams 200 G vai 400 G RDMA savienojums, lai samazinātu gradientu sinhronizāciju nekļūtu par apmācības vājo vietu. Papildus mākslīgajam intelektam RDMA NIC ir vienlīdz svarīgi HPC darba slodzēm un krātuves sistēmām, kurās darbojas NVMe{13}}oF, kur kodols{14}} apiet datu ceļus samazina krātuves piekļuves latentumu par 10 reizēm.

 

 

Kā izvēlēties pareizo NIC: lēmumu ietvars

1 -. darbība. Definējiet ātruma prasību.Pielāgojiet to savai slēdža augšupsaites jaudai, nevis maksimālajai teorētiskajai nepieciešamībai. Ja jūsu ToR slēdzim ir 25 G servera{2}}pieslēgvietas, 25 G NIC ir pareizā izvēle, - nevis 10 G (pārāk lēns) vai 100 G (izšķērdēts).

Solis 2 - Izvēlieties interfeisa veidu.Lai izveidotu{0}}statīva savienojumus, kas ir mazāki par 5 metriem, savienojiet pārī savu NIC ar aDAC kabelispar viszemākajām izmaksām un latentumu. Inter-rack saitēm līdz 100 metriem, izmantojietAOC kabelisvai īslaicīgas{0}}uztvērējs arLC šķiedras patchcord. Lai izveidotu-uz-ēku vai universitātes pilsētiņas saites, izmantojiet garu-sasniedzamībuoptiskais raiduztvērējs-, piemēram, a100G QSFP28 LR4 modulisar vienmoda{0}}šķiedru unMPO/MTP patchcords.

3 -. darbība. Pārbaudiet PCIe saderību.Pārbaudiet serverī pieejamo PCIe slota ģenerēšanu un joslas platumu atbilstoši NIC prasībām.

4 -. darbība Novērtējiet izkraušanas vajadzības.Vai izmantojat virtualizāciju ar desmitiem virtuālo mašīnu? Dodiet priekšroku SR-IOV atbalstam. AI apmācības klasteris? RDMA iespējas nav-apspriežamas. Mākoņ-vietējie mikropakalpojumi? SmartNIC ar programmējamu cauruļvadu ietaupa CPU kodolus.

Darbība 5 - Plānojiet divu{1}}portu dublēšanu.Ražošanas serveriem vienmēr ir jābūt vismaz diviem NIC portiem saišu apkopošanai (LACP) vai aktīvai{0}}gaidstāves kļūmjpārlēcei. Divu-portu NIC ir vairāk vietas-efektīvākas nekā divas viena-porta kartes.

 

 

Biežākās NIC kļūdas (un kā no tām izvairīties)

Pērkot 10G RJ45 NIC datu centra lietošanai.10 GBASE-T NIC patērē par 2–5 W vairāk enerģijas vienā portā nekā SFP+ NIC un rada ievērojami vairāk siltuma. Plauktā ar 40 serveriem tas ir 80–200 W nevajadzīgas termiskās slodzes. Izmantot10G SFP+ raiduztvērējitā vietā ar SFP+ NIC.

Programmaparatūras un draiveru atjauninājumu ignorēšana.NIC programmaparatūras kļūdas izraisa klusu pakešu kritumu, CRC kļūdas un veiktspējas pasliktināšanos. Pārdevēji izlaiž kritiskos programmaparatūras ielāpus, kas bieži netiek lietoti, jo NIC "šķiet, ka darbojas labi".

Nesakrīt NIC ātrums un slēdža porta ātrums.25 G NIC, kas savienots ar 10 G slēdža portu, automātiski -savienosies līdz 10 G -, taču daži NIC to apstrādā slikti, kā rezultātā radīsies saites pārspīlēšana vai CRC kļūdas. Vienmēr pārbaudiet ātruma saderību vai izmantojiet atbilstošu aprīkojumu.

 

 

FAQ

Kāda ir atšķirība starp NIC un LOM?

LOM (LAN uz mātesplates) ir pamata tīkla kontrolleris, kas integrēts servera mātesplatē un parasti piedāvā 1G vai 10G Base-T savienojumu. Īpaša NIC karte nodrošina lielāku ātrumu (25 G–400 G), uzlabotas izkraušanas iespējas, piemēram, SR-IOV, un optiskās saskarnes opcijas lietošanai ar šķiedru.raiduztvērējiunDAC/AOC kabeļi.

Vai savā NIC varu izmantot{0}}trešās puses raiduztvērējus?

Jā. Lielākā daļa NIC no Intel, Mellanox/NVIDIA un Broadcom pieņem MSA{1}}saderīgas trešās puses{2}}optiskie raiduztvērēji. Tomēr dažas NIC programmaparatūras var parādīt saderības brīdinājumus. Cienījami piegādātāji nodrošina raiduztvērējus, kas kodēti konkrētiem NIC zīmoliem, lai nodrošinātu tīru darbību.

Kāds NIC ātrums ir nepieciešams AI un mašīnmācīšanās darba slodzēm?

GPU apmācības klasteriem (NVIDIA H100, A100 vai līdzīgiem) katram mezglam parasti ir nepieciešams200Gvai 400 G RDMA{1}}saspējas NIC (RoCEv2), lai novērstu tīkla sašaurināšanos,-samazinātu gradienta sinhronizāciju. Secinājumu sniegšanas darba slodzes ir mazāk prasīgas, un tās bieži var darboties ar 25 G–100 G atkarībā no modeļa lieluma un pieprasījuma caurlaidspējas. Savienojiet treniņu NIC ar400 G QSFP-DD moduļimugurkaula savienojumiem vai lietošanai100G QSFP28 raiduztvērējilapu{0}}uz-servera saitēm mazākās kopās.

Vai SmartNIC ir papildu izmaksu vērts?

Mākoņu pakalpojumu sniedzējiem un lieliem uzņēmumiem, kas izmanto intensīvu tīkla virtualizāciju, jā - SmartNIC var atgūt 4–8 CPU kodolus uz vienu serveri, izkraujot virtuālās komutācijas, drošības un telemetrijas funkcijas. Standarta izvietošanai telpās ar mērenu virtualizāciju parasti pietiek ar standarta NIC ar SR-IOV atbalstu.

Kā savienot NIC ar optiskās šķiedras kabeļiem?

NIC ar SFP+, SFP28, QSFP28 vai QSFP-DD pieslēgvietām ir nepieciešama atbilstošaoptiskā raiduztvērēja modulissaskarties ar šķiedru. Ievietojiet raiduztvērēju NIC portā un pēc tam pievienojiet atbilstošošķiedru patchcord - LC duplekssSFP{0}}tipa portiem,MPO/MTPparalēlai QSFP{0}}tipa optikai. Īsas-attāluma saitēm plauktos, aDAC kabelisnovērš nepieciešamību gan pēc raiduztvērēja, gan šķiedras.