Mae QSFP{0}}DD yn ffit dda ar gyfer clwstwr AI pan fo'r switsh neu'r pwynt terfyn eisoes yn defnyddio cawell QSFP-DD brodorol, pan fydd yn rhaid i sylfaen fawr o fodiwlau teulu a ffibr QSFP cymwys aros mewn gwasanaeth, a phan fydd y platfform yn gallu oeri'r modiwlau a ddewiswyd gyda phob porthladd wedi'i boblogi. Dyma'r man cychwyn anghywir pan fydd y gweinyddwyr GPU a'r switshis yn cael eu hadeiladu o amgylch cewyll OSFP brodorol, neu pan fydd yr opteg sydd ei angen arnoch chi mewn gwirionedd angen mwy o uchdwr thermol nag y gall y gwesteiwr ei roi iddynt.
Nid y ffactor ffurf yw'r penderfyniad cyntaf. Yn fras, dyma'r pedwerydd. Mae dyluniad rhwydwaith sy'n goroesi ei rediad hyfforddi cynhyrchu cyntaf yn dechrau gyda rhyngwynebau'r gweinydd, nifer y rheiliau, y topoleg darged, y gymhareb gordanysgrifio dderbyniol, a'r llwybr cebl mesuredig. Dim ond wedyn y mae siâp y modiwl o bwys.
Mae'r canllaw hwn yn cerdded y drefn honno o un pen i'r llall, gyda chyfrifiad cynhwysedd gweithio,-tabl dewis cyswllt, a dilyniant dilysu y gallwch ei roi i dîm labordy.

Pa Ffactor Ffurf Ddylech Chi Dethol?
| Cyflwr diweddbwynt | Dewis cyntaf i'w werthuso |
|---|---|
| Mae'r ddau yn gorffen yn frodorol QSFP-DD / QSFP-DD800 | QSFP{0}}DD |
| Mae'r ddau yn dod i ben yn frodorol OSFP | OSFP |
| Mudo o sylfaen QSFP 400G wedi'i osod | QSFP{0}}DD, ar yr amod bod y gwesteiwr yn cefnogi'r modd porthladd gofynnol |
| Opteg -pŵer uchel ar lwyfan y mae ei gawell brodorol yn OSFP | OSFP |
| Un pen OSFP, a'r llall QSFP-DD | Croes{0}}ffurf-ffactor DAC/AEC cymwysedig, neu ddolen optegol gyda PMD cyfatebol, cyfradd lôn a modd FEC ar y ddau ben |
Mae'r rheol sylfaenol yn fyr:dewiswch y cawell sy'n frodorol i'r pwynt terfyn, yna gwiriwch y gyfradd lôn drydanol, rhyngwyneb optegol, modd FEC, dosbarth pŵer a firmware ar gyfer yr union rif rhan hwnnw.Mae popeth isod yn waith sydd ei angen i gymhwyso'r rheol honno'n onest.
Y Pum Penderfyniad, mewn Trefn
Daw'r rhan fwyaf o adeiladau rhwydwaith AI gwael o wneud y penderfyniadau hyn allan o ddilyniant - dewis modiwl yn gyntaf a darganfod y cyfyngiad yn ddiweddarach. Mae pob cam isod yn bwydo'r nesaf, ac mae pob un yn newid yr hyn y gallwch ei brynu yn y cam ar ei ôl.
- Cadarnhewch y pwyntiau terfyn.Math cawell brodorol a modd protocol ar ddau ben pob cyswllt.
- Cyfrifwch y cynhwysedd.Porthladdoedd fesul nôd, fesul rheilen, yna dolen gyswllt dail a chynhwysedd uplink ar eich cymhareb gordanysgrifio darged.
- Dewiswch y ddolen ffisegol.Hyd llwybr wedi'i fesur, planhigyn ffibr, cysylltydd, gofyniad torri allan.
- Dilyswch y rhif rhan.FEC, cyfradd lôn, dosbarth pŵer, cadarnwedd, adolygu CMIS, cymhwyster gwerthwr.
- Defnyddio yn ôl parth methiant.Lab yn gyntaf, yna un rac, rheilen neu uned scalable ar y tro.
Cam 1: Gwahanwch y Ffactor Ffurflen, y Protocol a'r Rhyngwyneb Optegol
Mae'r tri pheth hyn yn cael eu cwympo i un penderfyniad yn gyson, a'r cwymp hwnnw yw lle mae'r rhan fwyaf o bethau annisgwyl cydnawsedd yn tarddu. Maent yn haenau ar wahân gyda dogfennau llywodraethu ar wahân.
Y ffactor ffurfyn diffinio dimensiynau mecanyddol, y cysylltydd gwesteiwr, lonydd trydanol, ymddygiad rheoli a dyluniad thermol. Mae'rQSFP{0}}Manyleb caledwedd DD MSAyn cwmpasu'r gofynion mecanyddol, trydanol a thermol, ac mae ei ddiwygiadau diweddarach yn ymestyn yr un porthladd cynnal wyth lôn i amrywiadau 800G ac 1.6T tra'n cadw cydnawsedd yn ôl â'r teulu QSFP. Os ydych chi eisiau'r cefndir mecanyddol a rheoli cyn mynd ymhellach, mae einQSFP{0}}DD trosolwg technegolyn cynnwys y ffactor ffurf ei hun yn fanwl.
Y protocolMae - Ethernet, RoCEv2 neu InfiniBand - yn cael ei benderfynu gan y NIC, y switsh ASIC, y firmware a ffurfweddiad y porthladd, nid gan siâp y cawell. Ni ddylid byth ddisgrifio modiwl QSFP-DD fel "cynnal Ethernet ac InfiniBand" fel priodwedd y ffactor ffurf. Mae'r gallu hwnnw'n perthyn i'r gwesteiwr ac mae'n rhaid ei gadarnhau yn y porthladd penodol.
Y rhyngwyneb optegolMae - DR8, FR4, SR8, LR - yn disgrifio trefniadaeth lôn, cyrhaeddiad a chymhwysiad. Nid yw'n disgrifio'r cysylltydd, y cyfrif ffibr, y mapio torri allan na'r gyfradd lôn drydanol. Gall dau fodiwl sy'n cario'r un label optegol fod yn wahanol ym mhob un o'r rheini. Diffinnir y signalau ei hun gan IEEE, nid gan yr MSA:IEEE Std 802.3df-2024ychwanegodd y paramedrau MAC a'r haenau ffisegol ar gyfer gweithrediad 800 Gb/s a 400 Gb/s PHYs ychwanegol.
Mae ymddygiad rheoli yn bedwerydd haen dawelach. Mae modiwlau QSFP-DD ac OSFP yn cael eu rheoli drwy CMIS, ac mae'r adolygu'n bwysig o ran ymddygiad diweddaru cadarnwedd, dewis rhaglenni ac amseriad y modiwl gwesteiwr. Rhestrir y diwygiadau cyhoeddedig yn yCytundebau gweithredu OIF.
Cam 2: Maint y Rhwydwaith O Borthladdoedd Gweinydd, Nid Cyfrif GPU
Mae cyfrif GPU yn dweud wrthych pa mor fawr yw clwstwr. Nid yw'n dweud wrthych beth sydd gan y rhwydwaith i'w gario, oherwydd dim ond rhyngwynebau gweinydd y mae'r rhwydwaith yn ei weld.
Mae dwy enghraifft yn gwneud y pwynt. Mae system NVIDIA DGX H100/H200 yn datgelu wyth rhyngwyneb ffabrig ConnectX-7 cyfrifiant{{{{{}}hyd at 400 Gb/s yr un - ond nid wyth cawell ffisegol ydyn nhw. Mae pensaernïaeth gyfeirio SuperPOD yn dangos y ffabrig cyfrifiadurol a gyflwynir drwyddopedwar -trosglwyddydd porthladd yn cyrraedd pob un o'r wyth GPU. Mae DGX B300, mewn cyferbyniad, yn cyflwynowyth porthladd rhwydwaith ar yr hambwrdd GPUgwasanaethu wyth rhyngwyneb ConnectX-8 hyd at 800 Gb/s. Yr un cyfrif GPU, rhestr eiddo porthladd hollol wahanol, cyfrif cebl a bil opteg.
Felly cyn i chi edrych ar daflen ddata switsh sengl, dogfennwch ar gyfer pob math o nod: cyfrifwch -borthladdoedd ffabrig, cyfradd porthladd, NIC-i-fapio GPU neu reilffordd, math cawell brodorol, moddau protocol â chymorth, ynghyd â'r rhyngwynebau storio a rheoli ar wahân. Y rhestr eiddo honno, nid y rhif GPU, yw'r mewnbwn i bob cyfrifiad sy'n dilyn.
Cyfrifiad Cynhwysedd Gweithiedig
Cymerwch uned scalable o 32 nod, pob un ag wyth porthladd ffabrig cyfrifiannu 400G, un porthladd i bob rheilffordd, mewn dyluniad -rheilffordd wedi'i optimeiddio. Gweithiwch un rheilffordd ar y tro:
- Capasiti downlink fesul deilen rheilffordd= 32 nodau × 1 porthladd × 400G =12.8 tb/s
- Am 1:1 (dim-rhwystro), capasiti uplink gofynnol=12.8 Tb/s → 12,800 ÷ 800 =16 × 800G uplinks
- Am 2:1, capasiti uplink gofynnol=6.4 Tb/s →8 × 800G uplinks
Yna gwiriwch y canlyniad yn erbyn switsh radix: mae angen 32 o ddolenni lawr ynghyd â 16 o ddolenni cyswllt i fyny â 48 o borthladdoedd defnyddiadwy ar y ddeilen honno, sy'n cyfyngu ar eich dewis switsh ar unwaith. Ychwanegu dolenni ar gyfer dileu swyddi a chynnal a chadw, ac ailadrodd fesul rheilffordd - wyth rheilen, wyth grŵp dail, nid un rhif cyfanredol. Dyma lle mae 800G yn ennill ei le neu ddim: yma mae'n haneru'r cyfrif porth cyswllt, sef dadl radix, nid dadl lled band.
Rheilffyrdd{0}}ffabrigau coed braster cytbwys wedi'u optimeiddio- yw'r patrwm dogfennau NVIDIA ar gyfer clystyrau hyfforddi mawr - yPensaernïaeth gyfeirio DGX H100 SuperPODyn defnyddio-coeden fraster llawn gyda chysylltiadau cyfrifiadurol wyth fesul-system. Dyfarniad dylunio yw p'un a yw'r patrwm hwnnw'n gweddu i'ch llwyth gwaith, ond mae'r dull cyfrifo uchod yn dal heb ystyried topoleg.
Cam 3: Cynlluniwch y Pedwar Ffabrig, Yna Dewch Yn ôl i'r Modiwlau
Nid un rhwydwaith yw clwstwr AI. Mae saernïaeth gyfeirio DGX SuperPOD ar wahâncyfrifiadura, storio, mewn-rheoli bandiau ac allan-o-reoli bandffabrigau, ac mae pob un yn cynhyrchu ei ofynion porthladd ac opteg ei hun.
Mae'rffabrig cyfrifiadurolyn cario cyfnewid graddiant, cydamseru paramedr, cyfunol a gweithrediadau cof o bell. Mae ganddo'r gofynion caethiwed, tagfeydd a chymesuredd-llwybr llymaf, a dyma lle mae'r ddadl 800G yn erbyn 400G wedi'i setlo mewn gwirionedd.
Mae'rffabrig storioyn cario data hyfforddi, pwyntiau gwirio ac arteffactau model. Mae ei gapasiti yn dibynnu ar fformat y set ddata, cyfradd taro celc, data-cyfochrogrwydd llwythwr, amlder pwynt gwirio a dwyster metadata - a dyna pam nad yw "400G yn ddigon ar gyfer storio" yn rhagosodiad diogel. Mae pensaernïaeth cyfeirio yn nodi perfformiad storio ar lefel y system ac yn ei gadw oddi ar y ffabrig cyfrifiadurol yn union fel na all y ddau lwyth gwaith niweidio ei gilydd.
Mae'ryn-rhwydwaith rheoli bandiauyn cario darpariaeth, traffig amserlennu, cofrestrfeydd, cadwrfeydd a monitro. Mae'rallan{0}}o'r rhwydwaith bandiauyn cyrraedd BMCs, porthladdoedd rheoli switsh a phŵer rac, a rhaid iddo aros yn gyraeddadwy tra bod y ffabrig cynhyrchu yn cael ei dorri. Ei drin fel llwybr adfer a diogelwch gyda'i ddolen gyswllt ei hun, nid fel traffig cyflymdra isel dros ben.
Ar gyfer dewis modiwlau, y canlyniad ymarferol yw hyn: mae pob ffabrig yn cyfrannu ei gyfrif porthladd ei hun, ei broffil pellter ei hun a'i fath cawell ei hun, ac maent yn aml yn wahanol. Gall clwstwr fod yn OSFP ar gyfrifiannu a QSFP-DD ar storio a rheoli heb fod unrhyw beth o'i le.
Cam 4: Dewiswch 400G neu 800G O Gyfyngiad, Nid Tuedd
Mae porthladd 800G yn dyblu capasiti enwol. Nid yw'n lleihau'r traffig y mae eich cais yn ei gynhyrchu. Mae ei werth bron bob amser yn strwythurol - llai o ddolenni, gwell effeithlonrwydd radix, neu bwynt terfyn 800G brodorol.
400G yw'r dewis gorau o hydpan fo terfynbwyntiau cyfrifo yn 400G yn frodorol, mae'r ffabrig presennol eisoes yn cwrdd â'i darged blocio, mae'r clwstwr yn tyfu y tu mewn i'r radix sydd ar gael, mae modiwl 400G cymwys a sylfaen ceblau eisoes yn bodoli, neu mae cyfyngiadau pŵer ac oeri yn gwneud 800G yn anneniadol. Gan ddefnyddio 800Guplinksuwchlaw gweinyddwyr 400G yn dal yn berffaith resymol - ond ei gyfiawnhau o'r rhifyddeg porthladd uchod, nid o'r label.
Mae 800G yn gwella'r dyluniadpan fydd gweinyddwyr yn datgelu rhyngwynebau 800G brodorol, pan fydd yn rhaid i lawer o lifau 400G agregu i lai o ddolenni meingefn, pan fydd cyfrif y porthladd switsh yn gyfyngiad rhwymol, neu pan fydd torri allan o 800G i ryngwynebau plentyn cyflymder is yn symleiddio mudo. Wedi'i nodi'n fanwl gywir: Gall 800G leihau nifer y cysylltiadau ffisegol neu newid porthladdoeddmewn dyluniadau lle mae agregu a radix yn gyfyngiadau cyfyngu. Nid yw'n gwneud hynny fel deddf natur.

Mae-Mudo Cyflymder Cymysg yn Angen Dogfennaeth Benodol
Breakout yw pan fydd -dyluniadau cyflymder cymysg yn methu'n dawel. Mae CYG modern yn gwneud hyn yn ffurfweddadwy yn hytrach na - NVIDIA's ConnectX-8 sefydlogporth-hollti dogfennaethyn dangos un cawell OSFP 800G yn cael ei ail-gyflunio i ddau borthladd 400GbE neu wyth porthladd 100GbE, pob un yn gofyn am newid ffurfweddiad lefel firmware a chylch pŵer. Dim ond lle mae'r gwerthwr wedi ei brofi a'i gyhoeddi y mae'r hyblygrwydd hwnnw'n bodoli.
Felly dylai cynllun mudo nodi, fesul porthladd: pa borthladdoedd sy'n rhedeg ar ba gyflymder, p'un a yw'r gwesteiwr yn cefnogi'r modd torri allan bwriedig, y gyfradd lôn drydanol ar y ddau ben, p'un a yw'r toriad yn rhesymegol, yn optegol neu'n gebl, y modd FEC sydd ei angen ar bob rhyngwyneb plentyn, a ellir ailddefnyddio'r cyfrif ffibr presennol a'r math o gysylltydd, a sut bydd monitro yn nodi pob porthladd plentyn. Nid yw mewnosod modiwl cyflymder is yn golygu bod pob modd gwesteiwr ar gael.
QSFP{0}}DD yn erbyn OSFP
| Ffactor penderfyniad | QSFP{0}}DD | OSFP |
|---|---|---|
| QSFP-cydnawsedd teulu | Brodorol, lle mae'r gwesteiwr yn cefnogi'r modd | Yn bosibl ar gyfer rhai modiwlau trwy -addasydd pwrpasol |
| Maint y modiwl | Llai | Mwy |
| Dyluniad thermol | Marchogaeth-dyluniadau heatsink; gwirio ar y boblogaeth lawn | heatsink integredig neu reidio; Mae MSA yn diffinio dosbarthiadau pŵer uwch |
| Defnydd system AI-nodweddiadol | Switsys Ethernet, llwyfannau cyflymder cymysg | Sawl platfform GPU ac InfiniBand perfformiad uchel |
| Rheol penderfyniad | Mae'n well gen i pan fo pwyntiau terfyn yn faterion ailddefnyddio QSFP{0}DD a QSFP brodorol | Mae'n well gennym pan fydd pwyntiau terfyn yn OSFP brodorol neu mae angen ei amlen bŵer ar opteg |
Mae angen cyfyngu ar ddau hawliad. Yn gyntaf, "Nid oes gan OSFP gydnawsedd yn ôl" yn rhy eang - yOSFP MSAyn dogfennu cydnawsedd QSFP trwy addasydd pwrpasol, ac mae ei fanyleb modiwl yn diffinio'r dosbarthiadau pŵer uwch a'r opsiynau heatsink integredig sy'n rhoi enw da thermol i OSFP. Yn ail, nenfwd manyleb yw'r enw da hwnnw, nid gwarant. Mae p'un a all siasi penodol redeg modiwlau dosbarth 30W ym mhob cawell yn dibynnu ar ddyluniad y cawell, cyfeiriad y llif aer, tymheredd y fewnfa, polisi'r ffan, y porthladd cyfagos a therfynau'r gwerthwr system ei hun.
A dyna pam nad oes modd trafod dilysiad thermol poblogaeth llawn: gall modiwl sy'n pasio mewn un porth fynd dros ei derfyn tymheredd pan fydd pob un o'r 32 neu 64 o borthladdoedd wedi'u cynnau, ac eto pan fydd ffan neu gyflenwad pŵer yn methu. Profwch y system boblog, ar eich tymheredd mewnfa go iawn.
Os mai OSFP yw'r gweinydd a'r switsh yn QSFP-DD, ymwrthodwch â'r atgyrch i safoni. Mae addaswyr yn ychwanegu cliriad mecanyddol, llif aer, pŵer, uniondeb signal, rhestr eiddo ac ystyriaethau cymorth. Mae cebl ffactor croes cymwysedig, neu ddolen optegol gyda PMD a FEC cyfatebol ar bob pen, yn aml yn lanach nag ailosod caledwedd i wneud i'r siapiau gyfateb.

Cam 5: Dewiswch y Cyswllt yn ôl Pellter Mesuredig a Ffibr Presennol
Mae'r capasiti a'r pwyntiau terfyn bellach wedi gosod cyflymder y porthladd a'r cawell. Mae pellter a'r planhigyn ffibr wedi'i osod yn trwsio popeth arall. Fel canllaw peirianneg yn hytrach na rheol, y cyswllt technegol dilys byrraf fel arfer yw'r symlaf i'w weithredu - ond mae hyblygrwydd, diamedr cebl, defnyddioldeb a gofynion torri allan i gyd yn groes i hynny.
| Llwybr | Opsiwn nodweddiadol | Beth i'w gadarnhau |
|---|---|---|
| Mewn{0}}rac, yn fyr iawn | DAC goddefol | Hyd union a math cebl a gefnogir ar y ddau ben; radiws plygu; pwysau |
| Byr ond y tu hwnt i gopr goddefol | AEC / ACC | Tynnu pŵer, hwyrni ychwanegol, rhwystr llif aer, cymhwyster gwerthwr, cefnogaeth modd porthladd |
| Optegol byr, hyd sefydlog yn dderbyniol | AOC | Gwasanaethadwyedd - mae methiant yn disodli'r cynulliad cyfan |
| Amlfodd, yn-rhes i-rhes gyfagos | SR{0}}opteg gyfochrog dosbarth | Gradd ffibr a therfynau cyrhaeddiad; gweld einCanllaw terfynau pellter OM1-OM5 |
| Modd-singlo, is-cilomedr, ymneilltuo eisiau | DR{0}}opteg gyfochrog dosbarth | Maint MPO, polaredd, sglein APC/UPC, mapio ymneilltuo |
| Modd-sengl, graddfa cilomedr | FR-dosbarth deublyg neu baralel, yn dibynnu ar y cynnyrch | Mae math y cysylltydd yn amrywio yn ôl rhif rhan; gradd ffibr - cymharuffeibr modd sengl OS1 ac OS2 |
Gweithredu cysylltydd yw'r trap yma, oherwydd nid yw'n cael ei awgrymu gan y label optegol. Mae gwerthwyr yn cludo cynhyrchion 800G DR8 gyda naill ai MPO deuol-12 neu gysylltedd MPO-16 sengl, a chynhyrchion dosbarth FR 2 km gyda naill ai MPO cyfochrog neu LC deublyg deuol. Mae'r ddau amrywiad yn gyfreithlon; mae angen ceblau hollol wahanol arnynt. Cyn archebu boncyffion, setlo'r cwestiwn cysylltydd yn fwriadol - einCanllaw dewis MTP vs MPOyn cwmpasu'r gwahaniaethau mecanyddol a polaredd, a'rCanllaw cebl torri allan MPOyn cwmpasu'r mapio ffan y mae pyrth ymneilltuo yn dibynnu arno.
Mae dwy eitem arall yn perthyn i'r un sgwrs. Mae'n rhaid cyllidebu colled sianel yn erbyn manyleb y modiwl gyda chysylltwyr a sbleisau yn cael eu cyfrif, ni thybir - gwelersut mae colled mewnosod yn cronni mewn rhwydweithiau ffibr. Ac mae ceblau strwythuredig rhwng rhesi yn haws i'w cynnal pan fydd wedi'i adeiladu ar -wedi'i derfynu ymlaen llawCeblau cefnffyrdd MPO/MTPgyda dull polaredd wedi'i ddogfennu yn hytrach na rhediadau maes{0}}ymgynnull. Lle defnyddir cysylltiadau FR deublyg, mae gyriannau ansawdd endface cysylltydd yn dychwelyd colled yn uniongyrchol; yrCanllaw cysylltydd LCyn cwmpasu beth i'w archwilio.
Ar gyfer pob cyswllt, cofnodwch: cawell gwesteiwr, cyfradd lonydd gwesteiwr, cyflymder porthladd wedi'i ffurfweddu, math PMD neu gebl, cysylltydd, math a chyfrif ffibr, colled sianel uchaf, modd FEC, mapio torri allan, cod cymhwyso modiwl, CMIS a gofyniad firmware, pŵer uchaf, a statws cymhwyster. Mae'r cofnod fesul{1}}dolen yn werth mwy nag unrhyw reol gyffredinol ynghylch pa opteg sy'n mynd i ble.

RoCEv2 neu InfiniBand: Penderfynwch Hyn yn Annibynnol
Mae dewis protocol yn orthogonal i ffactor ffurf, a dylid ei wneud ar sail weithredol.
RoCEv2yn addas ar gyfer sefydliadau sydd eisoes yn rhedeg Ethernet ar raddfa fawr, gyda nodweddion RoCE wedi'u dilysu ar y llwyfan newid a thîm sy'n gallu bod yn berchen ar QoS, rheoli tagfeydd, telemetreg a chyfluniad gwesteiwr. Y cafeat yw nad yw "galluogi PFC ac ECN" yn gynllun defnyddio. Mae dogfennaeth Cumulus Linux NVIDIA yn disgrifioRoCE fel cyfluniad cymhlethyn rhychwantu pyllau clustogi, dosbarthiad traffig, mapio blaenoriaeth, trothwyon PFC ac ECN ac amserlennu, gyda modd di-golled gan ddefnyddio PFC ac ECN gyda'i gilydd a modd colledus gan ddefnyddio ECN yn unig - ac yn nodi nad yw cyfluniad a gynhyrchir ar gyfer un switsh cynhyrchu ASIC yn cario drosodd i un arall.
InfiniBandyn addas ar gyfer gosodiadau yn dilyn pensaernïaeth gwerthwr ddilys, lle mae rheolaeth ffabrig integredig yn werthfawr a lle mae gan y tîm yr offer a'r arbenigedd eisoes.
Seiliwch y dewis ar ymddygiad cymhwysiad profedig, sgil gweithredol, ffiniau cymorth a dyluniad system gyfan. Mae canrannau perfformiad marchnata yn dibynnu ar dopoleg, fersiwn meddalwedd, maint y neges, cyflwr tagfeydd a chyfluniad NIC, ac anaml y byddant yn trosglwyddo i glwstwr arall.
Dilysu: Beth i'w Brofi Cyn Prynu Mewn Cyfrol
Mae prawf labordy cynrychioliadol yn cwmpasu pedwar maes, ac mae'r gorchymyn o bwys - sefydlogrwydd cyswllt yn gyntaf, oherwydd mae niferoedd perfformiad o ddolen ansefydlog yn ddiystyr.
Dewch â-i fyny:cist oer, ailgychwyn cynnes, mewnosod a thynnu modiwlau, analluogi/galluogi porthladd, creu a thynnu allanfa, ac ailgychwyn y ddau ben mewn gwahanol ddilyniannau.Cywirdeb signal:cyn-FEC BER, cyfrif FEC wedi'i gywiro ac na ellir ei gywiro, gwallau lefel lôn, PRBS neu BERT lle cefnogir, trawsyrru a derbyn pŵer optegol, tymheredd cas modiwl, a chyfrifiadau fflap cyswllt o dan lwyth thermol.Perfformiad:trwybwn parhaus, y casgliadau a'r meintiau negeseuon y mae eich swyddi'n eu defnyddio mewn gwirionedd, traffig rheilffordd aml- yr un pryd, incast, cynnen storio-plws-cyfrifiadur, a socian hir.Methiant:cyswllt sengl, switsh deilen, cyswllt meingefn, pŵer-adfer beiciau, amnewid ceblau a modiwlau, rheoli{1}}colli llwybr.
Trothwyon cofnodi, nid dim ond pasio/methu. Dylai gwallau FEC na ellir eu cywiro fod yn sero ar ddolen iach; cyn-Dylai cyfraddau gwallau FEC eistedd ymhell y tu mewn i ymyl penodedig y modiwl ac aros yno wrth i dymheredd yr achos godi yn ystod y socian. Mae cyswllt sy'n tueddu i fyny ar draws suddiad 48 awr yn ddolen a fydd yn methu yn y cynhyrchiad.
Yna cyflwyno fesul parth methiant - un rac, un rheilen, un pâr dail neu un uned scalable ar y tro - a monitro newidiadau cyflwr cyswllt, cyfrifiadau FEC wedi'u cywiro ac anghywiro, tymheredd modiwl, pŵer optegol, gweithgaredd saib PFC, marcio ECN, defnydd ciw ac amser cyfathrebu lefel swydd{{2}. Gall cyswllt sy'n dal i fyny fod yn ddiraddiol o hyd; tueddiadau gwall a thymheredd cynyddol wedi'u cywiro yw'r rhybudd cynharaf a gewch.
Tair Senarios Dylunio
Ehangu ffabrig Ethernet 400G presennol.Mae switshis QSFP cymwysedig-DD 400G a cheblau strwythuredig eisoes yn eu lle; nodau newydd yn datgelu 400G. Cadw'r gweinydd-yn wynebu dolenni ar 400G, rhedeg y cyfrifiad uplink uchod i brofi'r gymhareb blocio, a chyflwyno 800G dim ond pan fydd yn prynu effeithlonrwydd porth meingefn. Ailddefnyddiwch opteg a ffibr cymwys lle bynnag y bo'r gyllideb golled yn caniatáu, a dilyswch bob ffurfweddiad canfod cyflymder cymysg cyn ei brynu. Switch radix sy'n gyrru'r penderfyniad hwn, nid cyfrif GPU.
Adeiladu clwstwr brodorol 800G.Mae'r gweinyddwyr yn datgelu 800G brodorol. Dilynwch dopoleg ddilysedig gwerthwr y gweinydd, dewiswch switshis gyda'r cawell brodorol cyfatebol, gwiriwch gapasiti thermol y boblogaeth lawn ar dymheredd eich mewnfa, dewiswch y rhyng-gysylltiad o hyd llwybr mesuredig, a dilyswch bob cyfuniad torri allan a FEC cyn ymrwymo. Yma mae 800G wedi'i gyfiawnhau gan y pwynt terfyn ei hun.
Byw gyda dau ffactor ffurf.Y gweinyddion yw OSFP; rhan o'r ystâd newid Ethernet yw QSFP-DD. Cymharwch gynulliadau croes-ffurf-ffactor DAC neu AOC cymwysedig, rhyngweithrededd optegol gyda chewyll gwahanol ar bob pen, addaswyr cymeradwy, goblygiadau pŵer a thermol, stocrestr sbâr a pherchnogaeth cymorth. Mae ailosod un ochr yn unig i safoni siâp y modiwl yn aml yn ddrytach na gweithredu amgylchedd cymysg wedi'i ddogfennu.
Saith Camgymeriad Sy'n Achosi Ailweithio
- Gan ddechrau o gyfrif GPU.Nid yw'n disgrifio cyfrif NIC, mapio rheilffyrdd, cyfradd porthladdoedd na gor-alw. Cyfrifo o ryngwynebau gweinydd.
- Gan dybio bod 800G yn gyflymach ar gyfer pob swydd.Mae'n helpu dim ond lle gall pwyntiau terfyn, topoleg a phatrwm traffig ei ddefnyddio. Meincnodwch y cydweithfeydd rydych chi'n eu rhedeg mewn gwirionedd.
- Trin QSFP{0}}DD fel protocol.Mae'n gawell. Dilysu cawell, protocol, modd trydanol, opteg a FEC ar wahân.
- Anwybyddu ffabrigau storio a rheoli.Ni all ffabrig cyfrifiadurol cyflym wneud iawn am ddanfon pwynt gwirio araf neu BMC anghyraeddadwy.
- Darllen y label optegol fel manyleb ceblau.Nid yw DR8 a FR4 yn nodi cysylltydd, cyfrif ffibr na dyluniad torri allan. Defnyddiwch union rifau rhannau a diagram ceblau.
- Profi un porthladd.Llif aer poblogaeth llawn a thymheredd mewnfa yw'r prawf go iawn.
- Dyfynnu canrannau perfformiad heb ddull.Cyhoeddi'r topoleg a'r dull prawf, neu ollwng y rhif.
Adeiladu Model TCO y Gallwch ei Amddiffyn
Mae costau cyfalaf yn cynnwys CYG neu DPUs, switshis dail a meingefn, tros-dderbynwyr, DACs, AECs ac AOCs, boncyffion ffibr a chlytio, rheoli raciau a cheblau, offer profi a darnau sbâr. Mae costau gweithredol yn cynnwys pŵer modiwl a switsh, oeri, monitro, cymhwyster cadarnwedd, hyfforddiant, llafur amnewid a chymorth gwerthwr. Mae risg yn costio - mae'r rhai sy'n cael eu hepgor fel arfer - yn cynnwys methiannau cydnawsedd, oedi wrth ddefnyddio, derating thermol, ansefydlogrwydd cyswllt, ail-geblau, tarfu ar swyddi hyfforddi ac amser adfer estynedig.
Mae cydnawsedd ôl yn wirioneddol yn lleihau cost, ond mae'n rhaid cyfrifo'r arbediad o'r offer penodol y gellir eu hailddefnyddio ar y cyflymder a'r modd gofynnol. Nid yw cydweddoldeb ffactor ffurflen yn unig yn gwarantu y gall yr ASIC, PCB, cawell, system oeri, cadarnwedd neu gyllideb pŵer redeg y genhedlaeth nesaf. Trin mudo cyflymder yn y dyfodol fel cwestiwn platfform, nid cwestiwn cysylltydd.
Cwestiynau Cyffredin
A yw QSFP{0}}DD yn addas ar gyfer clystyrau hyfforddi AI?
Ydy, pan fydd yn frodorol i'r switsh neu'r pwynt terfyn a ddewiswyd, mae'n bodloni gofynion thermol poblogaeth lawn y porthladd, ac yn cefnogi'r modd porthladd a'r rhyngwyneb optegol gofynnol. Nid yw cyfradd data enwol yn unig yn rheswm i'w ddewis.
Faint o GPUs sydd angen rhwydweithio 800G?
Nid oes trothwy GPU. Cyfrifwch o borthladdoedd rhwydwaith fesul gweinydd, cyflymder porthladd, mapio rheilffordd, topoleg, targed gordanysgrifio a thraffig cymhwysiad - y dull yng Ngham 2 uchod.
Ydy QSFP{0}}DD yn well nag OSFP?
Nid yw'r naill na'r llall yn well yn gyffredinol. QSFP{1}}DD yn cynnig QSFP-cydnawsedd teuluol brodorol ac ôl troed llai; Mae manyleb OSFP yn diffinio dosbarthiadau pŵer uwch ac opsiynau heatsink integredig, ac mae'n frodorol i sawl platfform AI perfformiad uchel. Mae'r diweddbwynt yn penderfynu.
A all porthladd OSFP ddefnyddio modiwl QSFP?
Mae rhai gweithrediadau OSFP yn cefnogi modiwlau QSFP trwy addasydd cymeradwy, ond mae angen gwirio cydnawsedd, pŵer, modd porthladd a chefnogaeth gwerthwr ar gyfer y platfform penodol.
A ellir defnyddio QSFP{0}}DD ar gyfer Ethernet ac InfiniBand?
Nid yw'r ffactor ffurf yn pennu'r protocol. Rhaid i'r porthladd gwesteiwr, NIC, switsh, firmware, cebl a throsglwyddydd i gyd gefnogi'r modd gweithredu a fwriedir.
Pa drosglwyddydd 800G ddylwn i ei ddefnyddio?
Dechreuwch o bellter mesuredig, cawell pwynt terfyn, toriad gofynnol, math o ffibr, cysylltydd, cyfradd lôn, modd FEC, dosbarth pŵer a chymhwyster gwerthwr. Nid yw enw'r rhyngwyneb optegol yn ddigon ar ei ben ei hun.
A yw QSFP{0}}DD yn cyfateb yn ôl yn gwarantu uwchraddio 1.6T hawdd?
Efallai y bydd y porthladd gwesteiwr yn derbyn y modiwl yn fecanyddol tra na all y gyllideb ASIC, PCB, cawell, oeri neu bŵer gefnogi'r gyfradd lôn newydd. Dilysu ar lefel platfform.
Cyn I Chi Arwyddo'r Archeb Brynu
Cadarnhewch y cawell pwynt terfyn ar ddau ben pob math o ddolen; nifer a chyflymder y -byrth ffabrig fesul nod; y mapio rheilffyrdd a'r gymhareb gordanysgrifio darged; cyfrif porth dail a meingefn gan gynnwys diswyddiadau; gofynion y pedwar ffabrig; y modd gweithredu ac, ar gyfer RoCE, y cynllun rheoli tagfeydd llawn; y llwybr cebl mesuredig a'r dewis rhyng-gysylltiad sy'n deillio o hynny; cysylltydd, polaredd a chyllideb golled; FEC a modd torri allan; pŵer modiwl yn erbyn-terfynau thermol poblogaeth llawn; cadarnwedd a chytunedd CMIS; statws cymhwyster gwerthwr; a chanlyniadau labordy ar gyfer BER, perfformiad, tagfeydd, methiant a phrofion socian.
Mae QSFP{0}}DD yn cefnogi ffabrig AI 400G neu 800G graddadwy yn dda. Dim ond un elfen o'r dyluniad ydyw o hyd. Dechreuwch gyda'r pwyntiau terfyn a'r model traffig, cyfrifwch y topoleg, dewiswch y cyswllt ffisegol o bellter mesuredig, a dilyswch y system ymgynnull cyn iddo gyflawni swydd hyfforddi.
Methodoleg a Chwmpas
Mae'r canllaw hwn yn defnyddio tri math o ffynhonnell, ac maent yn cael eu cadw'n wahanol yn fwriadol yn y testun uchod.Safonau a dogfennau MSAMae - IEEE 802.3df, manylebau caledwedd QSFP-DD ac OSFP MSA, a chytundebau gweithredu OIF CMIS - yn diffinio ffactorau ffurf, signalau ac ymddygiad rheoli.Dogfennaeth gwerthwrCyfeirir at - arweinlyfrau system NVIDIA DGX, saernïaeth cyfeirio DGX SuperPOD, ConnectX-8 nodyn ffurfweddu porthladd a dogfennaeth Cumulus Linux RoCE - fel enghraifft gwerthwr-benodol, nid fel ymddygiad cyffredinol; mae llwyfannau eraill yn wahanol.Canllawiau peiriannegMae - y cyngor dilyniannu, y ffafriaeth ar gyfer dolenni byrrach, y trothwyon dilysu - yn argymhellion gweithredol a dynnwyd o arferion defnyddio, ac maent wedi'u labelu felly yn hytrach na'u cyflwyno fel manyleb.