Dyluniad Rhwydwaith Clwstwr AI: Asgwrn Cefn-Deilen, RoCE a CYG

Dyluniad rhwydwaith clwstwr AI yw'r broses o fesur CYG gweinydd GPU, lled band asgwrn cefn dail, cymhareb gordanysgrifio, gosodiadau RoCE, opteg a cheblau felly mae traffig hyfforddi wedi'i ddosbarthu yn parhau i fod yn rhagweladwy fel graddfeydd clwstwr. Cael unrhyw un o'r rhain yn anghywir a'r rhwydwaith - nid y GPU - yn dod yn dagfa.

Pam Mae Rhwydweithio Clwstwr AI yn Wahanol

Mewn canolfan ddata menter draddodiadol, mae'r rhwydwaith yn delio â chymysgedd o draffig defnyddwyr gogledd y de, mynediad storio, rhithwiroli a rheolaeth. Mae traffig dwyrain-gorllewin yn bodoli ond yn anaml dyma'r prif lwyth. Mewn clwstwr AI, mae'r sefyllfa'n troi. Mae gweinyddwyr GPU sy'n rhedeg graddiannau cyfnewid hyfforddiant dosbarthedig ac yn cydamseru paramedrau yn ystod pob cam o'r swydd. Mae'r cyfathrebu hwn yn rhan o'r cyfrifiant, nid yn sgîl-effaith ohono.

Os yw GPU $30,000 yn treulio 30% o'i amser yn aros ar y rhwydwaith yn ystod yr holl weithrediadau lleihau, mae'r clwstwr i bob pwrpas yn talu am 30% o'i allu cyfrifo i eistedd yn segur. Dyna'r rheswm economaidd y mae rhwydweithio AI yn cael cymaint o sylw.

Mae tair nodwedd llwyth gwaith yn gyrru'r dyluniad:

• Traffig byrstio dwyrain-gorllewin.Mae gweithrediadau cyfathrebiadau cyfunol fel pob-lleihau,-casglu a lleihau-yn gwasgariad cynhyrchu byrstiadau cydamserol ar draws nifer o nodau ar yr un pryd.
• Cynffon-sensitifrwydd cuddni.Mae un nod araf yn gohirio'r cam hyfforddi cyfan. Mae hwyrni rhagweladwy yn bwysicach na hwyrni cyfartalog.
• Graddio{0}}twf allan.Mae clystyrau sy'n dechrau ar 32 GPU yn aml yn tyfu i 256 neu 1,024 o fewn 18 mis. Rhaid i'r ffabrig raddfa heb ei ailgynllunio.

Pam Mae Asgwrn Cefn-Leaf yn Ffitio Clystyrau AI

Deilen asgwrn cefn yw'r ffabrig safonol ar gyfer canolfannau data hyperscale oherwydd ei fod yn rhoi'r un cyfrif hopys a'r un lled band damcaniaethol i bob gweinydd-i-lwybr gweinydd. Ar gyfer llwythi gwaith AI, mae'r unffurfiaeth hon yn trosi'n uniongyrchol i amseroedd cam hyfforddi mwy rhagweladwy.

Mewn -topoleg dail meingefn, mae gweinyddwyr GPU yn cysylltu â switshis dail, ac mae pob deilen yn cysylltu â phob meingefn. Mae unrhyw gyfathrebu GPU i-GPU yn croesi un ddeilen yn union, un asgwrn cefn ac un ddeilen arall. Nid oes unrhyw haenau agregu sy'n cyflwyno hwyrni newidiol neu bwyntiau tagu.

Cwyrni Rhagweladwy

Mae llwybro cost-aml-lwybr (ECMP) cyfartal yn lledaenu llif ar draws switshis asgwrn cefn. Pan gaiff ei ffurfweddu'n gywir gyda llwybr addasol neu gydbwyso llwyth deinamig, mae hyn yn atal y gwrthdrawiadau hash sy'n achosi rhai llifau i fod yn llawer arafach nag eraill - problem hysbys mewn ffabrigau ECMP statig sy'n cario llif ychydig ond mawr, sef yr union beth mae hyfforddiant AI yn ei gynhyrchu.

Lled Band Haneriad Uchel

Lled band trawstoriad yw'r trwybwn sydd ar gael rhwng unrhyw ddau hanner cyfartal o'r clwstwr. Mae hyfforddiant AI yn elwa o ddyluniadau nad ydynt yn rhwystro neu'n agos at ddyluniadau lle mae capasiti'r ddeilen i{5}}uplink asgwrn cefn yn hafal neu bron yn hafal i'r capasiti downlink sy'n wynebu'r gweinyddwyr. Mae'r IETF yn diffinio ac yn trafod y cysyniadau hyn ynClwb Rygbi 7938, sy'n cwmpasu ffabrigau Clos wedi'u llwybro gan BGP a ddefnyddir yn helaeth mewn-canolfannau data ar raddfa fawr.

Graddfa Haws-Allan

Ychwanegu mwy o ddail i ychwanegu mwy o weinyddion. Ychwanegu mwy o bigau i ychwanegu mwy o led band hanneriad. Ar gyfer clystyrau y tu hwnt i ychydig filoedd o GPUs, mae topoleg wedi'i optimeiddio â rheilffyrdd yn ymestyn yr un egwyddor un haen ymhellach.

Cydrannau Craidd Rhwydwaith Clwstwr AI

Gweinyddion GPU a CYG

Y NIC yw lle mae'r ffabrig yn cwrdd â'r gwesteiwr. Mewn clystyrau AI, mae dewis NIC yn gyrru popeth i lawr yr afon - cyflymder porthladd switsh, dewis opteg, a dwysedd ceblau.

Meini prawf dethol ar gyfer llwythi gwaith AI:

• Cyflymder porthladd:200G, 400G neu 800G fesul porthladd. Cydweddu â chynhyrchu GPU a lled band PCIe.
• Cenhedlaeth PCIe:Mae angen PCIe Gen5 x16 ar CYG 400G er mwyn osgoi -bywio ochr y gwesteiwr. Capiau PCIe Gen4 x16 ar ~256 Gbps y gellir eu defnyddio.
• Cefnogaeth RDMA a RoCEv2:Yn ofynnol ar gyfer cnewyllyn-osgoi llyfrgelloedd cyfathrebu GPU fel NCCL.
• GPUDirect RDMA:Yn caniatáu i GPU uniongyrchol-i-NIC DMA, gan ddileu copïau cof gwesteiwr.
• Gallu-rheilffordd aml:Mae llawer o weinyddion AI yn defnyddio 4 neu 8 NIC fesul nod, un fesul pâr GPU, ar gyfer topolegau optimeiddio rheilffyrdd.

Mae gweinydd 8-GPU nodweddiadol heddiw yn defnyddio naill ai CYG 4 × 400G (un fesul dau GPU) neu CYG 8 × 400G (un fesul GPU) yn dibynnu ar lwyth gwaith a chyllideb. Pensaernïaeth cyfeirio oDogfennaeth rhwydweithio NVIDIAcwmpasu'r cyfaddawdau dylunio yn fanwl.

Switsys Dail ac Asgwrn Cefn

Mae meini prawf dewis switsh ar gyfer ffabrigau AI yn wahanol i ddewis menter. Mae maint byffer, ymddygiad rheoli tagfeydd a thelemetreg yn bwysicach nag ehangder y nodwedd.

• fesul{0}}cyflymder porthladd a radix:Mae switsh 51.2 Tbps ASIC yn darparu porthladdoedd 64 × 800G neu borthladdoedd 128 × 400G. Radix sy'n pennu pa mor wastad y gall y ffabrig fod.
• Pensaernïaeth byffer:Mae byfferau dwfn yn amsugno pyliau incast ond yn ychwanegu hwyrni. Mae byfferau bas yn lleihau hwyrni ond mae angen rheoli tagfeydd yn fanwl gywir.
• Set nodwedd RoCE:Mae marcio ECN, PFC, DCQCN neu reoli tagfeydd cyfatebol, a thrin ciwiau blaenoriaeth yn gywir yn dod i ben-i-ddiweddu.
• Telemetreg:Telemetreg rhwydwaith mewnband (INT), fesul{0}}adroddiad dyfnder ciw, a rhifyddion cydraniad microsecond-ar gyfer marciau ECN a seibiannau PFC.

Ceblau Opteg, DAC ac AOC

Ar 400G a 800G, mae'r gwaith ceblau yn dod yn broblem beirianneg go iawn. Mae angen cynllunio ffactorau ffurf, cyllidebau cyswllt a chyfluniadau torri allan yn gynnar.

• DAC (Copper Atodi Uniongyrchol):Hyd at ~ 3 metr ar gyfer 400G, y gost isaf a'r pŵer isaf. Trwm a swmpus ar raddfa.
• AOC (Cable Optegol Gweithredol):Hyd at ~30 metr, yn deneuach na DAC, ond -hyd sefydlog ac yn defnyddio pŵer opteg ar y ddau ben.
• Opteg y gellir ei blygio:Yn ofynnol y tu hwnt i bellter AOC. Mae ffactorau ffurf QSFP-DD ac OSFP yn dominyddu 400G/800G. Mae cydosodiadau ffibr MPO/MTP yn trin y cysylltiadau ffibr cyfochrog.

Ar gyfer cysylltiadau rhyng-raciau a cheblau strwythuredig ar 400G/800G, mae opteg gyfochrog dros derfyniadau MPO bellach yn safonol. Mae'r dewis rhwng ceblau cefnffyrdd a chynulliadau torri allan yn dibynnu ar eich dyraniad porthladd switsh - gweler einCanllaw cebl torri allan MPOar gyfer y rhesymeg dethol ymarferol, a'r ehangachBoncyff MPO yn erbyn cymhariaeth breakoutwrth gynllunio rhediadau dail-i-asgwrn cefn.

RoCE ac Ethernet Di-golled mewn Ffabrigau AI

RoCEv2 (RDMA dros Ethernet Cydgyfeiriol v2) yw'r prif gludiant Ethernet ar gyfer llwythi gwaith AI. Mae'n gadael i CYG symud data yn uniongyrchol rhwng rhanbarthau cof GPU heb ymglymiad cnewyllyn ar y naill ben a'r llall. Mae NCCL, y llyfrgell gyfathrebu GPU sy'n sail i bron pob fframwaith hyfforddi gwasgaredig, yn defnyddio RoCEv2 pan nad yw InfiniBand ar gael.

Mae RoCE yn gweithio'n dda pan gaiff ei ffurfweddu'n gywir. Mae'n methu'n hyll pan gaiff ei ffurfweddu'n anghywir. Mae'rCymdeithas Fasnach InfiniBandyn cyhoeddi'r manylebau RoCE, ac mae'r rhan fwyaf o werthwyr CYG a switshis yn cyhoeddi canllawiau ffurfweddu manwl y dylid eu dilyn o{0}}i-diwedd.

Pam Mae Ymddygiad Di-golled yn Bwysig

Cynlluniwyd RDMA gan dybio trafnidiaeth ddi-golled. Pan fydd pecynnau'n disgyn, mae adferiad RDMA yn ddrud - mynd-yn ôl-Gall ail-ddarlledu N arafu cam hyfforddi ar gyfer milieiliadau, sy'n enfawr o'i gymharu â'r gyllideb RDMA microsecond.

I amcangyfrif ymddygiad di-golled ar Ethernet, mae'r ffabrig yn defnyddio dau fecanwaith yn gweithio gyda'i gilydd:

• PFC (Rheoli Llif Blaenoriaeth, IEEE 802.1Qbb):Mae switsh yn oedi traffig sy'n dod i mewn ar giw blaenoriaeth penodol pan fydd ei glustog yn llenwi. Dyma'r -fecanwaith dewis olaf.
• ECN (Hysbysiad Tagfeydd Penodol, RFC 3168):Mae switshis yn marcio pecynnau pan fydd ciwiau'n agosáu at drothwy. Mae'r CYG yn lleihau ei gyfradd anfon cyn i glustogau lenwi, gan osgoi PFC yn gyfan gwbl yn ddelfrydol.

Y nod yw i ECN wneud bron yr holl waith rheoli tagfeydd, gyda PFC yn rhwyd ​​​​ddiogelwch. Os byddwch yn gweld seibiau PFC yn gyson mewn-nodwch y traffig, mae eich trothwyon ECN yn anghywir neu mae eich ffabrig yn rhy fach.

Methiannau Defnydd Cyffredin RoCE

Sut i Ddylunio Rhwydwaith Clwstwr AI: Fframwaith Gweithio

Dyma'r adran y mae'r rhan fwyaf o erthyglau "rhwydweithio AI" yn ei hepgor. Mae'r saith cam isod yn rhoi mewnbynnau ac allbynnau pendant i chi ar bob cam.

Cam 1: Diffinio Llwyth Gwaith a Graddfa

Mewnbynnau:Math o lwyth gwaith (pretraining, mân-tiwnio, casgliad, cymysg), targed cyfrif GPU heddiw, targed cyfrif GPU mewn 18 mis, ystod maint model.

Allbwn:Proffil llwyth gwaith sy'n llywio cyflymder NIC a goddefgarwch gordanysgrifio. Mae rhag-hyfforddiant mawr ar fodelau ffin yn gofyn am beidio-rhwystro ffabrigau 400G+. Gall tiwnio llwythi gwaith yn fân oddef gordanysgrifio o 2:1. Yn aml mae angen lled band is ond cuddni cynffon is ar glystyrau casgliad.

Cam 2: Dewiswch Cyflymder a Chyfrif NIC fesul Gweinydd

Rhesymeg penderfyniad:

• Rhaghyfforddi modelau mawr, gweinyddwyr 8-GPU → 4-8 × 400G CYG fesul gweinydd, neu 4 × 800G
• Hyfforddiant ar raddfa ganol-, gweinyddion 8-GPU → 2–4×400G CYG fesul gweinydd
• Gwasanaeth casgliad → 1–2 × 200G neu 400G CYG fesul gweinydd, yn dibynnu ar gyfochrogrwydd model

Dilyswch lled band PCIe ar y gwesteiwr. Mae un porthladd 400G yn ei gwneud yn ofynnol i PCIe Gen5 x16 redeg ar gyfradd llinell; mae dyblu i 800G yn gofyn am Gen6 neu rannu ar draws dau slot.

Cam 3: Maint yr Haen Dail

Enghraifft wedi'i gweithio - 32-clwstwr nodau, 8 GPU fesul nod, 4 × 400G CYG fesul nod:

• Cyfanswm y gweinydd -angen porthladdoedd sy'n wynebu: 32 × 4=128 porthladdoedd yn 400G
• Lled band Downlink fesul nod: 4 × 400=1.6 Tbps
• Cyfanswm lled band downlink clwstwr: 32 × 1.6=51.2 Tbps

Gan ddefnyddio switsh dail 64-porthladd 400G (cyfanswm capasiti 25.6 Tbps), gall pob deilen gysylltu 32 o borthladdoedd gweinydd a defnyddio'r 32 porthladd sy'n weddill fel uplinks. Gyda 4 dail, rydych chi'n gorchuddio pob un o'r 128 o borthladdoedd gweinydd. Mae pob deilen yn cyfrannu 32 × 400G=12.8 Tbps o ddolen i fyny tuag at yr asgwrn cefn.

Cam 4: Maint yr Haen Asgwrn Cefn

Ar gyfer dyluniad nad yw'n-rhwystro (1:1), rhaid i gyfanswm y capasiti uplink fod yn hafal i gyfanswm y capasiti cyswllt i lawr. O Gam 3:

• Cyfanswm y cyswllt dail sydd ei angen: 4 deilen × 12.8 Tbps=51.2 Tbps
• Os oes gan bob meingefn borthladd 32 × 400G=12.8 Tbps, mae angen 4 pigyn arnoch chi
• Mae pob deilen yn cysylltu â phob un o'r 4 pigyn gan ddefnyddio 8 dolen i fyny fesul meingefn (8 × 400G × 4=12.8 Tbps y ddeilen - yn cyfateb)

Os ydych chi'n defnyddio switshis asgwrn cefn 64-porthladd 400G, mae gan bob asgwrn cefn gapasiti sbâr i dyfu'r clwstwr, sy'n ddefnyddiol ar gyfer y cynllun 18 mis o Gam 1.

Cam 5: Gosodwch y Gymhareb Gordanysgrifio

Cam 6: Cyfrifiaduro, Storio a Rheoli Traffig ar Wahân

Tri opsiwn, yn nhrefn ynysu cynyddol:

• Ffabrig a rennir gyda dosbarthiadau QoS:Cyfrifo, storio a rheoli blaenoriaethau DSCP ar wahân. Cost isaf; angen cyfluniad QoS gofalus.
• VLANs/VRFs wedi'u gwahanu'n rhesymegol:Yr un caledwedd, awyrennau rheoli ar wahân. Yn ddefnyddiol ar gyfer-clystyrau o denantiaid.
• Ffabrigau ar wahân yn gorfforol:CYG, switshis a cheblau pwrpasol ar gyfer cyfrifiaduro yn erbyn storio. Cost uchaf; gyffredin mewn-clystyrau model ffin lle mae unrhyw gynnen yn annerbyniol.

Traffig storio ar gyfer AI yn ei hun yn drwm - checkpoint yn ysgrifennu ar gyfer model mawr yn gallu symud cannoedd o gigabeit mewn pyliau byr. Cynlluniwch ar ei gyfer yn benodol. Gwaith ceblau strwythuredig dwysedd uchel yn defnyddioCeblau cefnffyrdd MPO/MTPyn symleiddio rhedeg ffabrigau cyfochrog yn yr un seilwaith ffisegol.

Cam 7: Dilysu Cyn Cynhyrchu

Mae profion lefel rhwydwaith yn dal rhai problemau. Mae profion lefel llwyth gwaith yn dal y gweddill.

• Lled band:iperf3 neu ib_send_bw rhwng pob pâr nodau; dylai gyrraedd 90%+ o gyfradd llinell CYG.
• Cudd:ib_read_lat neu debyg; gwirio dosbarthiad, nid cyfartaledd yn unig. Mae P99.9 yn bwysicach na chymedr.
• Colli pecyn:Rhedeg prawf socian 24-awr dan lwyth; mae unrhyw golled heb fod yn sero yn nosbarth traffig RoCE yn broblem.
• Ymddygiad marcio ECN:Gwirio marciau yn ymddangos cyn tanau PFC; os yw seibiau PFC yn gyson mewn cyflwr cyson, aildiwniwch.
• Cyfathrebu ar y cyd:Rhedeg profion NCCL (all_reduce_perf, all_gather_perf) ar faint llawn y clwstwr. Cymharwch yn erbyn cyfeirnodau gwerthwr.
• Prawf lefel swydd:Cynnal swydd hyfforddi cynrychioliadol am 4-6 awr. Gwylio defnydd GPU - gwerthoedd parhaus o dan 50% ar fodel o faint iawn fel arfer yn dynodi problem rhwydwaith.

Rhwydwaith y Ganolfan Ddata Traddodiadol yn erbyn AI Spine-Leaf Fabric

Ethernet RoCE vs InfiniBand: Canllaw Penderfyniad Cyflym

Mae'r cwestiwn yn codi ym mron pob prosiect clwstwr AI. Mae'r ddau yn gweithio. Mae'r dewis fel arfer yn dibynnu ar ffit gweithredol, nid perfformiad pur.

• Dewiswch InfiniBand os:Mae'ch tîm eisoes yn gweithredu ffabrigau InfiniBand, rydych chi eisiau'r llwybr symlaf at gludiant di-golled, neu rydych chi'n prynu pensaernïaeth cyfeirio gwerthwyr cwbl integredig.
• Dewiswch Ethernet RoCE os:Mae eich tîm gweithrediadau yn -frodorol Ethernet, rydych chi eisiau opsiynau newid gwerthwyr aml--, mae angen i chi integreiddio'r ffabrig AI â rhwydweithiau canolfan ddata presennol, neu rydych chi'n rhagweld graddio y tu hwnt i'r hyn y mae topolegau InfiniBand cyfredol yn ei gefnogi'n lân.

Mae'r Consortiwm Ultra Ethernet, a ffurfiwyd yn 2023, wrthi'n gweithio ar safoni gwelliannau Ethernet yn benodol ar gyfer llwythi gwaith AI. Ar gyfer y mwyafrif o glystyrau newydd yn 2026, mae Ethernet RoCE yn rhagosodiad amddiffynadwy oni bai bod rheswm penodol dros ddewis fel arall.

Camgymeriadau Cyffredin i'w Osgoi

Uwchraddio Switsys Heb Wirio CYG

Nid yw ffabrig switsh 800G yn gwneud dim i chi os yw'ch CYG yn rhedeg ar 400G neu os yw'ch PCIe gwesteiwr yn rhedeg allan o led band. Dyluniwch yr ochr gwesteiwr yn gyntaf, yna ochr y switsh. Mae PCIe Gen5 x16 yn cyfyngu un porthladd i tua 504 Gbps -trwybwn byd go iawn - cyfforddus ar gyfer 400G, ymylol ar gyfer 800G.

Optimeiddio Cyflymder Porthladd ond Anwybyddu Dwysedd Ceblau

Ar 64-porthladd 400G yn gadael, gall y ceblau o dan bob switsh ddod yn anhydrin yn gorfforol heb gynllunio. Defnyddio ceblau torri allan lle bo'n briodol, llwybr ffibrau trwy lwybrau strwythuredig, a safoni ar fathau o gysylltwyr. Ansawdd Connector a mater terfynu ar gyflymder uchel - eincanllaw mathau cysylltydd ffibr optigyn cwmpasu'r cyfaddawdau rhwng LC, MPO a ffactorau ffurf dwysedd uchel sy'n dod i'r amlwg.

Trin RoCE fel Plug-a-Play

Y camgymeriad dylunio mwyaf mewn clystyrau AI go iawn yw peidio â dewis y switsh anghywir - mae'n tanamcangyfrif faint o ddiwedd-i-roi'r gwaith ffurfweddu RoCE i ben sydd ei angen. Amser cyllidebu ar gyfer tiwnio trothwyon ECN, blaenoriaethau PFC a chysondeb MTU. Cynlluniwch gyfnod dilysu penodol cyn i unrhyw lwyth gwaith cynhyrchu redeg.

Cymysgu Pob Traffig ar Un Ffabrig Heb QoS

Gall atgynhyrchu storio, asiantau monitro a thraffig rheoli ddinistrio amserau camau hyfforddi os ydynt yn rhannu byfferau â thraffig cyfrifiadurol. Naill ai eu gwahanu'n gorfforol neu orfodi dosbarthiadau QoS llym gyda blaenoriaethau ar wahân a chyfluniad ECN.

Adeiladu ar gyfer Clwstwr Heddiw yn Unig

Mae'r rhan fwyaf o glystyrau AI yn tyfu 4-8 × o fewn dwy flynedd i'w defnyddio i ddechrau. Dewiswch switsh radix a chynhwysedd meingefn sy'n caniatáu ehangu nad yw'n aflonyddgar. Mae tynnu ceblau mewn canolfan ddata AI byw yn ddrud; mae cynllunio cynhwysedd cwndid a chlytiau ar amser lleoli yn rhad.

Pryd i Gamu i Fyny o 400G i 800G

Mae 800G CYG a switshis ar gael ond yn ddrytach fesul porthladd. Ystyriwch gamu i fyny pan:

• Fesul{0}}Mae anghenion lled band GPU yn fwy na'r hyn y gall 400G ei ddarparu - er enghraifft, mae H100 a GPUs mwy newydd gyda NVLink 5 yn disgwyl lled band allanol uwch
• Mae NCCL i gyd-yn lleihau'r raddfa amser yn wael gyda maint y clwstwr, gan ddangos dirlawnder rhwydwaith
• Mae dwysedd cebl ar 400G yn dod yn anhydrin yn gorfforol - gall llai o borthladdoedd 800G ddisodli mwy o borthladdoedd 400G
• Disgwylir i'r genhedlaeth GPU nesaf yn eich map ffordd fod ei angen o fewn ffenestr dibrisiant y clwstwr
• Rydych chi'n adeiladu clwstwr hyfforddi model ffin lle mae unrhyw amser segur cyfrifo yn costio llawer mwy na'r uwchraddio opteg

Ar gyfer y rhan fwyaf o glystyrau cynhyrchu yn 2026, 400G yw’r cydbwysedd cywir o hyd o ran cost, aeddfedrwydd ecosystemau, a gallu. 800Mae G yn gwneud synnwyr ar y lefel uchaf ac fel buddsoddiad ymlaen llaw ar gyfer clystyrau sy’n cael eu hadeiladu heddiw ac y disgwylir iddo redeg am 4–5 mlynedd.

Casgliad

Nid y rhwydwaith clwstwr AI cryfaf yw'r un sydd â'r switshis cyflymaf. Dyma'r un lle mae dewis NIC, maint dail / asgwrn cefn, gordanysgrifio, cyfluniad RoCE, gwahanu traffig a cheblau ffisegol i gyd yn cefnogi ei gilydd a'r llwyth gwaith y cawsant eu dewis ar ei gyfer.

Dechreuwch o'r llwyth gwaith a'r cynllun twf 18-mis. Cyfrifwch anghenion lled band ar bob haen gan ddefnyddio rhifau real, nid rheolau bawd yn unig. Ffurfweddu-diwedd RoCE-i-i orffen a dilysu gyda meincnodau cyfathrebu cyfunol go iawn. Cyllideb ar gyfer y gwaith ceblau - ar 400G ac 800G, nid yw'r haen ffisegol bellach yn ddibwys.

Y clwstwr sy'n cadw ei GPUs yn brysur ar 95% + defnydd trwy bob cam hyfforddi yw'r un a roddodd sylw i'r holl haenau hyn. Bydd y clwstwr sy'n cludo gyda switsh cyflymach a ffabrig arafach yn treulio blynyddoedd yn esbonio pam mae'r GPUs yn segur.

Darllen Pellach

• RFC 7938 - BGP mewn -Canolfannau Data ar Raddfa Fawr
• - manylebau RoCE Association InfiniBand Trade
• Dogfennaeth Rhwydweithio NVIDIA
• Canllaw Gosod Ceblau Fiber Optic
• Egluro Colled Mewnosod vs Colled Dychwelyd