InfiniBand vs RoCE ar gyfer Rhwydweithiau Casgliad AI

DewiswchInfiniBandpan fydd eich llwyth gwaith casgliad yn byw neu'n marw trwy fod yn hwyr yn y gynffon, a dewiswchRoCE(RDMA dros Ethernet Cydgyfeiriedig) pan fyddwch chi eisiau perfformiad dosbarth RDMA ar ffabrig Ethernet gallwch chi raddio, rhannu a gweithredu gyda'r tîm sydd gennych chi eisoes. Nid yw'r naill opsiwn na'r llall yn ennill ym mhobman. Mae'r alwad gywir yn dibynnu ar eich patrwm casgliad, eich targedau hwyrni p99 a p999, graddfa GPU, cyllideb, a faint o arbenigedd di-golled sydd yn eich tîm mewn gwirionedd.

Pam Mae'r Rhwydwaith yn Bwysig Mwy Na'r Mae Timau Casgliad yn Disgwyl

Am flynyddoedd, cafodd casgliad ei drin fel hanner hawdd stori GPU: model wedi'i lwytho ar un nod, ceisiadau'n cael eu gwasanaethu'n annibynnol, ychydig iawn o draffig dwyrain-gorllewin. Mae'r llun hwnnw bellach wedi dyddio. Mae casgliad modern yn cael ei ddosbarthu'n gynyddol, ac mae sawl patrwm yn rhoi pwysau gwirioneddol ar y ffabrig.

• Cyfochredd tensoryn rhannu un haen ar draws GPUs, felly mae pob cam tocyn yn sbarduno pob{0}lleihau neu'r holl weithrediadau rhyngddynt. Mae hynny'n draffig GPU aml, hwyrni, croes- y mae GPUs yn ei rwystro wrth aros.
• Cyfochredd piblinellauactifadu dwylo o un cam i'r llall, yn aml ar draws nodau, gan ychwanegu dibyniaethau croes-nod at bob tocyn ymlaen.
• Rhag-lenwi wedi'i ddadgyfuno a dadgodioyn gwahanu'r{0}}cyfnod rhag-lenwi trwm oddi wrth y cam dadgodio sensitif cuddni, yna'n symud y storfa KV rhyngddynt. Mae'r trosglwyddiadau hynny'n fawr ac yn fyrstio, ac mae unrhyw oedi'n ymddangos yn uniongyrchol fel amser arafach-i-latency cyntaf a rhyng-tocyn.
• Adalw-cenhedlaeth estynedig (RAG)yn ychwanegu traffig dwyrain-gorllewin at wasanaethau fector a chwilio. Fel arfer mae'n llai cudd-hanfodol na gweithrediadau ar y cyd, ond mae'n dal i lwytho'r ffabrig, yn enwedig ar lefel uchel o ymholiadau.
• Gwasanaeth aml-denantyn rhoi llawer o fodelau a defnyddwyr ar yr un ffabrig, lle mae microbwyr ac effeithiau swnllyd ar y cymdogion yn dod yn brif risg.

Pan mai'r rhwydwaith yw'r dagfa, mae'r symptomau'n ddrud: amser uwch i'r tocyn cyntaf, GPUs yn arafu tra'u bod yn aros am ddata, trwygyrch sy'n cwympo o dan fyrstio, a p95 a p99 ansefydlog. A dyma'r rhan sy'n baglu meincnodau: mae hwyrni cyfartalog yn cuddio'r cyfan. Mae casgliad cynhyrchu yn cael ei farnu ar y gynffon, nid y cymedr.

InfiniBand vs RoCE: Tabl Cryno ar gyfer Casgliad AI

Beth yw InfiniBand?

Mae InfiniBand yn ffabrig rhwydwaith a adeiladwyd i'r pwrpas- sydd wedi'i ddylunio o'r dechrau ar gyfer hwyrni isel, trwybwn uchel, a chyfathrebu di-golled. Nid yw'n flas cyflymach o Ethernet. Mae'n dod â'i addaswyr sianel gwesteiwr ei hun, switshis, rheolwr is-rwydwaith, ecosystem ceblau, a model rheoli tagfeydd. Ei werth diffiniol yw ymddygiad penderfynol: gall llawer o GPUs gyfathrebu â gofynion amseru tynn, ac mae'r ffabrig yn parhau i ymddwyn yn gyson hyd yn oed pan fo traffig ar y cyd yn drwm.

Mae platfformau InfiniBand modern sy'n canolbwyntio ar AI-yn ymestyn y sylfaen honno gyda galluoedd sydd wedi'u hanelu'n sgwâr at glystyrau GPU mawr. Mae llinell Quantum InfiniBand NVIDIA, er enghraifft, yn ychwanegullwybro addasol, mewn-cyfrifiadura rhwydwaith, a thelemetreg-rheoli tagfeydd yn seiliedig ar, sy'n helpu'r ffabrig i ledaenu traffig yn ddeallus ac ynysu llwyth un tenant oddi wrth un arall. Er mwyn casglu, mae InfiniBand yn ennill ei le pan na all y llwyth gwaith oddef jitter neu pan fydd yn rhaid i sawl nod GPU gyfnewid data yn gyflym ac yn gyson.

Y gwerthiannau masnachu yw cost, crynodiad yr ecosystem, ac arbenigedd gweithredol. Mae ffabrig InfiniBand pwrpasol yn golygu switshis pwrpasol, addaswyr, ceblau neu fodiwlau optegol, a pheirianwyr sy'n gyfforddus â rheolaeth ffabrig InfiniBand. I sefydliad sydd eisoes yn rhedeg ystadau Ethernet mawr, mae bolltio ar ffabrig ar wahân yn ychwanegu cymhlethdod caffael, cynllunio rhannau sbâr, a monitro gorbenion.

Beth Yw RoCE (RDMA dros Ethernet Cydgyfeiriol)?

Mae RoCE yn dod â RDMA, cof uniongyrchol-i-symud data cof gyda CPU isel uwchben, i rwydweithiau Ethernet. Mae RoCEv2, y fersiwn a ddefnyddir mewn canolfannau data modern, ar gael ar draws rhwydweithiau IP Haen 3 ac fe'i safonwyd gan yCymdeithas Fasnach InfiniBand. Y routability hwnnw sy'n gadael i RoCE ffitio'n naturiol i ddyluniadau asgwrn cefn deilen Ethernet wrth ailddefnyddio NICs, switshis, opteg ac offer monitro cyfarwydd.

Y dalfa yw bod RDMA yn cymryd yn ganiataol bod rhwydwaith bron yn ddigolled. Gollwng pecyn ac mae'r cludiant yn disgyn yn ôl i ymddygiad ail-ddarlledu sy'n dryllio hwyrni cynffon. Felly mae angen yr Ethernet oddi tano ar RoCE i ymddwyn fel ffabrig di-golled, ac mae hynny'n dibynnu ar gyfluniad gofalus dau fecanwaith yn benodol:Rheoli Llif â Blaenoriaeth (IEEE 802.1Qbb), sy'n oedi un dosbarth traffig i atal diferion, aHysbysiad Tagfeydd Penodol (ECN), sy'n arwydd o dagfeydd yn gynnar fel bod anfonwyr yn arafu cyn i glustogau orlifo. Ychwanegwch at y rheolaeth ciw, dyraniad byffer, a mapio QoS, a daw'n amlwg nad yw RoCE perfformiad uchel yn Ethernet arferol.

Wedi'i wneud yn dda, mae RoCE yn darparu digon o hwyrni a thrwybwn ar gyfer ystod eang o wasanaethau casglu casgliadau, ac mae llawer o lwythi gwaith casglu yn llai cydamserol na hyfforddiant dosbarthedig, sy'n gweithio o blaid RoCE. Wedi'i wneud yn wael, mae'n cynhyrchu colled pecynnau, blocio llinellau, lledaeniad tagfeydd, a chynffonau ansefydlog, sydd i gyd yn trosi'n uniongyrchol i ansawdd gwasanaeth dirywiedig.

InfiniBand vs RoCE Latency: Pa Sy'n Well ar gyfer Casgliad t99?

Gall y ddau ffabrig ddarparu rhwydwaith lled band uchel, isel-latency. Maent yn wahanol o ran sut y maent yn cyrraedd yno. Mae InfiniBand yn benderfynydd o ran adeiladu, felly mae jitter yn aros yn isel hyd yn oed o dan lwyth cymysg. Gall RoCE ei gydweddu ar gyfer llawer o lwythi gwaith, ond mae'r canlyniad yn dibynnu ar y ffabrig Ethernet a pha mor dda y caiff ei diwnio.

O safbwynt lleoli, anaml y gwir broblem mewn cynhyrchu yw lled band brig. Mae'n jitter o dan draffig cymysg, byrstio, aml-denant. Gall ffabrig RoCE sy'n ennill prawf trwybwn arddull glân, iperf fethu o hyd â'i darged p99 yr eiliad y mae microbyrstiadau a chynnen yn dod i mewn i'r llun. Y bwlch hwnnw rhwng meincnod labordy a CLG cynhyrchu yw lle mae'r rhan fwyaf o bethau annisgwyl yn byw.

Mae InfiniBand yn tueddu i fod ar y blaen pan:

• Mae gan y gwasanaeth dargedau hwyrni p99 neu p999 llym.
• Mae'r casgliad yn rhychwantu nodau GPU lluosog gyda chyfochredd tensor neu biblinell, neu'n defnyddio rhag-lenwi wedi'i ddadgyfuno a dadgodio.
• Mae defnyddio GPU yn sensitif iawn i oedi rhwydwaith, felly mae stondinau'n ddrud.
• Mae'r clwstwr yn rhedeg nifer fach o lwythi gwaith â blaenoriaeth uchel lle mae rhagweladwyedd yn gorbwyso hyblygrwydd.

Mae RoCE fel arfer yn ddigon da pan:

• Mae ceisiadau yn annibynnol ar y cyfan, neu mae cyplu yn rhydd.
• Mae gwaith yn rhedeg o fewn nod neu nifer fach o nodau.
• Mae trwybwn swp yn bwysicach na cuddni cynffon isel iawn.
• Mae'r tîm eisoes yn gweithredu Ethernet, ac mae hyblygrwydd cost neu werthwr yn flaenoriaeth.
• Mae'r clwstwr yn cefnogi tenantiaid lluosog neu lwythi gwaith cymysg.

RoCE vs InfiniBand Cost: Beth sy'n Sbarduno TCO mewn gwirionedd?

Gelwir RoCE yn aml yn opsiwn rhatach, ond rhan fach o'r darlun yw pris switsh. Mae cymhariaeth realistig yn edrych ar y pentwr cyfan: addaswyr rhwydwaith neu HCAs, switshis, modiwlau optegol, DAC, AOC, a cheblau ffibr, topoleg rac, pŵer ac oeri, system weithredu'r rhwydwaith, monitro a thelemetreg, amser peirianneg, darnau sbâr, cefnogaeth gwerthwr, a'r llwybr i 400G neu 800G.

Mae InfiniBand fel arfer yn costio mwy ymlaen llaw oherwydd bod angen ffabrig pwrpasol a chydrannau arbenigol arno. Mewn amgylcheddau lle mae ymddygiad penderfynol yn brif flaenoriaeth, gall leihau'r ymdrech tiwnio a datrys problemau y mae ffabrig Ethernet di-golled yn ei gwneud yn ofynnol. Mae RoCE yn gostwng cost caledwedd pan ellir ailddefnyddio ystâd Ethernet bresennol, gyda'r gefnogaeth Pontio Canolfan Ddata gywir, ond mae'n symud ymdrech i ddylunio, dilysu, monitro a datrys problemau'r ffabrig di-golled. Mae dyluniad RoCE cost isel yn troi'n ddrud yn gyflym os yw'n achosi hwyrni ansefydlog a diffodd tân dro ar ôl tro.

Mae cost a risg yn canolbwyntio ar yr haen ffisegol wrth i gyflymder godi. Ar 400G a 800G, mae'r opteg yn dominyddu'r bil a'r moddau methiant. Mae'r rhan fwyaf o-borthladdoedd cyflymder uchel yn glanio ymlaenQSFP{0}}DD neu ffactorau ffurf tebyg, ac yn cyfateb i'r hawlmodd-unig neu opteg amlfoddi'ch cyrhaeddiad gwirioneddol yw un o'r ffyrdd symlaf o osgoi gorwario ar ffabrig nad oes angen modiwlau pellter hir arno.

Yn blwmp ac yn blaen: Nid RoCE yw'r opsiwn rhatach os nad oes gan eich tîm arbenigedd Ethernet di-golled. Gall yr arbedion ar galedwedd gael eu bwyta'n gyflym gan y gost beirianyddol o gadw'r ffabrig yn sefydlog.

Scalability a Gweithrediadau

Mae scalability yn fwy na chyfrif porthladdoedd. Mae'n cynnwys pa mor hawdd y caiff y ffabrig ei ddefnyddio, ei fonitro, ei ehangu a'i adfer pan fydd rhywbeth yn methu.

Mae InfiniBand yn gryf pan fydd y clwstwr wedi'i ddylunio fel ffabrig perfformiad uchel pwrpasol o'r diwrnod cyntaf. Mae'n darparu ymddygiad cyson ar raddfa, ond mae'n disgwyl offer penodol InfiniBand, fel rheolwr is-rwydwaith a rheolaeth ffabrig unedig, a staff sy'n gyfforddus â chysyniadau InfiniBand. Mae hynny'n ei gwneud yn ffit naturiol ar gyfer clystyrau AI canolog sydd wedi'u hadeiladu o amgylch llwythi gwaith GPU.

Mae RoCE yn slotio i ddyluniadau canolfan ddata Ethernet: topolegau asgwrn cefn y dail, llwybro IP, ECMP, ac arferion monitro cyfarwydd. Dyna'n union pam ei fod yn apelio at seilwaith GPU cwmwl -arddull ac aml-denantiaid. Y ddisgyblaeth y mae'n gofyn amdani yw cysondeb. Mae'n rhaid dylunio PFC, ECN, QoS, rheoli byffer, a rheoli tagfeydd yn gydlynol ar draws y llwybr cyfan, oherwydd gall camgyfluniad bach mewn un cornel o'r ffabrig ledaenu a diraddio llawer o lwythi gwaith ar unwaith. Mae'n rhaid i'r haen gorfforol raddfa'n lân hefyd; dwysedd-uchelCefnffyrdd MPO a MTP a cheblau ymneilltuoyn cadw deilen sy'n tyfu-ffabrig asgwrn cefn yn hylaw yn hytrach na throi pob ehangiad yn bos ceblau.

Mae'n werth nodi pwynt delwedd y drych: Mae InfiniBand yn anodd ei gyfiawnhau pan fydd y casgliad yn aros o fewn un nod yn bennaf a phrin y caiff y ffabrig ei ymarfer.

Pa Rwydwaith ar gyfer Pob Llwyth Gwaith Casgliad

Pan Fod RoCE Yn Ddigon Da, a Phan Daw'n Beryglus

Mae RoCE yn ddigon da ar gyfer ceisiadau annibynnol neu rai sydd wedi'u cyplysu'n llac, trwybwn{0}}gwaith swp â gogwydd, a-clystyrau o denantiaid lle gallwch diwnio ynysu, yn enwedig pan fo'r tîm yn rhugl mewn Ethernet Pontio Canolfan Ddata. Mae'n dod yn beryglus mewn ffyrdd penodol, adnabyddadwy:

• Stormydd PFC.Mae fframiau saib yn lluosogi i fyny'r afon ac yn rhewi traffig nad oedd a wnelo ddim â'r tagfeydd gwreiddiol.
• -pen-blocio llinellau.Mae mapio blaenoriaeth bras yn gadael i un dosbarth orlawn stopio eraill sy'n rhannu ciw.
• ECN camgymryd.Marciwch yn rhy hwyr a byddwch yn cael diferion; marcio'n rhy ymosodol ac rydych yn gwthio trwygyrch yn ddiangen.
• Tagfeydd microburst.Byfferau gorlif o ail fyrstiadau ond yn parhau i fod yn anweledig i fonitro'r samplau hynny ar un-eiliad cydraniad.
• Ffurfweddiad anghyson.Mae gosodiadau anghymharol ar draws dail ac asgwrn cefn yn achosi tagfeydd i ledaenu yn hytrach nag aros yn lleol.

Nid yw'r un o'r rhain yn resymau i osgoi RoCE. Maen nhw'n rhesymau dros ddylunio'r ffabrig di-golled yn gydlynol o'r naill ben i'r llall ac i fuddsoddi mewn telemetreg mân, sy'n ymwybodol o fyrrwydau, cyn i chi raddio.

Pan Mae InfiniBand Yn Werth, a Pan Rydych Chi'n Gorbrynu

Mae InfiniBand yn werth ei bremiwm ar gyfer targedau p99 a p999 llym, gwasanaeth aml-nôd wedi'i gyplysu'n dynn, a llwythi gwaith critigol-cenhadol lle mae cosbau CLG yn uchel, yn enwedig ar glwstwr GPU pwrpasol a ddyluniwyd o amgylch y ffabrig. Rydych chi'n debygol o or-brynu pan fydd y casgliad yn aros o fewn nod, pan fydd y gwaith yn swp sy'n canolbwyntio ar fewnbwn, pan fydd angen yr un ffabrig arnoch i gludo storfa, rheolaeth, a thrafnidiaeth cwmwl tenantiaid, neu pan nad oes gennych y gallu gweithredol i redeg InfiniBand yn dda.

Mae'r costau nad ydynt yn ymddangos ar y dyfynbris switsh yn wirioneddol: crynodiad ecosystem, gorbenion rhedeg ail ffabrig ochr yn ochr â'ch rhwydwaith Ethernet, a chynllunio ar wahân ar gyfer darnau sbâr, opteg, a monitro.

Sut i Brofi InfiniBand vs RoCE Cyn i Chi Ddewis

Peidiwch â phenderfynu ar enw da'r protocol na thaflen benodol. Penderfynwch ar feincnod sy'n debyg i gynhyrchu. Dilyniant ymarferol:

• Diffiniwch y CLG mewn cynffonau.Gosodwch t50, p95, t99, a p999 am amser-i-latency-tocyn cyntaf a rhyng-, nid cyfartaledd yn unig.
• Ailchwarae traffig realistig.Defnyddiwch feintiau model byrstio, cymysg a-concurrency aml-denant yn hytrach nag un ffrwd lân.
• Llwyth i dagfeydd.Gwthiwch y ffabrig nes ei fod yn cael ei ddadlau'n wirioneddol, yna mesurwch y defnydd o GPU. Os yw GPUs yn stopio ar y rhwydwaith, y ffabrig yw eich tagfa.
• Gwyliwch y cownteri cywir.Traciwch fframiau saib, marciau ECN, diferion pecynnau, ail-drosglwyddiadau, cownteri gwallau porthladdoedd, ac, ar 400G ac 800G, gwallau FEC.
• Dilyswch yr haen ffisegol.Materion ffibr glân, wedi'u gosod yn gywir;gosod ffibr gofalusyn atal y{0}}anodd{0}}i wneud diagnosis o wallau y mae cysylltiadau cyflym yn dueddol o'u gwneud.

Os yw RoCE yn dal ei tharged p99 dan lwyth realistig, dadleuol, aml-denant gyda chownteri sefydlog, mae'n ddewis cryf a chost-effeithiol. Os mai dim ond profion ffrwd sengl glân y mae'n eu pasio, nid ydych wedi profi'r peth sy'n penderfynu ar eich CLG eto.

Camgymeriadau Cyffredin i'w Osgoi

• Gan dybio mai rhwydweithio ysgafn yw pob casgliad.Mae peth casgliad yn syml ac yn annibynnol; mae rhai wedi'u dosrannu, yn hwyr yn -sensitif, a lled band-yn newynog. Mae trin y cyfan mor hawdd yn arwain at seilwaith nad yw wedi'i adeiladu'n ddigonol.
• Cymharu hwyrni cyfartalog yn unig.Mae casgliad cynhyrchu yn dibynnu ar y gynffon. Gwerthuswch t95, t99, a p999 bob amser o dan draffig realistig.
• Trin RoCE fel plwg-a-chwarae Ethernet.Mae angen i RoCE perfformiad uchel{0}}gynllunio ffabrigau bwriadol, rheoli tagfeydd ac arsylwi parhaus.
• Dewis InfiniBand dim ond oherwydd ei fod yn gyflymach.Nid yr opsiwn perfformiad gorau yw'r opsiwn busnes gorau bob amser. Os nad oes angen ymddygiad penderfynol ar y llwyth gwaith, efallai y bydd RoCE yn sicrhau gwell gwerth.
• Anwybyddu'r haen gorfforol.Ar 400G a 800G, mae ceblau, opteg, cysylltwyr, a glendid ffibr yn creu gwallau ysbeidiol sy'n anodd dod o hyd iddynt ac yn ddrud i'w trwsio.

Llinell Isaf

Ar gyfer casgliad AI, mae InfiniBand a RoCE ill dau yn ddilys, ac maent yn gwasanaethu gwahanol flaenoriaethau. Dewiswch InfiniBand pan fydd angen y rhwydwaith hwyrni isel mwyaf cyson arnoch ar gyfer-amser real, CLG{-sensitif, neu gasgliad sydd wedi'i gyplysu'n dynn. Dewiswch RoCE pan fydd arnoch angen ffabrig graddadwy, Ethernet-, cost-ar gyfer casgliad swp, gwasanaethau GPU aml-denant, llwythi gwaith RAG, a seilwaith hyblyg.

Dylai'r penderfyniad ddechrau gyda'r llwyth gwaith, y targed hwyrni, y raddfa glwstwr, eich gallu gweithredu, a'r map ffordd uwchraddio, nid gyda'r protocol. Os oes rhaid i'ch clwstwr ddal p99 llym o dan lwyth trwm, mae InfiniBand yn haeddu ystyriaeth ddifrifol. Os mai'ch nod yw graddio'r casgliad yn economaidd ar draws canolfan ddata Ethernet, RoCE yw'r llwybr mwyaf ymarferol fel arfer. Naill ffordd neu'r llall, meincnodi o dan gynhyrchu-hoffi llwyth cyn i chi ymrwymo.