Yn ddiweddar, mae ChatGPT wedi dod yn fan poeth newydd ar gyfer AI, gyda Microsoft a Google yn Silicon Valley yn buddsoddi'n drwm mewn technoleg o'r fath (mae gan Microsoft gyfran $ 10 biliwn yn OpenAI, y cwmni y tu ôl i ChatGPT, ac mae Google wedi rhyddhau ei fodel BARD ei hun yn ddiweddar), tra bod cwmnïau technoleg Rhyngrwyd yn Tsieina, a gynrychiolir gan Baidu ac eraill, hefyd wedi nodi eu bod yn datblygu technoleg o'r fath a byddant yn mynd yn fyw yn y dyfodol agos. Yn Tsieina, mae Baidu a chwmnïau technoleg Rhyngrwyd eraill hefyd wedi nodi eu bod yn datblygu technolegau o'r fath ac y byddant yn mynd yn fyw yn y dyfodol agos.
Mae gan y modelau cynhyrchiol a gynrychiolir gan ChatGPT nodwedd gyffredin, hynny yw, maent yn defnyddio data enfawr ar gyfer rhag-hyfforddiant, ac yn aml maent yn cael eu paru â model iaith mwy pwerus. Prif swyddogaeth y model iaith yw dysgu o'r corpws enfawr presennol, ac ar ôl dysgu, gall ddeall cyfarwyddiadau ieithyddol y defnyddiwr, neu ar ben hynny, cynhyrchu allbwn testun perthnasol yn unol â chyfarwyddiadau'r defnyddiwr.
Gellir dosbarthu modelau cynhyrchiol yn fras yn ddau gategori, mae un yn fodelau cynhyrchiol sy'n seiliedig ar iaith a'r llall yn fodelau cynhyrchiol sy'n seiliedig ar ddelwedd. Cynrychiolir y modelau cynhyrchiol sy'n seiliedig ar iaith gan ChatGPT, y gall eu model iaith nid yn unig ddysgu deall ystyr gorchmynion defnyddwyr (ee, "ysgrifennu cerdd, yn arddull Li Bai"), ond hefyd gynhyrchu testun perthnasol yn seiliedig ar ddefnyddiwr gorchmynion ar ôl hyfforddi gyda data enfawr (yn yr enghraifft uchod, ysgrifennu cerdd yn arddull Li Bai). cerdd). Mae hyn yn golygu bod angen i ChatGPT gael model iaith mawr (LLM) sy'n deall iaith y defnyddiwr ac sy'n gallu cynhyrchu allbwn iaith o ansawdd uchel - er enghraifft, rhaid i'r model ddeall sut i gynhyrchu cerddi, sut i gynhyrchu cerddi yn arddull Li Bai , ac yn y blaen. Mae hyn hefyd yn golygu bod modelau iaith mawr mewn AI cynhyrchiol sy'n seiliedig ar iaith yn gofyn am nifer fawr iawn o baramedrau er mwyn gwneud y math hwn o ddysgu cymhleth a chofio cymaint o wybodaeth. Mae gan ChatGPT, er enghraifft, 175 biliwn o baramedrau (700 GB o ofod storio os defnyddir rhifau pwynt arnofio safonol), sy'n dangos pa mor "fawr" yw ei fodel iaith.
Dosbarth arall o fodelau cynhyrchiol yw'r model cynhyrchu delweddau a gynrychiolir gan Diffusion, yn nodweddiadol Dalle o OpenAI, ImaGen o Google, ac ar hyn o bryd y Stable Diffusion mwyaf poblogaidd o Runway AI. Mae'r modelau cynhyrchu tebyg i ddelwedd hyn hefyd yn defnyddio model iaith i ddeall gorchmynion ieithyddol y defnyddiwr ac yna'n cynhyrchu delweddau o ansawdd uchel yn seiliedig ar y gorchmynion hynny. Yn wahanol i fodelau cynhyrchiol sy'n seiliedig ar iaith, mae'r model iaith a ddefnyddir yma yn bennaf yn defnyddio iaith i ddeall mewnbwn defnyddwyr heb gynhyrchu allbwn iaith, felly gall nifer y paramedrau fod yn eithaf bach (tuag ychydig gannoedd o filiwn), tra bod nifer y paramedrau ar gyfer mae modelau trylediad sy'n seiliedig ar ddelwedd yn gymharol fach, tua ychydig biliwn yn gyffredinol, ond nid yw'r ymdrech gyfrifiadol yn fach oherwydd gall datrysiad y delweddau neu'r fideos a gynhyrchir fod yn uchel iawn.
Gall modelau cynhyrchiol gynhyrchu allbwn o ansawdd uchel heb ei debyg trwy hyfforddiant data enfawr, ac mae yna eisoes nifer o farchnadoedd cais clir, gan gynnwys chwilio, bots deialog, cynhyrchu delweddau a golygu, ac ati Disgwylir mwy o geisiadau yn y dyfodol, sydd hefyd yn rhoi galw am sglodion cysylltiedig.
Yr angen am sglodion ar gyfer cynhyrchu modelau dosbarth
Fel y soniwyd yn gynharach, mae ChatGPT yn fodel cynhyrchiol y mae angen iddo ddysgu o lawer iawn o ddata hyfforddi er mwyn cyflawni allbwn cynhyrchiol o ansawdd uchel. Er mwyn cefnogi hyfforddiant a chasgliad effeithlon, mae gan fodelau cynhyrchiol eu gofynion eu hunain ar gyfer sglodion cysylltiedig.
Y cyntaf yw'r angen am gyfrifiant dosranedig; mae nifer y paramedrau ar gyfer modelau cynhyrchu iaith fel ChatGPT yn y cannoedd o biliynau, ac mae bron yn amhosibl defnyddio hyfforddiant a chasgliad un cyfrifiadur, ond rhaid defnyddio llawer o gyfrifiant gwasgaredig. Mewn cyfrifiadura dosranedig, mae galw mawr am y lled band rhyng-gysylltiad data rhwng peiriannau a'r sglodyn cyfrifiadurol ar gyfer cyfrifiadura dosbarthedig o'r fath (fel RDMA), oherwydd yn aml efallai na fydd tagfa'r dasg mewn cyfrifiadura, ond yn y rhyng-gysylltiad data uchod, yn enwedig yn y math hwn o gyfrifiadura dosbarthedig ar raddfa fawr, mae'r sglodyn ar gyfer cefnogi cyfrifiadura dosbarthedig yn effeithlon wedi dod yn fwy hanfodol.
Nesaf yw'r gallu cof a lled band. Er bod hyfforddiant a chasgliad gwasgaredig yn anochel ar gyfer modelau cynhyrchiol sy'n seiliedig ar iaith, bydd cof lleol a lled band pob sglodyn yn pennu effeithlonrwydd gweithredu sglodyn sengl i raddau helaeth (oherwydd bod cof pob sglodyn yn cael ei ddefnyddio i'w derfyn). Ar gyfer modelau cynhyrchiol sy'n seiliedig ar ddelwedd, mae'n bosibl rhoi'r modelau i gyd (tua 20GB) yng nghof y sglodyn, ond wrth i fodelau cynhyrchiol sy'n seiliedig ar ddelwedd ddatblygu ymhellach yn y dyfodol, mae'n debygol y bydd ei ofynion cof hefyd yn cynyddu ymhellach. . O'r safbwynt hwn, bydd technoleg cof lled band uwch-uchel a gynrychiolir gan HBM yn dod yn ddewis anochel ar gyfer sglodion cyflymydd cysylltiedig, tra bydd y modelau dosbarth cynhyrchiol hefyd yn cyflymu cof HBM i gynyddu gallu a lled band ymhellach. Yn ogystal â HBM, bydd gan dechnolegau storio newydd megis CXL ynghyd ag optimeiddio meddalwedd hefyd y potensial i gynyddu cynhwysedd a pherfformiad storio lleol mewn cymwysiadau o'r fath ac amcangyfrifir y byddant yn cael eu mabwysiadu'n fwy diwydiannol yn sgil cynnydd y model dosbarth cynhyrchiol.
Yn olaf, mae gan gyfrifiannu, modelau dosbarth cynhyrchiol sy'n seiliedig ar iaith ac yn seiliedig ar ddelwedd alw cyfrifiadol mawr, ac efallai y bydd gan fodelau cynhyrchu sy'n seiliedig ar ddelwedd alw llawer uwch am bŵer rhifyddol wrth iddynt gynhyrchu cydraniad uwch ac uwch a symud tuag at gymwysiadau fideo - cyfredol mae gan fodelau cynhyrchu delweddau prif ffrwd gyfaint cyfrifiannol o tua 20 TFlops, ac o ran cydraniad uchel a delweddau, mae 100-1000 TFLOPS o alw rhifyddeg yn debygol o fod yn norm.
I grynhoi, credwn fod gofynion modelau cynhyrchiol ar gyfer sglodion yn cynnwys cyfrifiadura dosranedig, storio, a chyfrifiant, y gellir dweud eu bod yn cynnwys pob agwedd ar ddylunio sglodion, ac yn bwysicach fyth, sut i gyfuno'r holl ofynion hyn gyda'i gilydd mewn ffordd resymol. er mwyn sicrhau nad yw un agwedd yn dod yn dagfa, a fydd hefyd yn dod yn broblem peirianneg system dylunio sglodion.
GPU a'r sglodyn AI newydd, sydd â siawns well
Mae gan fodelau cynhyrchiol alw newydd am sglodion. Pwy sydd â gwell cyfle i ddal y galw a'r farchnad newydd hon ar gyfer GPUs (a gynrychiolir gan Nvidia ac AMD) a sglodion AI newydd (a gynrychiolir gan Habana, GraphCore)?
Yn gyntaf, o safbwynt modelau cynhyrchiol sy'n seiliedig ar iaith, mae gwerthwyr GPU sydd â chynllun cyflawn ar hyn o bryd yn y math hwn o ecoleg yn fwy manteisiol oherwydd y nifer enfawr o gyfranogwyr a'r angen am gefnogaeth gyfrifiadurol ddosbarthedig dda. Mae hon yn broblem peirianneg system sy'n gofyn am ddatrysiad meddalwedd a chaledwedd cyflawn, ac yn hyn o beth, mae Nvidia wedi cyfuno ei GPUs i lansio'r ateb Triton, sy'n cefnogi hyfforddiant dosbarthedig a chasgliad dosbarthedig, gan ganiatáu i fodel gael ei rannu'n sawl rhan a'i brosesu ar wahanol GPUs, a thrwy hynny ddatrys y broblem o ormod o baramedrau na ellir eu cynnwys gan brif gof un GPU. Mae hyn yn datrys y broblem o ormod o baramedrau ar gyfer prif gof un GPU. P'un a ydych chi'n defnyddio Triton yn uniongyrchol neu'n gwneud datblygiad pellach ar sail Triton yn y dyfodol, mae'n fwy cyfleus cael GPU ecolegol cyflawn. O safbwynt cyfrifiannol, gan mai cyfrifiant matrics yw prif gyfrifiant y model cenhedlaeth yn seiliedig ar iaith, sef cryfder y GPU, nid oes gan y sglodyn AI newydd fantais amlwg dros y GPU o'r safbwynt hwn.
O safbwynt modelau cynhyrchu sy'n seiliedig ar ddelwedd, mae nifer paramedrau modelau o'r fath hefyd yn fawr ond mae un i ddau orchymyn maint yn llai na'r modelau cenhedlaeth seiliedig ar iaith, yn ychwanegol at ei gyfrifiad yn dal i gael ei ddefnyddio mewn nifer fawr. nifer y cyfrifiadau convolutional, felly ceisiadau casgliad, os gallwch chi wneud optimization da iawn, efallai y bydd sglodion AI rhai cyfleoedd. Yma mae'r optimeiddio yn cynnwys llawer iawn o storfa ar sglodion i ddarparu ar gyfer paramedrau a chanlyniadau cyfrifo canolraddol, ar gyfer convolution a chefnogaeth effeithlon i weithrediadau matrics.
Yn gyffredinol, mae'r genhedlaeth bresennol o sglodion AI wedi'u cynllunio i dargedu modelau llai (nifer y paramedrau ar y lefel biliwn, cyfrifiant ar lefel 1TOPS), tra bod y galw am fodelau cynhyrchiol yn dal yn gymharol fwy na'r targed dylunio gwreiddiol. Mae GPUs wedi'u cynllunio i fod yn fwy hyblyg ar gost effeithlonrwydd, tra bod sglodion AI wedi'u cynllunio i wneud y gwrthwyneb, gan fynd ar drywydd effeithlonrwydd y cais targed. Felly, credwn y bydd GPUs yn dal i ddominyddu cyflymiad model cynhyrchiol o'r fath yn y flwyddyn neu ddwy nesaf, ond wrth i ddyluniadau model cynhyrchiol ddod yn fwy sefydlog ac wrth i ddyluniadau sglodion AI gael amser i ddal i fyny ag iteriadau model cynhyrchiol, mae sglodion AI yn cael cyfle i ragori ar GPUs. yn y gofod model cynhyrchiol o safbwynt effeithlonrwydd.
