Mae ymchwilwyr Tsieineaidd wedi gwneud cynnydd sylweddol gyda thechneg cywasgu newydd ar gyfer modelau iaith mawr (LLMs) i fynd i'r afael â chyfyngiadau caledwedd sy'n gysylltiedig â'u defnyddio.
Mae papur gan ymchwilwyr o Baichuan Inc. a Sefydliad Meddalwedd Labordy Prosesu Gwybodaeth Tsieineaidd, Academi Gwyddorau Tsieineaidd, yn cyflwyno system gywasgu newydd ar gyfer LLMs sy'n adeiladu ar dechnegau tocio blaenorol i arbed costau casglu heb hyfforddiant ychwanegol. Gyda'r enw ShortGPT, mae'r ymchwilwyr yn tybio bod y dull newydd yn darparu ateb i ddefnyddwyr gadw i fyny â maint cynyddol y paramedrau ar gyfer modelau AI.
Mae cenedlaethau mwy newydd o LLMs yn llwythog o biliynau o baramedrau, gan wthio terfynau eu perfformiad, ond yn dod am bris serth yn ystod eu defnyddio. Yn nodweddiadol, mae ymchwilwyr a mentrau wedi'u plagio â chyfyngiadau caledwedd o ran defnyddio LLMs, gan sbarduno'r angen am atebion newydd.
Mae'r ymchwilwyr Tsieineaidd yn dibynnu ar fetrig newydd, Block Influence (BI), i fesur y trawsnewidiadau cyflwr cudd mewn LLMs, gan ddileu paramedrau diangen yn seiliedig ar sgoriau BI. I ddechrau, mae'r system yn dileu haenau segur ar ôl meintioli a mesur effaith eu tynnu yn ystod casgliad.
Mae haenau â sgoriau isel ar ôl y profion asesu BI yn cael eu tocio i gyd-fynd â gofynion caledwedd. Mae’r broses yn mynd ymhellach i gael gwared ar haenau y tybir nad ydynt yn cael fawr o effaith ar allu’r LLM “heb gyfaddawdu ar berfformiad y model.”
“Mae arbrofion yn dangos bod ein dull, yr ydym yn ei alw’n ShortGPT, yn perfformio’n sylweddol well na’r dulliau blaenorol o’r radd flaenaf (SOTA) o docio modelau,” darllenwch y papur.
Nodwedd allweddol o'r nofel ShortGPT yw ei hannibyniaeth ar ddulliau meintioli sydd â chysylltiad â lleihau cywirdeb modelau tra'n gofyn am hyfforddiant ychwanegol.
“Ar ben hynny, mae ShortGPT yn orthogonal i ddulliau tebyg i feintoli, gan alluogi gostyngiad pellach mewn paramedrau a chyfrifiant,” meddai’r ymchwilwyr. “Mae’r gallu i gyflawni canlyniadau gwell trwy dynnu haenau syml, yn hytrach na thechnegau tocio mwy cymhleth, yn awgrymu lefel uchel o ddiswyddo yn y bensaernïaeth fodel.”
cofleidiad llwyr Tsieina o AI
Mae Tsieina wedi mabwysiadu safiad cadarnhaol ar fabwysiadu AI yn ystod y blynyddoedd diwethaf i gyd-fynd â chyflymder arloesi yn yr Unol Daleithiau ac Ewrop. Mae cynlluniau ar y gweill yn Tsieina i wella galluoedd AI lleol, technoleg blockchain, a darparwyr gwasanaethau cyfrifiadura cwantwm yng nghanol rhyfel oer bragu gyda'r Unol Daleithiau.
Mae ecosystem AI lleol Mainland China yn gwch gwenyn o weithgaredd, wedi'i danlinellu gan eirfa o gyflwyniadau masnachol o offrymau AI cynhyrchiol gan gwmnïau technoleg. Er gwaethaf yr ystum blaengar, mae awdurdodau Tsieineaidd yn awyddus i atal camddefnyddio AI trwy greu rheoliadau llym a thactegau gorfodi llawdrwm.
Er mwyn i ddeallusrwydd artiffisial (AI) weithio'n iawn o fewn y gyfraith a ffynnu yn wyneb heriau cynyddol, mae angen iddo integreiddio system blockchain menter sy'n sicrhau ansawdd mewnbwn data a pherchnogaeth - gan ganiatáu iddo gadw data'n ddiogel tra hefyd yn gwarantu'r ansymudedd. o ddata. Edrychwch ar sylw CoinGeek ar y dechnoleg ddatblygol hon i ddysgu mwy pam y bydd Enterprise blockchain yn asgwrn cefn AI.
Gwyliwch: Beth sydd gan blockchain ac AI yn gyffredin? Mae'n ddata
Newydd i blockchain? Edrychwch ar adran Blockchain i Ddechreuwyr CoinGeek, y canllaw adnoddau eithaf i ddysgu mwy am dechnoleg blockchain.
Ffynhonnell: https://coingeek.com/chinese-researchers-uncover-novel-ai-approach-to-pruning-llms/