Mae ymchwilwyr Tsieineaidd wedi cyflwyno techneg cywasgu arloesol gyda'r nod o fynd i'r afael â'r cyfyngiadau caledwedd sy'n gysylltiedig â defnyddio modelau iaith mawr (LLMs). Mae'r dull newydd hwn, a elwir yn ShortGPT, wedi'i ddatblygu gan arbenigwyr o Baichuan Inc. a Sefydliad Meddalwedd Labordy Prosesu Gwybodaeth Tsieineaidd, Academi Gwyddorau Tsieineaidd. Mae'r dull yn adeiladu ar dechnegau tocio presennol, gan gynnig ateb i liniaru costau casglu LLMs heb fod angen hyfforddiant ychwanegol.
Chwyldro cywasgu model
Mae dull ShortGPT yn cyflwyno metrig newydd o'r enw Block Influence (BI) i werthuso trawsnewidiadau cyflwr cudd o fewn LLMs. Trwy ddefnyddio sgoriau BI, mae'r system yn nodi ac yn dileu paramedrau segur, a thrwy hynny optimeiddio'r model ar gyfer defnyddio caledwedd gydag adnoddau cyfyngedig. Mae'r dull hwn yn cynnwys tocio haenau yn seiliedig ar eu heffaith ar berfformiad model, gan sicrhau mai dim ond cydrannau hanfodol sy'n cael eu cadw.
Mae arbrofion helaeth wedi dangos rhagoriaeth ShortGPT dros y dulliau tocio diweddaraf (SOTA) presennol. Yn wahanol i ddulliau confensiynol sy'n aml yn dibynnu ar ddulliau meintioli, mae ShortGPT yn gweithredu'n annibynnol, gan alluogi gostyngiad sylweddol mewn paramedr ac effeithlonrwydd cyfrifiadurol heb gyfaddawdu ar drachywiredd model. Mae'r arloesedd hwn yn tanlinellu'r diswyddiad rhyfeddol o fewn saernïaeth LLM ac yn dangos y potensial ar gyfer technegau cywasgu symlach.
Uchelgeisiau AI Tsieina
Mae Tsieina wedi mabwysiadu safiad cadarnhaol ar fabwysiadu AI yn ystod y blynyddoedd diwethaf i gyd-fynd â chyflymder arloesi yn yr Unol Daleithiau ac Ewrop. Mae'r wlad wrthi'n gwella galluoedd AI lleol, technoleg blockchain, a darparwyr gwasanaethau cyfrifiadura cwantwm yng nghanol rhyfel oer bragu gyda'r Unol Daleithiau.
Er gwaethaf yr ystum blaengar, mae awdurdodau Tsieineaidd yn awyddus i atal camddefnyddio AI trwy greu rheoliadau llym a thactegau gorfodi llawdrwm. Mae ecosystem AI Tsieineaidd ar y tir mawr yn gwch gwenyn o weithgaredd, wedi'i danlinellu gan eirfa o gyflwyniadau masnachol o offrymau AI cynhyrchiol gan gwmnïau technoleg.
Mae cyflwyno ShortGPT yn garreg filltir arwyddocaol ym maes cywasgu AI, gan addo gwell effeithlonrwydd a pherfformiad ar gyfer modelau iaith mawr. Wrth i Tsieina barhau i ysgogi arloesedd mewn deallusrwydd artiffisial, mae ei buddsoddiadau strategol a'i mentrau ymchwil yn gosod y wlad fel chwaraewr aruthrol yn y dirwedd dechnoleg fyd-eang.
Ffynhonnell: https://www.cryptopolitan.com/chinese-researchers-unveil-llm-compression/