Ինքնակոդավորիչ

Ինքնակոդավորիչ

Նեյրոնային ցանց, որը սովորում է տվյալների արդյունավետ կոդավորում չվերահսկվող ուսուցման մեջ 

Ենթակատեգորիա	Արհեստական ​​նեյրոնային ցանց
Կիրառությունը	Տվյալների սեղմում, lossy compression
Թեմայով վերաբերում է	unsupervised learning, Խոր ուսուցում

Ինքնակոդավորիչ արհեստական ​​նեյրոնային ցանցի մի տեսակ, որն օգտագործվում է չպիտակավորված տվյալների արդյունավետ կոդավորումը սովորելու համար (չվերահսկվող ուսուցում)^[1][2]։ Ինքնակոդավորիչը սովորում է երկու ֆունկցիա՝ կոդավորման ֆունկցիա, որը փոխակերպում է մուտքային տվյալները, և ապակոդավորման ֆունկցիա, որը վերստեղծում է մուտքային տվյալները կոդավորված ներկայացումից: Ինքնակոդավորիչը սովորում է արդյունավետ ներկայացում (կոդավորում) տվյալների շարքի համար, որպես կանոն, չափականության կրճատման համար, որպեսզի ստեղծի ավելի ցածր չափականության ներկառուցումներ՝ մեքենայական ուսուցման այլ ալգորիթմների կողմից հետագա օգտագործման համար^[3]։

Կան տարբերակներ, որոնք ուղղված են ստիպելու սովորած ներկայացումներն ընդունել որպես օգտակար հատկություններ։ Դրանց օրինակներ են կանոնավորացված ինքնակոդավորիչները (Sparse, Denoising and Contractive), որոնք արդյունավետ են հետագա դասակարգման առաջադրանքների համար ներկայացումներ սովորելիս, և Վարիացիոն ինքնակոդավորիչները, որոնք կիրառվում են որպես գեներատիվ մոդելներ^[4]։ Ավտոկոդավորիչները կիրառվում են բազմաթիվ խնդիրների, այդ թվում՝ դեմքի ճանաչման^[5], առանձնահատկությունների հայտնաբերման^[6], անոմալիաների հայտնաբերման և բառերի իմաստի ուսումնասիրման համար^[7][8]։ Ավտոկոդավորիչները նաև գեներատիվ մոդելներ են, որոնք կարող են պատահականորեն ստեղծել նոր տվյալներ, որոնք նման են մուտքային տվյալներին (սովորեցնող տվյալներ)^[6]։

Ավտոկոդավորիչը սահմանվում է հետևյալ բաղադրիչներով.

Երկու բազմություն․ վերծանված հաղորդագրությունների տարածություն ${\displaystyle {\mathcal {X}}}$, կոդավորված հաղորդագրությունների տարածություն ${\displaystyle {\mathcal {Z}}}$։ Typic ${\displaystyle {\mathcal {X}}}$ and ${\displaystyle {\mathcal {Z}}}$ aՈրպես կանոն ${\displaystyle {\mathcal {X}}}$ և ${\displaystyle {\mathcal {Z}}}$-ը էվկլիդյան տարածություններ են, այսինքն. ${\displaystyle {\mathcal {X}}=\mathbb {R} ^{m},{\mathcal {Z}}=\mathbb {R} ^{n}}$ with ${\displaystyle m>n.}$

Ֆունկցիաների երկու պարամետրիզացված ընտանիքներ․ կոդավորիչների ընտանիքը․ ${\displaystyle E_{\phi }:{\mathcal {X}}\rightarrow {\mathcal {Z}}}$, պարամետրիզացված ըստ ${\displaystyle \phi }$; ապակոդավորիչների ընտանիքը ${\displaystyle D_{\theta }:{\mathcal {Z}}\rightarrow {\mathcal {X}}}$, պարամետրիզացված ըստ ${\displaystyle \theta }$.

Ցանկացած ${\displaystyle x\in {\mathcal {X}}}$-ի համար, մենք սովորաբար գրում ենք ${\displaystyle z=E_{\phi }(x)}$, և հղվում դրան որպես կոդ, լատենտ փոփոխական, լատենտ ներկայացում, լատենտ վեկտոր և այլն: Ընդհակառակը, ցանկացած ${\displaystyle z\in {\mathcal {Z}}}$-ի համար, մենք սովորաբար գրում ենք ${\displaystyle x'=D_{\theta }(z)}$, և նշում այն որպես (վերծանված) հաղորդագրություն:

Սովորաբար, և՛ կոդավորիչը, և՛ ապակոդավորիչը սահմանվում են որպես բազմաշերտ պերցեպտրոններ (MLP): Օրինակ, ${\displaystyle E_{\phi }}$-ն միաշերտ MLP կոդավորիչ է․

${\displaystyle E_{\phi }(\mathbf {x} )=\sigma (Wx+b)}$

որտեղ ${\displaystyle \sigma }$-ն տարրական ակտիվացման ֆունկցիա է, ${\displaystyle W}$-ը «կշիռ» մատրիցա է, և ${\displaystyle b}$-ը «bias» վեկտոր է:

Ինքնակոդավորիչը բաղկացած է երկու ֆունկցիաներից։ Դրա որակը դատելու համար մեզ խնդիր է անհրաժեշտ։ Առաջադրանքը որոշվում է հավանականությունների բաշխմամբ ${\displaystyle \mu _{ref}}$${\displaystyle {\mathcal {X}}}$-ի նկատմամբ, և «վերակառուցման որակի» ${\displaystyle d:{\mathcal {X}}\times {\mathcal {X}}\to [0,\infty ]}$ ֆունկցիայով, այնպես որ ${\displaystyle d(x,x')}$ չափում է, թե որքան է ${\displaystyle x'}$ տարբերվում ${\displaystyle x}$-ից։

Դրանց օգնությամբ մենք կարող ենք որոշել ավտոկոդավորիչի կորստի ֆունկցիան՝ $${\displaystyle L(\theta ,\phi ):=\mathbb {\mathbb {E} } _{x\sim \mu _{ref}}[d(x,D_{\theta }(E_{\phi }(x)))]}$$ ${\displaystyle (\mu _{ref},d)}$ առաջադրանքի օպտիմալ ինքնակոդավորիչը ${\displaystyle \arg \min _{\theta ,\phi }L(\theta ,\phi )}$-ն է։ Օպտիմալ ինքնակոդավորիչի որոնումը կարող է իրականացվել մաթեմատիկական օպտիմալացման ցանկացած մեթոդի միջոցով, բայց սովորաբար գրադիենտ ծագում: Որոնման այս գործընթացը կոչվում է «ավտո կոդավորչի ուսուցում»։

Շատ դեպքերում էտալոն բաշխումը տվյալների հավաքածուով տրված էմպիրիկ բաշխում է, ${\displaystyle \{x_{1},...,x_{N}\}\subset {\mathcal {X}}}$, այնպես որ $${\displaystyle \mu _{ref}={\frac {1}{N}}\sum _{i=1}^{N}\delta _{x_{i}}}$$

որտեղ ${\displaystyle \delta _{x_{i}}}$ is the Dirac ճափում է, որակի ֆունկցիան պարզապես L2 ${\displaystyle d(x,x')=\|x-x'\|_{2}^{2}}$, and ${\displaystyle \|\cdot \|_{2}}$ կորուստը էվկլիդյան նորմ է։ Ուստի օպտիմալ ինքնակոդավորիչ փնտրելու խնդիրը բերվում է նվազագույն քառակուսիներ օպտիմալացմանը․$${\displaystyle \min _{\theta ,\phi }L(\theta ,\phi ),\qquad {\text{որտեղ }}L(\theta ,\phi )={\frac {1}{N}}\sum _{i=1}^{N}\|x_{i}-D_{\theta }(E_{\phi }(x_{i}))\|_{2}^{2}}$$

Ավտոկոդավորիչն ունի երկու հիմնական մաս՝ կոդավորիչ, որը հաղորդագրությունը համապատասխանեցնում է կոդի, և ապակոդավորիչ, որը կոդից վերակառուցում է հաղորդագրությունը: Оптимальный автокодировщик будет выполнять реконструкцию, максимально близкую к идеальной, с «близостью к идеальной», определяемой функцией качества реконструкции Օպտիմալ ինքնակոդավորիչը կատարյալին հնարավորինս մոտ վերակառուցում կկատարի։ «Կատարյալին մոտ» որոշվում է վերակառուցման որակի ${\displaystyle d}$ ֆունկցիայով։

Պատճենման խնդրի իրականացման պարզագույն ազդանշանի կրկնումն է։ Այդ վարքագիծը բացառելու համար, ${\displaystyle {\mathcal {Z}}}$ կոդի տարածության չափականությունը սովորաբար ավելի ցածր է, քան ${\displaystyle {\mathcal {X}}}$ հաղորդագրությունների տարածությունը։

Նման ինքնակոդավորիչը կոչվում է թերլրացված: Այն կարող է մեկնաբանվել որպես տվյալների սեղմում կամ դրա չափականության նվազեցում։^[1][9]

Իդեալական թերի ինքնակոդավորչի սահմանն է ${\displaystyle z}$ կոդերի տարածության բոլոր հնարավոր ծածկագրերը օգտագործվում են ${\displaystyle x}$ հաղորդագրությունը կոդավորելու համար, որն իսկապես հայտնվում է ${\displaystyle \mu _{ref}}$ բաշխման մեջ, և ապակոդավորիչը նույնպես կատարյալ է․ ${\displaystyle D_{\theta }(E_{\phi }(x))=x}$։ Այս իդեալական ինքնակոդավորիչը կարող է այնուհետև օգտագործվել իրական հաղորդագրություններից չտարբերվող հաղորդագրություններ ստեղծելու համար՝ ապակոդավորիչի մուտքին ${\displaystyle z}$ կամայական կոդ տալով և ${\displaystyle D_{\theta }(z)}$ հաղորդագրություն ստանալով, ${\displaystyle \mu _{ref}}$ որը հաղորդագրություն է. իսկապես հայտնվում է։

Եթե ${\displaystyle {\mathcal {Z}}}$ ծածկագրի տարածքի չափականությունն ավելի մեծ (overcomplete) կամ հավասար է հաղորդագրությունների տարածության ${\displaystyle {\mathcal {X}}}$ չափականությանը, կամ թաքնված միավորներին բավականաչափ հզորություն է տրված, ապա ինքնակոդավորիչը կարող է սովորել նույնական ֆունկցիան և դառնալ անօգուտ: Այնուամենայնիվ, փորձերի արդյունքները պարզել են, որ չափազանց ամբողջական ինքնակոդավորիչները կարող են դեռ օգտակար հատկություններ սովորել։^[10]

Իդեալական կարգավորման դեպքում կոդի չափը և մոդելի հզորությունը կարող են սահմանվել՝ հիմնվելով մոդելավորվող տվյալների բաշխման բարդության վրա: Դա անելու ստանդարտ եղանակ է հիմնական ինքնակոդավորիչում փոփոխություններ ավելացնելը, որը մանրամասն կներկայացվի ստորև։^[11]

Ավտոկոդավորիչն առաջին անգամ առաջարկվել է Կրամերի կողմից, որպես հիմնական բաղադրիչների վերլուծության (PCA) ոչ գծային ընդհանրացում:^[1] Ավտոկոդավորիչը նաև կոչվում է ավտոասոցիատոր,^[12] կամ Diabolo ցանց։^[13][10] Դրա առաջին կիրառությունները թվագրվում են 1990-ականների սկզբին։^[11][14][15] Դրանց առավել ավանդական կիրառումը չափումների կրճատումն էր կամ հատկանիշների ուսուցումը, սակայն հայեցակարգը սկսեց լայնորեն կիրառվել տվյալների գեներատիվ մոդելներ սովորելու համար։^[16][17] 2010-ականների ամենահզոր ԱԻ-ներից մի քանիսը ներառում էին ինքնակոդավորիչներ, որոնք ներկառուցված էին խորը նեյրոնային ցանցերում։^[18]

Գոյություն ունեն տարբեր տեխնիկաներ՝ կանխելու ինքնակոդավորիչներին սովորելու նույնական ֆունկցիան և բարելավելու նրանց կարողությունը՝ վերցնել կարևոր տեղեկատվություն և սովորել ավելի հարուստ ներկայացումներ։

Նոսր ինքնակոդավորիչները (SAE) ավտոկոդավորիչների տարբերակներ են, այնպիսին, որ հաղորդագրությունների ${\displaystyle E_{\phi }(x)}$ կոդերը հակված են լինել «նոսր կոդեր», այսինքն՝ ${\displaystyle E_{\phi }(x)}$ գրառումների մեծ մասում մոտ է զրոյի: Նոսր ինքնակոդավորիչները կարող են ներառել ավելի շատ թաքնված միավորներ, քան մուտքային, բայց թաքնված միավորների միայն փոքր թվով թաքնված միավորների փոքր է թույլատրվում միաժամանակ ակտիվ լինել։^[18] Նոսրության խրախուսումը բարելավում է դասակարգման առաջադրանքների կատարողականը։^[19]

Նոսրության ապահովման երկու հիմնական եղանակ գոյություն ունի։ Ճանապարհներից մեկը՝ լատենտ կոդի բոլոր ակտիվացումները, բացառությամբ ամենաբարձր-k-ի, պարզապես զրո դնելն է: Սա k-նոսր ավտոկոդավորիչն է։^[20]

Մյուս ճանապարհը k-Նոսր ինքնակոդավորիչի հանգստացված տարբերակն է: Նոսրությունը պարտադրելու փոխարեն մենք ավելացնում ենք 'նոսրության կանոնավորացման կորուստ, այնուհետև օպտիմալացնում ենք $${\displaystyle \min _{\theta ,\phi }L(\theta ,\phi )+\lambda L_{sparsity}(\theta ,\phi )}$$որտեղ ${\displaystyle \lambda >0}$ չափում է, թե որքան սակավություն ենք ուզում կիրառել։^[21]

Աղմուկը նվազեցնող ինքնակոդավորիչները (DAE) փորձում են «լավ» ներկայացման հասնել՝ փոխելով «վերակառուցման չափանիշը»։^[11][22]

DAE-ն, որն ի սկզբանե կոչվում էր «առողջ ավտոասոցիատիվ ցանց»,^[2] վերապատրաստման ընթացքում մարզվում է ստանդարտ autoencoder-ի մուտքերը միտումնավոր փչացնելու միջոցով: վերապատրաստվում է վերապատրաստման ընթացքում ստանդարտ autoencoder-ի մուտքերը միտումնավոր փչացնելու միջոցով: Աղմուկի ֆունկցիան ${\displaystyle \mu _{T}}$ հավանականության բաշխմամբ ${\displaystyle T:{\mathcal {X}}\to {\mathcal {X}}}$։ Այսինքն ${\displaystyle T}$ ֆունկցիան վերցնում է ${\displaystyle x\in {\mathcal {X}}}$ հաղորֆագրությունը, և այն շեղում է ${\displaystyle T(x)}$ աղմկոտ տարբերակի։ ${\displaystyle T}$ ֆունկցիան ընտրվում է պատահականորեն ${\displaystyle \mu _{T}}$ հավանականության բաշխմամբ:

Ավտոկոդավորիչների երկու հիմնական կիրառություններն են չափականության կրճատումը և տեղեկատվության վերհանումը,^[11] սակայն ժամանակակից տարբերակները կիրառվել են այլ առաջադրանքների համար։

Շափականության կրճատումը խորը ուսուցման առաջին կիրառություններից մեկն էր։ ^[11]

Չափականությունը ներկայացնելը կարող է բարելավել այնպիսի առաջադրանքների կատարումը, ինչպիսին դասակարգումն է: ^[11] Իրոք, չափականության կրճատման բնորոշ հատկանիշը, իմաստով առնչվող օրինակները միմյանց մոտ տեղադրելն է։^[24]

Ավտոկոդավորիչների մեկ այլ կիրառություն է անոմալիաների հայտնաբերումը։^{[2][25][26][27][28][29]} Обучаясь воспроизводить наиболее существенные особенности в обучающих данных при некоторых ограничениях, описанных ранее, модель стремится научиться точно воспроизводить наиболее часто наблюдаемые характеристики.Սովորելով վերարտադրել ուսուցանող տվյալների ամենաէական հատկանիշները նախկինում նկարագրված որոշ սահմանափակումների ներքո, մոդելը ձգտում է սովորել ճշգրիտ վերարտադրել առավել հաճախ հանդիպող բնութագրերը: Անոմալիաների հետ հանդիպելիս մոդելը պետք է վատթարացնի իր վերակառուցման արդյունավետությունը: Շատ դեպքերում, միայն սովորական օրինակներով տվյալներն են օգտագործվում ավտոկոդավորիչին պատրաստելու համար. Մյուսներում, անոմալիաների հաճախականությունը փոքր է, այնպես որ դրա ազդեցությունը սովորած ներկայացման մեջ կարելի է անտեսել։ Դասընթացից հետո ավտոկոդավորիչը ճշգրտորեն կվերակազմի «նորմալ» տվյալները, մինչդեռ դա չի հաջողվում անել անծանոթ անոմալ տվյալների դեպքում։^[27] Վերակառուցման սխալը (սխալը սկզբնական տվյալների և դրա ցածր չափականության վերակառուցման միջև) օգտագործվում է որպես անոմալիաների գնահատական՝ անոմալիաները հայտնաբերելու համար։^[27]

Սակայն վերջերս հրատարակված գրականությունը ցույց է տվել, որ որոշ ինքնակոդավորման մոդելներ կարող են, հակառակ ինտուիցիային, անոմալ օրինակները վերակառուցելու մեջ շատ լավ լինել և, հետևաբարը։^[30][31]

Ավտոկոդավորիչների բնութագրերը օգտակար են պատկերների մշակման մեջ։

Օրինակներից մեկը կարելի է գտնել կորուստներով պատկերի սեղմման մեջ, որտեղ ինքնակոդավորիչները գերազանցում էին մյուս մոտեցումներին և մրցունակ էին JPEG 2000-ի դեմ։^[32][33]

Ինքնակոդավորիչների մեկ այլ օգտակար կիրառություն պատկերների նախնական մշակման մեջ պատկերի աղմուկազերծումն է։^[34][35][36]

Ավտոկոդավորիչներն օգտակար են ավելի պահանջկոտ համատեքստերում, ինչպիսիք են բժշկական պատկերների վիզուալիզացիան, որտեղ դրանք օգտագործվել են ինչպես պատկերների աղմուկազերծման^[37] ինչպես նաև գերթողունակության համար։^[38][39] Պատկերի օգնությամբ ախտորոշման ժամանակ ինքնակոդավորիչները կիրառվել են կրծքագեղձի քաղցկեղի հայտնաբերման^[40] և Ալցհեյմերի հիվանդների մտավոր ունակությունների անկման և MRI-ով պատրաստված ավտոկոդավորիչի լատենտ հատկանիշների միջև կապը մոդելավորելու համար։^[41]

2019 թվականին վարիացիոն ինքնակոդավորիչներով ստեղծված մոլեկուլները փորձնականորեն ստուգվել են մկների վրա։^[42][43]

Վերջերս ավտոկոդավորիչի շրջանակը խոստումնալից արդյունքներ տվեց սոցիալական մեդիայի գրառումների ժողովրդականությունը կանխատեսելու հարցում,^[44] ինչն օգտակար է առցանց գովազդային ռազմավարությունների համար։

Ավտոկոդավորիչներ կիրառվել են մեքենայական թարգմանության մեջ, որը սովորաբար կոչվում է նեյրոնային մեքենայական թարգմանություն (NMT)։^[45][46] Ի տարբերություն ավանդական ավտոկոդավորիչների, ելքը չի համընկնում մուտքագրման հետ, այն այլ լեզվով է: NMT-ում տեքստերը դիտվում են որպես հաջորդականություններ, որոնք պետք է կոդավորվեն ուսուցման ընթացակարգի մեջ, մինչդեռ ապակոդավորիչի կողմից ստեղծվում են թիրախային լեզվով (լեզուներով) հաջորդականություններ: Կոնկրետ լեզվի ինքնակոդավորիչները ուսուցման գործընթացում ներառում են լեզվական առանձնահատկություններ, այնպիսիք, ինչպիսիք են չինական կազմալուծման առանձնահատկությունները։^[47] Մեքենայական թարգմանությունը դեռևս հազվադեպ է կատարվում ավտոկոդավորիչներով, ավելի արդյունավետ տրանսֆորմատորային ցանցերի առկայության պատճառով։