Ինքնակոդավորիչ

Կաղապար:ՎՏՔ Ինքնակոդավորիչ արհեստական ​​նեյրոնային ցանցի մի տեսակ, որն օգտագործվում է չպիտակավորված տվյալների արդյունավետ կոդավորումը սովորելու համար (չվերահսկվող ուսուցում)։ Ինքնակոդավորիչը սովորում է երկու ֆունկցիա՝ կոդավորման ֆունկցիա, որը փոխակերպում է մուտքային տվյալները, և ապակոդավորման ֆունկցիա, որը վերստեղծում է մուտքային տվյալները կոդավորված ներկայացումից: Ինքնակոդավորիչը սովորում է արդյունավետ ներկայացում (կոդավորում) տվյալների շարքի համար, որպես կանոն, չափականության կրճատման համար, որպեսզի ստեղծի ավելի ցածր չափականության ներկառուցումներ՝ մեքենայական ուսուցման այլ ալգորիթմների կողմից հետագա օգտագործման համար։

Կան տարբերակներ, որոնք ուղղված են ստիպելու սովորած ներկայացումներն ընդունել որպես օգտակար հատկություններ։ Դրանց օրինակներ են կանոնավորացված ինքնակոդավորիչները (Sparse, Denoising and Contractive), որոնք արդյունավետ են հետագա դասակարգման առաջադրանքների համար ներկայացումներ սովորելիս, և Վարիացիոն ինքնակոդավորիչները, որոնք կիրառվում են որպես գեներատիվ մոդելներ։ Ավտոկոդավորիչները կիրառվում են բազմաթիվ խնդիրների, այդ թվում՝ դեմքի ճանաչման, առանձնահատկությունների հայտնաբերման, անոմալիաների հայտնաբերման և բառերի իմաստի ուսումնասիրման համար։ Ավտոկոդավորիչները նաև գեներատիվ մոդելներ են, որոնք կարող են պատահականորեն ստեղծել նոր տվյալներ, որոնք նման են մուտքային տվյալներին (սովորեցնող տվյալներ)։

Մաթեմատիկական սկզբունքներ

Սահմանում

Ավտոկոդավորիչը սահմանվում է հետևյալ բաղադրիչներով.

Երկու բազմություն․ վերծանված հաղորդագրությունների տարածություն

$𝒳$

, կոդավորված հաղորդագրությունների տարածություն

$𝒵$

։ Typic

$𝒳$

and

$𝒵$

aՈրպես կանոն

$𝒳$

և

$𝒵$

-ը էվկլիդյան տարածություններ են, այսինքն.

$𝒳={ℝ}^m,𝒵={ℝ}^n$

with

$m>n.$

Ֆունկցիաների երկու պարամետրիզացված ընտանիքներ․ կոդավորիչների ընտանիքը․

$E_{\varphi }:𝒳\to 𝒵$

, պարամետրիզացված ըստ

$\varphi$

; ապակոդավորիչների ընտանիքը

$D_{\theta }:𝒵\to 𝒳$

, պարամետրիզացված ըստ

$\theta$

.

Ցանկացած

$x\in 𝒳$

-ի համար, մենք սովորաբար գրում ենք

$z=E_{\varphi }(x)$

, և հղվում դրան որպես կոդ, լատենտ փոփոխական, լատենտ ներկայացում, լատենտ վեկտոր և այլն: Ընդհակառակը, ցանկացած

$z\in 𝒵$

-ի համար, մենք սովորաբար գրում ենք

$x^{\prime }=D_{\theta }(z)$

, և նշում այն որպես (վերծանված) հաղորդագրություն:

Սովորաբար, և՛ կոդավորիչը, և՛ ապակոդավորիչը սահմանվում են որպես բազմաշերտ պերցեպտրոններ (MLP): Օրինակ, $E_{\varphi }$-ն միաշերտ MLP կոդավորիչ է․

$E_{\varphi }(𝐱)=\sigma (Wx+b)$

որտեղ $\sigma$-ն տարրական ակտիվացման ֆունկցիա է, $W$-ը «կշիռ» մատրիցա է, և $b$-ը «bias» վեկտոր է:

Ավտոկոդավորչի ուսուցում

Ինքնակոդավորիչը բաղկացած է երկու ֆունկցիաներից։ Դրա որակը դատելու համար մեզ խնդիր է անհրաժեշտ։ Առաջադրանքը որոշվում է հավանականությունների բաշխմամբ ${\mu }_{ref}$$𝒳$-ի նկատմամբ, և «վերակառուցման որակի» $d:𝒳\times 𝒳\to [0,\mathrm{\infty }]$ ֆունկցիայով, այնպես որ $d(x,x^{\prime })$ չափում է, թե որքան է $x^{\prime }$ տարբերվում $x$-ից։

Դրանց օգնությամբ մենք կարող ենք որոշել ավտոկոդավորիչի կորստի ֆունկցիան՝ $$L(\theta ,\varphi ):={𝔼}_{x\sim {\mu }_{ref}}[d(x,D_{\theta }(E_{\varphi }(x)))]$$ $({\mu }_{ref},d)$ առաջադրանքի օպտիմալ ինքնակոդավորիչը $\arg \underset{\theta ,\varphi }{\min }L(\theta ,\varphi )$-ն է։ Օպտիմալ ինքնակոդավորիչի որոնումը կարող է իրականացվել մաթեմատիկական օպտիմալացման ցանկացած մեթոդի միջոցով, բայց սովորաբար գրադիենտ ծագում: Որոնման այս գործընթացը կոչվում է «ավտո կոդավորչի ուսուցում»։

Շատ դեպքերում էտալոն բաշխումը տվյալների հավաքածուով տրված էմպիրիկ բաշխում է, $\{x_1,...,x_N\}\subset 𝒳$, այնպես որ $${\mu }_{ref}=\frac{1}{N}\sum _{i=1}^N{\delta }_{x_i}$$

որտեղ ${\delta }_{x_i}$ is the Dirac ճափում է, որակի ֆունկցիան պարզապես L2 $d(x,x^{\prime })=\Vert x-x^{\prime }{\Vert }_2^2$, and $\Vert \cdot {\Vert }_2$ կորուստը էվկլիդյան նորմ է։ Ուստի օպտիմալ ինքնակոդավորիչ փնտրելու խնդիրը բերվում է նվազագույն քառակուսիներ օպտիմալացմանը․$$\underset{\theta ,\varphi }{\min }L(\theta ,\varphi ),\text{որտեղ }L(\theta ,\varphi )=\frac{1}{N}\sum _{i=1}^N\Vert x_i-D_{\theta }(E_{\varphi }(x_i)){\Vert }_2^2$$

Մեկնաբանություն

Հիմնական ավտոկոդավորչի սխեման

Ավտոկոդավորիչն ունի երկու հիմնական մաս՝ կոդավորիչ, որը հաղորդագրությունը համապատասխանեցնում է կոդի, և ապակոդավորիչ, որը կոդից վերակառուցում է հաղորդագրությունը: Оптимальный автокодировщик будет выполнять реконструкцию, максимально близкую к идеальной, с «близостью к идеальной», определяемой функцией качества реконструкции Օպտիմալ ինքնակոդավորիչը կատարյալին հնարավորինս մոտ վերակառուցում կկատարի։ «Կատարյալին մոտ» որոշվում է վերակառուցման որակի $d$ ֆունկցիայով։

Պատճենման խնդրի իրականացման պարզագույն ազդանշանի կրկնումն է։ Այդ վարքագիծը բացառելու համար, $𝒵$ կոդի տարածության չափականությունը սովորաբար ավելի ցածր է, քան $𝒳$ հաղորդագրությունների տարածությունը։

Նման ինքնակոդավորիչը կոչվում է թերլրացված: Այն կարող է մեկնաբանվել որպես տվյալների սեղմում կամ դրա չափականության նվազեցում։

Իդեալական թերի ինքնակոդավորչի սահմանն է $z$ կոդերի տարածության բոլոր հնարավոր ծածկագրերը օգտագործվում են $x$ հաղորդագրությունը կոդավորելու համար, որն իսկապես հայտնվում է ${\mu }_{ref}$ բաշխման մեջ, և ապակոդավորիչը նույնպես կատարյալ է․ $D_{\theta }(E_{\varphi }(x))=x$։ Այս իդեալական ինքնակոդավորիչը կարող է այնուհետև օգտագործվել իրական հաղորդագրություններից չտարբերվող հաղորդագրություններ ստեղծելու համար՝ ապակոդավորիչի մուտքին $z$ կամայական կոդ տալով և $D_{\theta }(z)$ հաղորդագրություն ստանալով, ${\mu }_{ref}$ որը հաղորդագրություն է. իսկապես հայտնվում է։

Եթե $𝒵$ ծածկագրի տարածքի չափականությունն ավելի մեծ (overcomplete) կամ հավասար է հաղորդագրությունների տարածության $𝒳$ չափականությանը, կամ թաքնված միավորներին բավականաչափ հզորություն է տրված, ապա ինքնակոդավորիչը կարող է սովորել նույնական ֆունկցիան և դառնալ անօգուտ: Այնուամենայնիվ, փորձերի արդյունքները պարզել են, որ չափազանց ամբողջական ինքնակոդավորիչները կարող են դեռ օգտակար հատկություններ սովորել։

Իդեալական կարգավորման դեպքում կոդի չափը և մոդելի հզորությունը կարող են սահմանվել՝ հիմնվելով մոդելավորվող տվյալների բաշխման բարդության վրա: Դա անելու ստանդարտ եղանակ է հիմնական ինքնակոդավորիչում փոփոխություններ ավելացնելը, որը մանրամասն կներկայացվի ստորև։

Պատմություն

Ավտոկոդավորիչն առաջին անգամ առաջարկվել է Կրամերի կողմից, որպես հիմնական բաղադրիչների վերլուծության (PCA) ոչ գծային ընդհանրացում: Ավտոկոդավորիչը նաև կոչվում է ավտոասոցիատոր, կամ Diabolo ցանց։ Դրա առաջին կիրառությունները թվագրվում են 1990-ականների սկզբին։ Դրանց առավել ավանդական կիրառումը չափումների կրճատումն էր կամ հատկանիշների ուսուցումը, սակայն հայեցակարգը սկսեց լայնորեն կիրառվել տվյալների գեներատիվ մոդելներ սովորելու համար։ 2010-ականների ամենահզոր ԱԻ-ներից մի քանիսը ներառում էին ինքնակոդավորիչներ, որոնք ներկառուցված էին խորը նեյրոնային ցանցերում։

Վարիացիաներ

Կանոնավորվող ինքնակոդավորիչներ

Գոյություն ունեն տարբեր տեխնիկաներ՝ կանխելու ինքնակոդավորիչներին սովորելու նույնական ֆունկցիան և բարելավելու նրանց կարողությունը՝ վերցնել կարևոր տեղեկատվություն և սովորել ավելի հարուստ ներկայացումներ։

Նոսր ինքնակոդավորիչ

Նոսր ինքնակոդավորիչները (SAE) ավտոկոդավորիչների տարբերակներ են, այնպիսին, որ հաղորդագրությունների

$E_{\varphi }(x)$

կոդերը հակված են լինել «նոսր կոդեր», այսինքն՝

$E_{\varphi }(x)$

գրառումների մեծ մասում մոտ է զրոյի: Նոսր ինքնակոդավորիչները կարող են ներառել ավելի շատ թաքնված միավորներ, քան մուտքային, բայց թաքնված միավորների միայն փոքր թվով թաքնված միավորների փոքր է թույլատրվում միաժամանակ ակտիվ լինել։ Նոսրության խրախուսումը բարելավում է դասակարգման առաջադրանքների կատարողականը։

Միաշերտ նոսր ինքնակոդավորիչի պարզ սխեմա: Վառ դեղին գույնի թաքնված հանգույցներն ակտիվ են, իսկ բաց դեղինները՝ ոչ ակտիվ: Ակտիվացումը կախված է մուտքից

Նոսրության ապահովման երկու հիմնական եղանակ գոյություն ունի։ Ճանապարհներից մեկը՝ լատենտ կոդի բոլոր ակտիվացումները, բացառությամբ ամենաբարձր-k-ի, պարզապես զրո դնելն է: Սա k-նոսր ավտոկոդավորիչն է։

Մյուս ճանապարհը k-Նոսր ինքնակոդավորիչի հանգստացված տարբերակն է: Նոսրությունը պարտադրելու փոխարեն մենք ավելացնում ենք 'նոսրության կանոնավորացման կորուստ, այնուհետև օպտիմալացնում ենք $$\underset{\theta ,\varphi }{\min }L(\theta ,\varphi )+\lambda L_{sparsity}(\theta ,\varphi )$$որտեղ $\lambda >0$ չափում է, թե որքան սակավություն ենք ուզում կիրառել։

Աղմուկը նվազեցնող Ինքնակոդավորիչ

Աղմուկը նվազեցնող ինքնակոդավորիչները (DAE) փորձում են «լավ» ներկայացման հասնել՝ փոխելով «վերակառուցման չափանիշը»։

DAE-ն, որն ի սկզբանե կոչվում էր «առողջ ավտոասոցիատիվ ցանց», վերապատրաստման ընթացքում մարզվում է ստանդարտ autoencoder-ի մուտքերը միտումնավոր փչացնելու միջոցով: վերապատրաստվում է վերապատրաստման ընթացքում ստանդարտ autoencoder-ի մուտքերը միտումնավոր փչացնելու միջոցով: Աղմուկի ֆունկցիան ${\mu }_T$ հավանականության բաշխմամբ $T:𝒳\to 𝒳$։ Այսինքն $T$ ֆունկցիան վերցնում է $x\in 𝒳$ հաղորֆագրությունը, և այն շեղում է $T(x)$ աղմկոտ տարբերակի։ $T$ ֆունկցիան ընտրվում է պատահականորեն ${\mu }_T$ հավանականության բաշխմամբ:

Կիրառություններ

Ավտոկոդավորիչների երկու հիմնական կիրառություններն են չափականության կրճատումը և տեղեկատվության վերհանումը, սակայն ժամանակակից տարբերակները կիրառվել են այլ առաջադրանքների համար։

Չափականության կրճատում

Plot of the first two Principal Components (left) and a two-dimension hidden layer of a Linear Autoencoder (Right) applied to the Fashion MNIST dataset. The two models being both linear learn to span the same subspace. The projection of the data points is indeed identical, apart from rotation of the subspace. While PCA selects a specific orientation up to reflections in the general case, the cost function of a simple autoencoder is invariant to rotations of the latent space.

Շափականության կրճատումը խորը ուսուցման առաջին կիրառություններից մեկն էր։

Չափականությունը ներկայացնելը կարող է բարելավել այնպիսի առաջադրանքների կատարումը, ինչպիսին դասակարգումն է: Իրոք, չափականության կրճատման բնորոշ հատկանիշը, իմաստով առնչվող օրինակները միմյանց մոտ տեղադրելն է։

Անոմալիայի հայտնաբերում

Ավտոկոդավորիչների մեկ այլ կիրառություն է անոմալիաների հայտնաբերումը։ Обучаясь воспроизводить наиболее существенные особенности в обучающих данных при некоторых ограничениях, описанных ранее, модель стремится научиться точно воспроизводить наиболее часто наблюдаемые характеристики.Սովորելով վերարտադրել ուսուցանող տվյալների ամենաէական հատկանիշները նախկինում նկարագրված որոշ սահմանափակումների ներքո, մոդելը ձգտում է սովորել ճշգրիտ վերարտադրել առավել հաճախ հանդիպող բնութագրերը: Անոմալիաների հետ հանդիպելիս մոդելը պետք է վատթարացնի իր վերակառուցման արդյունավետությունը: Շատ դեպքերում, միայն սովորական օրինակներով տվյալներն են օգտագործվում ավտոկոդավորիչին պատրաստելու համար. Մյուսներում, անոմալիաների հաճախականությունը փոքր է, այնպես որ դրա ազդեցությունը սովորած ներկայացման մեջ կարելի է անտեսել։ Դասընթացից հետո ավտոկոդավորիչը ճշգրտորեն կվերակազմի «նորմալ» տվյալները, մինչդեռ դա չի հաջողվում անել անծանոթ անոմալ տվյալների դեպքում։ Վերակառուցման սխալը (սխալը սկզբնական տվյալների և դրա ցածր չափականության վերակառուցման միջև) օգտագործվում է որպես անոմալիաների գնահատական՝ անոմալիաները հայտնաբերելու համար։

Սակայն վերջերս հրատարակված գրականությունը ցույց է տվել, որ որոշ ինքնակոդավորման մոդելներ կարող են, հակառակ ինտուիցիային, անոմալ օրինակները վերակառուցելու մեջ շատ լավ լինել և, հետևաբարը։

Պատկերի մշակում

Ավտոկոդավորիչների բնութագրերը օգտակար են պատկերների մշակման մեջ։

Օրինակներից մեկը կարելի է գտնել կորուստներով պատկերի սեղմման մեջ, որտեղ ինքնակոդավորիչները գերազանցում էին մյուս մոտեցումներին և մրցունակ էին JPEG 2000-ի դեմ։

Ինքնակոդավորիչների մեկ այլ օգտակար կիրառություն պատկերների նախնական մշակման մեջ պատկերի աղմուկազերծումն է։

Ավտոկոդավորիչներն օգտակար են ավելի պահանջկոտ համատեքստերում, ինչպիսիք են բժշկական պատկերների վիզուալիզացիան, որտեղ դրանք օգտագործվել են ինչպես պատկերների աղմուկազերծման ինչպես նաև գերթողունակության համար։ Պատկերի օգնությամբ ախտորոշման ժամանակ ինքնակոդավորիչները կիրառվել են կրծքագեղձի քաղցկեղի հայտնաբերման և Ալցհեյմերի հիվանդների մտավոր ունակությունների անկման և MRI-ով պատրաստված ավտոկոդավորիչի լատենտ հատկանիշների միջև կապը մոդելավորելու համար։

Դեղամիջոցների հայտնաբերում

2019 թվականին վարիացիոն ինքնակոդավորիչներով ստեղծված մոլեկուլները փորձնականորեն ստուգվել են մկների վրա։

Ժողովրդականության կանխատեսում

Վերջերս ավտոկոդավորիչի շրջանակը խոստումնալից արդյունքներ տվեց սոցիալական մեդիայի գրառումների ժողովրդականությունը կանխատեսելու հարցում, ինչն օգտակար է առցանց գովազդային ռազմավարությունների համար։

Մեքենայական թարգմանություն

Ավտոկոդավորիչներ կիրառվել են մեքենայական թարգմանության մեջ, որը սովորաբար կոչվում է նեյրոնային մեքենայական թարգմանություն (NMT)։ Ի տարբերություն ավանդական ավտոկոդավորիչների, ելքը չի համընկնում մուտքագրման հետ, այն այլ լեզվով է: NMT-ում տեքստերը դիտվում են որպես հաջորդականություններ, որոնք պետք է կոդավորվեն ուսուցման ընթացակարգի մեջ, մինչդեռ ապակոդավորիչի կողմից ստեղծվում են թիրախային լեզվով (լեզուներով) հաջորդականություններ: Կոնկրետ լեզվի ինքնակոդավորիչները ուսուցման գործընթացում ներառում են լեզվական առանձնահատկություններ, այնպիսիք, ինչպիսիք են չինական կազմալուծման առանձնահատկությունները։ Մեքենայական թարգմանությունը դեռևս հազվադեպ է կատարվում ավտոկոդավորիչներով, ավելի արդյունավետ տրանսֆորմատորային ցանցերի առկայության պատճառով։