AI novērtē vietnes, atdarinot reālus cilvēkus un pat pārspēj tos. Kā tas tiek darīts?

Šodien viena no viedajām vietņu pārveidošanas sistēmas uKit AI sastāvdaļām tiek publiskota. Tas ir prototipa modulis tīmekļa lapu skaistuma novērtēšanai. Tas apvieno neironu tīklu un lēmumu kokus, lai imitētu vienkārša apmeklētāja reakciju uz vietnes dizainu.

Nākotnē šāds modulis novērtēs ģeneratīvā dizaina algoritma, uKit AI galvenā elementa, darbu, kurš izstrādās lapas bez cilvēka līdzdalības, balstoties uz pieejamo saturu un “zināšanām” par atšķirību starp neefektīvu vietni un tā mērķis bija palielināt konversijas likmi.

Pašreizējā WebScore AI versija atspoguļo vidusmēra interneta lietotāja viedokli par vietnes izskatu. Lai gan mēs varam izveidot citas iespējas, piemēram, ir iespējams novērtēt vietnes izmantojamību.

Vietnes, kuras izmanto sistēmas apmācībai. Pirmkārt, mēs esam apkopojuši 12 000 vietņu un tiešsaistes veikalu, kas izveidoti dažādos gados dažādās platformās un dažādās valodās. Galvenais uzdevums bija iegūt pietiekami daudz vizuālo gradācijas piemēru, sākot no diezgan sliktām vietnēm līdz ļoti labām. Tādā veidā mēs esam parādījuši sistēmai, ar ko tā var saskarties mūsdienu tīmeklī.

Pāris tīmekļa vietņu no mācību parauga.

Katru gradāciju mēra ar skalu, un domājams, ka šī skala ir jāsaprot parastam cilvēkam, kura viedokli mēs cenšamies modelēt. Tātad, mēs nācām klajā ar ideju par mērogu “no 1 līdz 10”, kas tiek izmantota mūsu pakalpojumā.

Cilvēki, kurus atdarina WebScore AI. Lai izveidotu datu kopu (apmācības modeļa datu kopu) no dažādām vietnēm, mums vajadzēja divas lietas:

  • zīmes, pēc kurām sistēma noteiks, vai vietne ir pievilcīga;
  • novērtējumi (atzīmes), kas veikti ar mūsu mēroga palīdzību noteiktam vietņu daudzumam. Viņi kļūs par sistēmas modeli.

Kādam vajadzētu ievietot šos sākotnējos novērtējumus. Šāds “skolotājs” vai “skolotāju” grupa, precīzāk sakot, ļoti ietekmēs modeļa darbību.

Tīmekļa vietņu novērtēšanas saskarne: drīz izmantojiet un izmantojiet mūsu GitHub.

Lai apkopotu fokusa grupu, mēs veica provizorisku kandidātu atlasi 1500 vietņu piemēros. Rutīnas darbs, bet atbildīgs darbs, kas prasa lielu uzmanību. Iepriekšējā atlase mums palīdzēja izslēgt nepiemērotos kandidātus un no parauga izslēgt arī “pretrunīgi vērtētās” (kad kāds to vērtē kā 1 un otrs kā 10) vietnes.

Sākumā mēs eksperimentējām ar vērtēšanas metodēm.

Piemēram, mēs piedāvājām novērtēt vienu vietni vienlaikus, pēc tam divas vietnes vienlaikus, vai arī izvēlēties vienu no divām, vispievilcīgākajām. Vislabāk darbojās pieeja, kur respondents apskatīja vienu vietni un novērtēja to. Mēs to izmantojām, lai novērtētu 10 000 no atlikušajām vietnēm.

Persona novērtēja, vai vietne ir skaista vai nē. Kā mašīna to darīs? Jums un man ir vajadzīgs tikai viens izskats, lai veidotu viedokli par kaut kā vispārējo skaistumu. Bet mēs zinām, ka velns ir detaļās.

Vietnes vizuālās pievilcības zīmes, kas vadīs modeli, ir galvenais brīdis visam projektam. Mēs lūdzām uKit vietņu veidotāju dizaina komandai roku, viņu darbs tiek izmantots par pamatu simtiem tūkstošu vietņu, un miljoniem cilvēku to redz. Kopā mēs esam izveidojuši paplašinātu to funkciju sarakstu, kurām profesionāļi pievērš uzmanību, izstrādājot vietnes dizainu. Un tad mēģināja to sagriezt, atstājot tikai vissvarīgākos.

uKit.com dizaina komanda.

Rezultātā mēs saņēmām kontrolsarakstu ar 125 pavisam atšķirīgiem, tomēr nozīmīgiem kritērijiem, kas sagrupēti piecpadsmit kategorijās. Piemēram, sarakstā ir: pielāgošana populāriem ekrāniem, dažādu burtu izmēri, krāsu tīrība, virsrakstu garums, attēlu proporcija uz visas lapas utt. Atliek tikai apmācīt modeli, izmantojot šos noteikumus.

Izveidojiet algoritmu. Kas tieši ir “mācīšanas modelis”? Tas ir algoritma izveide, kas balstās uz noteiktu parametru kopu un var novērtēt izvēlēto vietni. Vēlams, lai sistēmas vērtējumā un vidējā skolotāja vērtējumā būtu minimāla atšķirība to galīgajā vērtējumā.

Mēs esam nolēmuši lēmumu pieņemšanas kokos izmantot gradienta palielināšanas metodi, jo tā ir viena no populārākajām un efektīvākajām metodēm. Izmantojot pamata algoritmus, tas izveido kopu, kuras kopējais rezultāts pārsniedz jebkura atsevišķa algoritma rezultātus.

Turklāt, pievienojot katru nākamo pamata algoritmu, tas mēģina uzlabot visu kopu atbilžu kvalitāti.

Lai paātrinātu un atvieglotu procesu, mēs izmantojām CatBoost bibliotēku no Yandex, kas ļauj veidot uz gradientu balstītu pastiprinātāju tā sauktajos “aizmirsto lēmumu kokos”, nodrošinot modeļa labas apmācības iespējas jau no paša sākuma un ātru pāreju uz prognožu (aprēķinu) sniegšanu. ) jauniem objektiem.

Neironu tīkla pievienošana. Kad pamata algoritms bija gatavs, mēs nolēmām veikt eksperimentu: vai rezultāti uzlabosies, ja pievienosim neironu tīklu? Patiesībā mēs jau zinājām, kā “apskatīt” vietni un tās noformējumu, un tagad mēs nolēmām uzdāvināt sistēmai sava veida “palielināmo stiklu”, ko tā var izmantot, lai atklātu vēl sīkāku informāciju.

Mēs izvēlējāmies vienu no populārākajiem tīkliem resnet50, kas ir pazīstams kā labs algoritms augsta līmeņa funkciju iegūšanai. Un mēs esam iemācījušies, kā iegūt 1000 papildu atribūtus vietnes novērtēšanai. Tā rezultātā sistēma tagad raksturo vietrāžu URL ar kopumā 1125 funkcijām un atrod vietnes “vietu” 10 ballu skalā. Process ilgst vairākus desmitus sekunžu, tāpēc mēs domājam paātrināt modeli, samazinot zīmju skaitu, saglabājot novērtēšanas kvalitāti vienā līmenī.

Pirmie rezultāti. Šādi apmācīts modelis varētu veikt trīs reizes precīzākas aplēses, salīdzinot ar atsevišķu “skolotāju” aprēķiniem.

Var teikt, ka modelis pārspēja savus pirmos skolotājus, jo fokusa grupas novērtējumi daudz vairāk nekā vidējie atšķiras no neironu tīkla aprēķiniem. Tagad mēs ievietojam algoritmu tīklā tālākai apmācībai. Un arī jūs varat kļūt par tās skolotāju.