Predavanja će se održati u četvrtak, 9.10. u 11h u Vijećnici.
Opis predavanja:
Kroz parametre do integriteta: kako spoznaje o jezičnim modelima poboljšavaju sigurnost i pouzdanost
Predavač: dr. sc. Martin Tutek (FER)
Abstrakt: Od svog uvođenja, jezični modeli bazirani na transformerima, vjerni svom imenu, transformirali su područje obrade prirodnog jezika. Ovi snažni generativni modeli mogu učinkovito rješavati širok raspon zadataka bez specijalizirane obuke, samo slijedeći upute ili primjere dane u prirodnom jeziku. Ono što to omogućuje je njihova sposobnost kodiranja velike količine znanja unutar parametara. U ovom predavanju osvrnut ćemo se na ono što trenutačno znamo o tome kako, i gdje, su informacije kodirane u transformerima, kroz dva nedavna rada. Prvi rad otkriva da transformeri precizno pamte osobno prepoznatljive informacije (PII) kojima su bili izloženi tijekom treniranja, te nudi metodu za njihovo uklanjanje bez korištenja gradijenata. Drugi rad koristi “strojno zaboravljanje” kako bi provjerilo jesu li objašnjenja koja generiraju transformeri vjeran prikaz njihovog internog procesa zaključivanja, čime poboljšavamo povjerenje u komunikaciju između čovjeka i umjetne inteligencije.
Kontrola greške u znanstvenom računanju strojnim učenjem
Predavač: prof. dr. sc. Luka Grubišić (PMF)
Abstrakt: U ovom predavanju ćemo promatrati problem konstrukcije strukturirane izrazito široke neuronske mreže s jednim skrivenim slojem (extreme learning machine with coefficients in factorized format), kao reprezentacije rješenja parametarski ovisne familije diferencijalnih jednadžbi. Motivacija za korištenje ovakvih mreže proizlazi iz činjenice da se nakon slučajnog izbora koeficijenata skrivenog sloja parametri izlaznog sloja određuju rješavanjem linearnog problema (normalnih jednadžbi). Opravdanje za slučajno inicijaliziranje skrivenog sloja dolazi iz korištenja Johnson-Lindenstraussove leme (https://en.wikipedia.org/wiki/Johnson%E2%80%93Lindenstrauss_lemma) koja opravdava većinu stohastičkih metoda za redukciju dimenzije modela. Ovakvi modeli su također poznati pod akronimom PIELM (physics inspired extreme learning machine) i predstavljaju klasu grubih ali izrazito efikasnih (za izvrjednjavanje) modela. Mi ćemo našu klasu modela zvati TT-PIELM da bismo naglasili da se skriveni sloj reprezentira u faktoriziranom tensor train formatu (TT; https://tensordec.maths.unitn.it/material/2021_Masterclass_Nick/MCT03-TT.pdf). Za ovu klasu primjera razvijamo teoriju rezidualnih ocjena greške a posteriori. Imanje pouzdanih procjenitelja greške omogućava konstrukciju funkcija nosača za rezidual kojima onda nadopunjujemo TT-PIELM do ciljane razine točnosti. Prototipni problem će biti reprezentiranje familija reljefnih funkcija (landscape function) koje daju informacije o lokalizaciji svojstvenih funkcija Schroedingerovog hamiltonijana. Diskutirat ćemo ograničenja metode budući da efekti računske složenosti I aritmetike konačne točnosti daju vrlo opipljivi prag točnosti kojega je teško probiti.
