ELEKTROTEHNI ˇ SKI VESTNIK 91(1-2): 1–7, 2024 IZVIRNI ZNANSTVENI ˇ CLANEK Deidentifikacija obrazov z nadzorom ravni varovanja zasebnosti Blaˇ z Meden Univerza v Ljubljani, Fakulteta za raˇ cunalniˇ stvo in informatiko, Veˇ cna pot 113, 1000 Ljubljana, Slovenija E-poˇ sta: blaz.meden@fri.uni-lj.si Povzetek. Zaˇ sˇ cita zasebnosti je v danaˇ snji digitalni dobi ena izmed kljuˇ cnih pereˇ cih tem. Pri tem so ˇ se zlasti obˇ cutljive slikovne podobe obrazov, ki obiˇ cajno ne razkrivajo le identitete osebe, temveˇ c tudi druge osebne karakteristike. Za reˇ sevanje tega problema so bile v literaturi predstavljene razliˇ cne tehnike deidentifikacije obrazov. Te poskuˇ sajo odstraniti ali zakriti osebne informacije na izvornih obraznih slikah, hkrati pa ohraniti njihovo uporabnost za nadaljnjo analizo. ˇ Ceprav je bilo na podroˇ cju deidentifikacije obrazov ˇ ze veliko predlaganih reˇ sitev, veˇ cina najnovejˇ sih ˇ se vedno deluje pomanjkljivo, saj te tehnike pogosto (a) deidentificirajo le ozko podroˇ cje obraza, s ˇ cimer pomembne kontekstualne informacije ostanejo nezaˇ sˇ citene, (b) toliko spreminjajo slikovne podobe obraza, da trpita naraven videz in raznolikost obrazov v deidentificiranih rezultatih, (c) ne ponujajo proˇ znosti pri ravni zagotovljene zasebnosti, kar vodi v suboptimalno uporabo v razliˇ cnih aplikacijah, in (d) pogosto ponujajo nezadovoljiv kompromis med zmoˇ znostjo zakrivanja informacij o identiteti, kakovostjo in naravnostjo deidentificiranih slik ter zadostnim ohranjanjem uporabnosti deidentificiranih podatkov. V tem ˇ clanku obravnavamo te pomanjkljivosti z novim nadzorovanim postopkom za deidentifikacijo obrazov, ki uravnoteˇ zi kakovost slike, zaˇ sˇ cito identitete in uporabnost podatkov za nadaljnjo analizo. Predlagani pristop uporablja zmogljiv generativni model (StyleGAN2), veˇ c pomoˇ znih klasifikacijskih modelov in skrbno oblikovane omejitve oz. kriterije za usmerjanje optimizacijskega procesa deidentifikacije. Pristop je preverjen s 4 razliˇ cnimi nabori podatkov in primerjan s 7 konkurenˇ cnimi pristopi. Kljuˇ cne besede: deidentifikacija obrazov, generativni modeli, slikovna biometrija, globoko uˇ cenje Face Deidentification with a Controllable Privacy Protection Privacy concerns in the digital era highlight the sensitivity of facial images, revealing personal information beyond the identity. The current face deidentification techniques aiming to solve the issue often suffer from limitations. They either focus on narrow facial areas, compromise the image naturalness, lack flexibility in privacy levels, or offer suboptimal trade- offs between the identity protection, image quality, and utility preservation. The paper presents a novel controllable face de- identification method that leverages StyleGAN2 and auxiliary classification approaches addressing these shortcomings. Vali- dated across four datasets and compared to seven competitors, the method ensures a significant identity protection, preserves the data utility, maintains the diversity among deidentified faces, and demonstrates a promising performance. Keywords: face deidentification, generative models, image biometrics, deep learning 1 UVOD Pravica do zasebnosti je temeljna ˇ clovekova pravica, ki posameznikom omogoˇ ca, da osebne podatke in dejavno- sti ohranjajo zaˇ sˇ citene pred nepooblaˇ sˇ cenim dostopom, nadzorom ali vmeˇ savanjem drugih [1]. Pojem zasebnosti je priznan v mednarodnih aktih o ˇ clovekovih pravicah Prejet 19. februar, 2024 Odobren 20. marec, 2024 in v veljavni zakonodaji [2] ter vkljuˇ cuje razliˇ cne vidike posameznikovega ˇ zivljenja, ki zajemajo fiziˇ cni prostor, komunikacijo, osebne podatke in posameznikovo iden- titeto [3]. Biometriˇ cni podatki, ˇ se zlasti slike obraza, so obˇ cutljivi osebni podatki, ki so teˇ zko spremenljivi, in so zato laˇ zje tarˇ ca nepooblaˇ sˇ cenega ravnanja. Uporaba biometriˇ cne tehnologije ima potencial za izboljˇ sanje varnosti, hkrati pa prinaˇ sa tudi utemeljene skrbi glede ohranjanja zasebnosti [4]. Odgovorna uporaba biome- triˇ cne tehnologije zahteva moˇ cne pravne okvire, transpa- rentnost zbiranja in obdelave osebnih podatkov ter tudi informirano privolitev posameznikov [5]. V prispevku zato prouˇ cujemo tehnike za zaˇ sˇ cito zasebnosti na slikah obraza z uporabo procesa deidentifikacije, da bi razvili praktiˇ cne reˇ sitve za izboljˇ sanje zaˇ sˇ cite zasebnosti ter obenem ohranjanje uporabnosti podatkov in naravnosti na zaˇ sˇ citenih obraznih slikah. Postopek deidentifikacije obrazov si prizadeva iz- boljˇ sati zasebnost slike obraza posameznika z modifi- ciranjem ali odstranjevanjem prepoznavnih znaˇ cilnosti. Namen deidentifikacije je nasprotovati tehnologijam za prepoznavanje obraza ter tako zavarovati zasebnost po- sameznikov v primerih, ko se zajemajo, delijo ali ana- lizirajo obrazne slike [6], [7]. Deidentifikacija obraza vkljuˇ cuje zameglitev ali zamenjavo edinstvenih osebnih znaˇ cilnosti obraza z generiˇ cnimi, kar pomeni, da obrazi 2 MEDEN Slika 1: Predstavljen je nov pristop deidentifikacije obraza z nadzorovano ravnjo zagotovljene zasebnosti. Slika prika- zuje vpliv poveˇ canja stopnje zaˇ sˇ cite zasebnosti (od leve proti desni). Medtem ko se prvotne identitete postopoma spremi- njajo, sploˇ sna vizualna kakovost in videz ostajata primerljiva z izvirnimi slikami iz levega stolpca. Ugotavljamo, da ve- dno obstaja kompromis med koliˇ cino ohranjene podobnosti slike in koliˇ cino dosegljive zaˇ sˇ cite zasebnosti. Konkurenˇ cne reˇ sitve obiˇ cajno zagotavljajo fiksen kompromis, naˇ s pristop pa omogoˇ ca prilagajanje tega kompromisa prek nastavljivega parametra. postanejo nerazpoznavni [8]. Ta ukrep za varovanje zasebnosti prepreˇ cuje avtomatiziranim razpoznavalnim sistemom in nepooblaˇ sˇ cenim ˇ cloveˇ skim opazovalcem, da bi deidentificirane obrazne slike povezali z izvor- nimi posamezniki. Zgodnji pristopi za deidentifikacijo obrazov so tipiˇ cno uporabljali tehnike maskiranja [9] ali filtriranja [10] na celotnem podroˇ cju slike obraza, vendar z varnostnimi ranljivostmi (npr. ranljivost za napad s posnemanjem [11]) ali pa preveˇ c restriktivnosti pri ohranjanju uporabnosti podatkov. Z razvojem mode- lov za detekcijo kljuˇ cnih obraznih toˇ ck (angl. landmark detection) [12] in aktivnih modelov videza (angl. Active Appearance Models) [13] so se procesi deidentifikacije obrazov osredotoˇ cili zgolj na oˇ zje podroˇ cje obraza. Kljub razvoju, tudi ti pristopi niso reˇ sili vseh problemov, saj se na tem podroˇ cju ˇ se vedno pojavljajo zahteve po zagotavljanju zasebnosti [11], vzpostavljanju merljive zasebnosti [14], zagotavljanju ustrezne ravni uporabnosti podatkov [15], [16] ter sploˇ sne kakovosti obdelanih obraznih slik [17]. ˇ Ceprav se obstojeˇ ce tehnike deidentifikacije, ki teme- ljijo na globokem uˇ cenju, pogosto ponaˇ sajo z impresivno uˇ cinkovitostjo, so v nekaterih vidikih ˇ se vedno omejene, saj: (i) se v procesu obiˇ cajno osredotoˇ cajo le na oˇ zje obmoˇ cje obraza (ki ustreza zamenjavi obraza), kar lahko vodi do (potencialno) neoptimalnih rezultatov deidenti- fikacije v obliki nedotaknjene vsebine, bogate z rele- vantnimi informacijami (npr. oblika ali barva las, oblika obraza, uhljev ipd.), (ii) dosegajo fiksen in vnaprej doloˇ cen kompromis med zagotovljeno zaˇ sˇ cito zaseb- nosti, ohranitvijo uporabnosti in raznolikostjo, medtem ko pogosto pridelajo vizualne artefakte, ki vplivajo na naravni videz deidentificiranih podatkov, ter (iii) ne uporabljajo dodatnih mehanizmov za nadzor ciljne ravni ohranjene zasebnosti pri deidentifikaciji. Da bi odpravili te omejitve, v tem prispevku pred- stavljamo novo, najsodobnejˇ so reˇ sitev za deidentifika- cijo obrazov z doseganjem nadzorovane ravni zaˇ sˇ cite zasebnosti obraza, ki ponuja prilagodljiv kompromis med ohranjanjem uporabnosti podatkov in zaˇ sˇ cito za- sebnosti ter ustvarja raznolike in visokokakovostne slike v smislu naravnosti in realizma, kot je prikazano v primerih na sliki 1. Naˇ sa reˇ sitev temelji na tehniki inverzije GAN [18] in uporablja namenski postopek optimizacije, uporabljen v latentnem prostoru zmoglji- vega modela StyleGAN2 [19]. Za nadzor postopka op- timizacije uvajamo novo veˇ c-ciljno izgubno funkcijo (angl. multi-objective loss function), ki se uporablja za skupno optimizacijo semantike na sliki, kar vkljuˇ cuje kontekstualne kriterije za zatiranje obrazne identitete ter ohranjanje uporabnosti atributov (tj. spola in obrazne mimike v naˇ sih ˇ studijah primerov). Te kriterije kombini- ramo s preostalimi pogoji izgubne funkcije za izdelavo visokokakovostnih deidentificiranih obraznih slik. V na- sprotju z obstojeˇ cimi modeli naˇ sa zasnovana kriterij- ska funkcija generativnemu modelu omogoˇ ca, da vzpo- stavi ravnoteˇ zje med razliˇ cnimi zahtevami, kljuˇ cnimi za postopek deidentifikacije, ki vkljuˇ cujejo: zakrivanje identitete, ohranjanje uporabnosti podatkov, raznolikost obrazov in realistiˇ cen videz. Predlagano reˇ sitev temeljito ovrednotimo z raznovrstnimi nabori podatkov s slikami obrazov (kar vkljuˇ cuje nabore slikovnih baz, zajetih v studiu in v naravnem okolju) in jo primerjamo s konkurenˇ cnimi metodami, pri tem pa pridobimo zelo spodbudne rezultate. 2 ALGORITEM CPP-DEID Sploˇ sno uporaben deidentifikacijski algoritem za zaˇ sˇ cito zasebnosti bi moral zagotoviti prilagodljive ravni zaˇ sˇ cite za deidentifikacijo podob obraza za nadzor kompromisa med ohranjeno zasebnostjo in uporabnostjo obrazne slike. Naˇ s glavni prispevek v tem poglavju je nova tehnika deidentifikacije obraza, ki izpolnjuje te zahteve. Tehnika uporablja postopek optimizacije v latentnem prostoru generatorja StyleGAN2 za nadzor kompromisa med razliˇ cnimi vidiki procesa deidentifikacije. Osrednja ideja predlaganega pristopa za deidentifikacijo obrazov z nadzorovano zaˇ sˇ cito zasebnosti (angl. Controllable Privacy Protection DeIdentification; CPP-DeID) je pri- kazana na sliki 2. DEIDENTIFIKACIJA OBRAZOV Z GENERATIVNIMI MODELI 3 PX Latentna napaka 18 x (1 x 512) E latentni vektor w t w t (1) w t (2) w t ( 3) w t (18) G w t Identiteta GD EX Obrazni izraz Spol Kriteriji ID PP Napaka na sliki LT pp - parameter zasebnosti v kriteriju za ID ciljna slika I t deident. rezultat D t posamezna iteracija i ID ID EX EX GD GD PX PX LT LT LT pp w t w i kriteriji na nivoju slike latentni kriterij G N iteracij Slika 2: Osnovna ideja predlaganega postopka deidentifikacije CPP-DeID. Vhodna slika It je najprej kodirana v razˇ sirjeni latentni prostorW + prednauˇ cenega modela StyleGAN2 kotwt, kjer jeE model za kodiranje (kodirnik) inG generativni model StyleGAN2 (generator). Latentna koda wt je zatem optimizirana prek veˇ c kriterijev (t.j. kriterijska funkcija identitete LID , kriterij za izraz obrazaLEX , kriterij atributa spolaLGD , rekonstrukcijski kriterijLPX in latentni kriterij oz. kriterij v prikritem prostoru LLT ). Kriteriji se izraˇ cunajo na razliˇ cnih interpretacijah vhodne in izhodne slike. Skupek kriterijev se optimizira v N iteracijah (do konvergence), rezultat pa je nadzorovana vizualna sprememba obraza iz vhodne slike It. Hkrati je kriterijska funkcija za identiteto dodatno opremljena z nastavljivim parametrom zasebnosti pp, ki omogoˇ ca natanˇ cen nadzor nad koliˇ cino ohranjene identitete v deidentificiranih izhodnih slikah. Predlagani algoritem deluje v dveh korakih, kar za- jema (i) korak predprocesiranja in (ii) korak optimiza- cije (deidentifikacije). V koraku predprocesiranja se na vhodni sliki najprej izvede postopek zaznavanja obraza, sledijo poravnava, obrezovanje in projekcija v latentni prostor StyleGAN. Rezultat tega koraka je latentna predstavitev (ali prikrita koda), ki ustreza vhodni sliki obraza. V drugem koraku (fazi deidentifikacije) se nad pridobljeno latentno kodo izvede postopek optimizacije za doloˇ ceno ˇ stevilo iteracij N, nato pa se optimizirana latentna koda ponovno pretvori nazaj v slikovni prostor prek generatorja StyleGAN. Optimizacija slike je pogojena z razliˇ cnimi krite- riji (implementiranimi z odvedljivimi modeli globokega uˇ cenja), ki poskuˇ sajo odstraniti ali ohraniti doloˇ cene vizualne znaˇ cilnosti na izvorni sliki. Kriterij, ki se osre- dotoˇ ca na zatiranje identitete, usmerja postopek optimi- zacije k odstranitvi informacij o identiteti iz obstojeˇ ce latentne kode. Kriteriji za ohranjanje podatkov si na podoben naˇ cin prizadevajo ohraniti doloˇ cene obrazne atribute v tej latentni reprezentaciji (v naˇ sem primeru izraz na obrazu in atribut spola, vendar je mogoˇ ce dodati ˇ se druge atribute). Naˇ steti kriteriji so hkrati dodatno podprti s sploˇ sno namenskimi kriteriji za ohranjanje semantiˇ cne vsebine, ki ocenjujejo podobnost med iz- vorno in izdelano sliko na nivoju slikovnih pik in na nivoju latentnega prostora, da se ohrani ˇ cim veˇ c sploˇ sne semantike iz izvorne slike. 2.1 Predprocesiranje V koraku predprocesiranja je podana ciljna slika I t najprej poravnana, obrezana in nato kodirana v razˇ sirjeni latentni prostor StyleGAN2 W + [20] z uporabo pred- hodno usposobljenega kodirnika za urejanje slik (E4E), ki sta ga predlagala Tov in Alaluf [21], [22]. Z uporabo kodirnika E4E kot E lahko postopek kodiranja slike v latentno reprezentacijo opiˇ semo na naslednji naˇ cin: w t =E(I t );w t ∈ R 18× 512 , kjer je w t ustvarjena latentna koda/predstavitev, ki ustrezaI t . Ustvarjeni latentni vektorw t se nato uporabi poleg poravnane in obrezane ciljne slike I t v drugi (optimizacijski) fazi algoritma CPP-DeID. 2.2 Optimizacija V tem koraku optimizacije poskuˇ sa CPP-DeID op- timizirati veˇ c delno kriterijsko funkcijo za izdelavo 4 MEDEN deidentificiranih slik naravnega videza. Vhod v postopek optimizacije predstavljata slika I t in njej pripadajoˇ ca latentna kodaw t . Celotna kriterijska funkcija, ki se med postopkom deidentifikacije optimizira za vsako vhodno sliko posebej, je definirana kot linearna kombinacija kriterijev naslednje oblike: L=L PX +λ LT ·L LT +λ ID ·L ID + +λ GD ·L GD +λ EX ·L EX , (1) kjer so λ LT ,λ ID ,λ GD in λ EX izravnalne uteˇ zi. Kot je razvidno, je cilj optimizacije sestavljen iz veˇ c kriterijev, namenjenih nadzoru razliˇ cnih semantiˇ cnih vidikov, ki so kljuˇ cni v procesu deidentifikacije. Kriterij na ravni slike (L PX ) spodbuja postopek optimizacije, da obdrˇ zi/ohrani ˇ cim veˇ c izvirne semantike slike. Cilj tega kriterija je opredeljen kot povpreˇ cna kvadratna napaka (MSE) med vhodno sliko I t in sliko I g , ustvarjeno iz latentne kode w (g) t v trenutni iteraciji optimizacije (I g =G(w (g) t )), tako da velja: L PX (I t ,I g )= 1 n PX X (x,y ) (I t (x,y)− I g (x,y)) 2 , (2) kjer (x,y) predstavljajo koordinate slike in n PX oznaˇ cuje skupno ˇ stevilo slikovnih pik v I t . Z enako mero napake (MSE) je definiran tudi kriterij na ravni latentnega prostora (L LT ), le da se ta izvede na nivoju latentnih reprezentacij. Kriterij za zatiranje identitete (L ID ) predstavlja glavno komponento postopka optimizacije za deidenti- fikacijo. Cilj te omejitve je maksimirati razdaljo med identitetnimi znaˇ cilkamif t vhodne slikeI t in znaˇ cilkami f g generirane slike I g = G(w ∗ t ), ustvarjene v trenu- tni iteraciji optimizacijskega postopka. Za pridobivanje (luˇ sˇ cenje) znaˇ cilk identitete uporabimo izhod zadnje plasti najsodobnejˇ sega modela za razpoznavo obrazov ArcFaceψ (na podlagi hrbteniˇ cne arhitekture ResNet50 in uˇ cne baze MS1M-V2), tako da je f t = ψ (I t ) in f g = ψ (I g ). Poleg tega ta kriterij vkljuˇ cuje parameter zasebnosti pp∈ [0,1], ki nam definira interval moˇ znih ciljnih razdalj med znaˇ cilkami. ˇ Ce je na primer pp = 0.9, cilj optimizacije konvergira k podobnosti identitete blizu 0.9 med vhodno in deidentificirano sliko. Za CPP- DeID definiramo kriterijL ID kot sledi: L ID (f t ,f g ,pp)= pp− 1 n ID X (f t (i)− f g (i)) 2 2 ; { f t ,f g }∈ R 512 , (3) kjer je n ID dimenzionalnost pridobljenih znaˇ cilk iden- titete obraza iz modela ArcFace. Nazadnje, za uveljavitev ciljno usmerjenega ohranja- nja uporabnosti za doloˇ cene atribute uporabljamo doda- tna kriterija ohranjanja uporabnosti. Medtem ko je dodatne kriterije mogoˇ ce opredeliti na poljuben naˇ cin, odvisno od ˇ zelenih atributov, ki jih je treba ohranjati v deidentificiranih slikah D t , pri pristopu upoˇ stevamo atribut spola in izraz obraza, da prikaˇ zemo ohranjanje obraznih znaˇ cilnosti pri uporabi algoritma CPP-DeID. Za uresniˇ citev ciljnih kriterijev optimizacije za ohranja- nje spola in izraza na obrazu uporabljamo dva dodatna (odvedljiva) klasifikatorja,ρ in κ , da izluˇ sˇ cimo atributa spola g t = ρ (I g ) in obraznega izraza e t = κ (I g ), ki temeljita na arhitekturah Resnet18 [23] in DAN [24]. Pridobljene znaˇ cilke spola in izraza iz modelovρ inκ (g t ,g g za spol,e t ,e g za izraz) uporabimo, da definiramo dva kriterija za ohranjanje uporabnosti,L GD inL EX : L GD (g t ,g g )= 1 n G n G X i=0 (g t (i)− g g (i)) 2 ; { g t ,g g }∈ R 512 , (4) L EX (e t ,e g )= 1 n E n E X i=0 (e t (i)− e g (i)) 2 ; { e t ,e g }∈ R 7× 7× 512 , (5) kjern G inn E pomenita ˇ stevilo elementov v predstavitvi spola oziroma izraza. Uteˇ zi v enaˇ cbi (1), λ LT , λ ID , λ GD , λ EX , definirajo pomembnost optimizacijskih kriterijev, ki spreminjajo identiteto, spol in izraz obraza. Med fazo umerjanja pristopa CPP-DeID so bile opredeljene kot λ LT = 0.0016, λ ID =2.5, λ GD =0.01, λ EX =0.01. 3 REZULTATI V prvi seriji poskusov smo raziskali uˇ cinkovitost de- identifikacije CPP-DeID s poskusi verifikacije obrazov z uporabo prepoznavalnega modela VGG-Face [25]. Rezultati so pridobljeni na testnem delu slikovne baze Celeba-HQ [26], na podlagi katere smo pridobili 11 deidentificiranih mnoˇ zic slik z razliˇ cnimi ravnmi zaˇ sˇ cite zasebnosti. Z modelom VGG-Face smo na podlagi dei- dentificiranih mnoˇ zic pridobili mere podobnosti, ki smo jih nato prikazali z izraˇ cunom povpreˇ cnih performanˇ cnih krivulj (ROC) in ustreznih intervalov zaupanja. Da bi poroˇ cane rezultate predstavili v perspektivi, smo na enak naˇ cin izvedli tudi deidentifikacijo s 7 konkurenˇ cnimi pristopi deidentifikacije, ki sluˇ zijo kot izhodiˇ sˇ cni al- goritmi (angl. baseline algorithms) za naˇ se poskuse, kar vkljuˇ cuje AMT-GAN [27], CIAGAN [28], CLEA- NIR [29], reˇ sitev Croft et al. [30], DeepPrivacy [31], tehniko Ren et al. [32] in naˇ s predhodno predlagani pri- stop k-Same-Net [33]. Na levi strani slike 3 je mogoˇ ce opaziti, da uˇ cinkovitost razpoznavanja ob uporabi CPP- DeID pada v skladu s parametrom zasebnostipp, ˇ ceprav poslabˇ sanje zmogljivosti ni povsem linearno odvisno od pp. Iz ustvarjenih rezultatov na desni strani slike 3 vidimo, da preostali modeli zagotavljajo razliˇ cne zmo- gljivosti, vendar imajo omejeno sposobnost nadzora nad DEIDENTIFIKACIJA OBRAZOV Z GENERATIVNIMI MODELI 5 Stopnja lažnega sprejemanja (FAR) Stopnja lažnega sprejemanja (FAR) validacija Slika 3: Verifikacijski eksperimenti na testni particiji baze slik Celeba-HQ v obliki krivulj ROC, pridobljenih z raz- poznavalnim modelom VGG-Face. Rezultati so prikazani za naˇ s predlagani pristop CPP-DeID z nastavljivim parametrom zasebnosti pp (zgoraj) in kompetitivnimi algoritmi (spodaj). ohranjeno koliˇ cino podatkov o identiteti, ki se odstranijo iz vhodnih slik. Vrednotenje ravnovesja zasebnost-uporabnost- realizem-raznolikost Rezultati vrednotenja ravnovesja so povzeti na sliki 4, ki povzame celovito primerjavo med CPP-DeID in konkurenˇ cnimi algoritmi na naborih slikovnih baz XM2VTS, RaFD in Celeba-HQ [34], [35], [26]. Radarski grafikoni oznaˇ cujejo preizkuˇ sene tehnike z uporabo razliˇ cnih meril uspeˇ snosti, vkljuˇ cno z natanˇ cnostjo prepoznavanja spola (GD↑ ), natanˇ cnostjo prepoznavanja izraza (EX↑ ), povpreˇ cno kvadratno napako (MSE↓ ), mero za uspeˇ snost deidentifikacije (DEID↑ ) in mero za merjenje raznolikosti obrazov (DIV↑ ) – glejte [36] za definicijo mere DEID in DIV . Pri tem opazimo, da algoritem CPP-DeID ustvari najbolj uravnoveˇ sen kompromis med razliˇ cnimi vidiki procesa deidentifikacije, hkrati pa lahko raven zaˇ sˇ cite zasebnosti nadzoruje s parametrom pp. Kvalitativno vrednotenje Rezultati kvalitativnega vre- dnotenja na bazi slik RaFD [35] so predstavljeni na sliki 5. Kot je razvidno, preizkuˇ sene tehnike zagota- vljajo razliˇ cne stopnje realizma slike, zaˇ sˇ cite identi- tete, ohranjanja uporabnosti podatkov in variabilnosti nadomeˇ sˇ cenega predela obraza na generiranih obraznih slikah. Opazimo lahko, da CPP-DeID kaˇ ze zaˇ zelene znaˇ cilnosti ter da parameter zasebnosti pp konkretno vpliva na videz deidentificiranih slik na priˇ cakovan naˇ cin. 4 ZAKLJU ˇ CEK V prispevku smo povzeli razvoj optimizacijskega algo- ritma za anonimizacijo obraznih slik v visoki kakovo- sti (angl. Controllable Privacy Protection Deidentifica- tion, CPP-DeID), ki omogoˇ ca parametriziran nadzor nad koliˇ cino zagotovljene zaˇ sˇ cite zasebnosti. Pri tej reˇ sitvi lahko konˇ cni uporabnik prek normaliziranega parametra doloˇ ci raven zaˇ sˇ cite zasebnosti, ki je neposredno ve- zana na obrazno identiteto, hkrati pa naˇ sa optimizacija zagotavlja upravljanje kompromisa med ˇ zeleno zaˇ sˇ cito identitete in ohranjeno uporabnostjo podatkov iz izvorne slike. Kakovost izhodne slike, ki jo proizvede naˇ s gene- rativni algoritem je zagotovljena z uvajanjem dodatnih omejitev v procesu optimizacije vhodne slike. Omejitve so v predlaganem postopku implementirane kot dodatni kriteriji pri optimizaciji prek ciljno usmerjenih globo- kih modelov uˇ cenja ali pa ciljno usmerjenih metrik za zaznavanje slikovne kakovosti. LITERATURA [1] S. D. Warren and L. D. Brandeis, “The right to privacy,” Harvard Law Review, vol. 4, no. 5, pp. 193–220, 1890. [2] A. Luk´ acs, “What is privacy? the history and definition of privacy,” 2016. [3] A. Acquisti, L. Brandimarte, and G. Loewenstein, “Privacy and human behavior in the age of information,” Science, vol. 347, no. 6221, pp. 509–514, 2015. [4] J. D. Woodward, “Biometrics: Privacy’s foe or privacy’s friend?,” Proceedings of the IEEE, vol. 85, no. 9, pp. 1480–1492, 1997. [5] E. McCallister, Guide to protecting the confidentiality of perso- nally identifiable information, vol. 800. Diane Publishing, 2010. [6] R. Gross, L. Sweeney, J. Cohn, F. De la Torre, and S. Baker, “Face de-identification,” in Protecting privacy in video surveil- lance, pp. 129–146, Springer, 2009. [7] S. L. Garfinkel, “De-identification of personal information,” NIST-Technology Internal Report, vol. 8053, pp. 1–46, 2015. [8] S. Ribaric, A. Ariyaeeinia, and N. Pavesic, “De-identification for privacy protection in multimedia content: A survey,” Signal Processing: Image Communication, vol. 47, pp. 131 – 151, 2016. [9] J. Schiff, M. Meingast, D. K. Mulligan, S. Sastry, and K. Gold- berg, “Respectful cameras: detecting visual markers in real-time to address privacy concerns,” in International Conference on Intelligent Robots and Systems (IROS), pp. 971–978, 2007. [10] Q. A. Zhao and J. T. Stasko, “Evaluating image filtering based techniques in media space applications,” in ACM conference on Computer Supported Cooperative Work CSCW, pp. 11–18, 1998. 6 MEDEN CPP-DeID (pp=0.0): 76% CPP-DeID (pp=0.5): 57% CPP-DeID (pp=1.0): 31% Slika 4: Primerjava tehnik za deidentifikacijo obrazov z grafi v obliki radarja. Posamezna os prikazuje en indikator (oz. mero) zmogljivosti, kar vkljuˇ cuje mero (1-MSE), mero deidentifikacije (DEID), mero raznolikosti (DIV), natanˇ cnost ohranjanja izraza na obrazu (EX) in natanˇ cnost ohranjanja atributa spola (GD). Veˇ cja je obarvana povrˇ sina na posameznem grafu, boljˇ sa je sploˇ sna zmogljivost pripadajoˇ ce tehnike za deidentifikacijo obrazov. (h) CPP-DeID (pp=0.9) Ref. slika (i) CPP-DeID (pp=0.5) (j) CPP-DeID (pp=0.1) (e) Ren et al. (b) CIAGAN (a) AMT-GAN (c) CLEANIR (d) DeepPrivacy (f) Croft et al. (g) k-Same-Net Slika 5: Vizualna primerjava predlaganega algoritma CPP-DeID in preostalih algoritmov na bazi slik RaFD. Na primerjanih slikah je mogoˇ ce opaziti razliˇ cne ravni vkljuˇ cene zaˇ sˇ cite zasebnosti, obenem pa tudi razliˇ cne ravni ohranjanja obraznih atributov, vizualne podobnosti z izvornimi slikami ter sploˇ sne kakovosti sintetiziranih obraznih slik. [11] E. M. Newton, L. Sweeney, and B. Malin, “Preserving privacy by de-identifying face images,” IEEE Transactions on Knowledge and Data Engineering, vol. 17, no. 2, pp. 232–243, 2005. [12] S. Ren, X. Cao, Y . Wei, and J. Sun, “Face alignment at 3000 fps via regressing local binary features,” in Computer Vision and Pattern Recognition (CVPR), pp. 1685–1692, 2014. [13] A. Jourabloo, X. Yin, and X. Liu, “Attribute preserved face de- identification,” in International Conference on Biometrics (ICB), pp. 278–285, 2015. [14] M. Saini, P. K. Atrey, S. Mehrotra, S. Emmanuel, and M. Kan- kanhalli, “Privacy modeling for video data publication,” in Inter- national Conference on Multimedia and Expo (ICME), pp. 60– 65, 2010. [15] R. Gross, E. Airoldi, B. Malin, and L. Sweeney, “Integrating utility into face de-identification,” in International Conference on Privacy Enhancing Technologies (PETS), (Berlin, Heidelberg), pp. 227–242, 2006. [16] M. Elliot, A. Hundepool, E. S. Nordholt, J. Tambay, and T. Wende, “Glossary on statistical disclosure control,” Joint UNECE/Eurostat Work Session on Statistical Data Confidenti- ality, 2005. [17] Q. Sun, L. Ma, S. Joon Oh, L. Van Gool, B. Schiele, and M. Fritz, “Natural and effective obfuscation by head inpainting,” in Computer Vision and Pattern Recognition (CVPR), pp. 5050– 5059, 2018. [18] W. Xia, Y . Zhang, Y . Yang, J.-H. Xue, B. Zhou, and M.-H. Yang, “Gan inversion: A survey,” IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 2022. [19] T. Karras, S. Laine, M. Aittala, J. Hellsten, J. Lehtinen, and T. Aila, “Analyzing and improving the image quality of Style- GAN,” in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 8110–8119, 2020. [20] R. Abdal, Y . Qin, and P. Wonka, “Image2stylegan: How to embed images into the StyleGAN latent space?,” in Proceedings of IEEE International Conference on Computer Vision (ICCV), pp. 4432– 4441, 2019. DEIDENTIFIKACIJA OBRAZOV Z GENERATIVNIMI MODELI 7 [21] O. Tov, Y . Alaluf, Y . Nitzan, O. Patashnik, and D. Cohen-Or, “Designing an encoder for StyleGAN image manipulation,” ACM Transactions on Graphics (TOG), vol. 40, no. 4, pp. 1–14, 2021. [22] Y . Alaluf, O. Tov, R. Mokady, R. Gal, and A. Bermano, “Hyper- style: StyleGAN inversion with hypernetworks for real image editing,” in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 18511–18521, 2022. [23] K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770–778, 2016. [24] Z. Wen, W. Lin, T. Wang, and G. Xu, “Distract your attention: Multi-head cross attention network for facial expression recogni- tion,” arXiv:2109.07270, 2021. [25] O. M. Parkhi, A. Vedaldi, and A. Zisserman, “Deep face recogni- tion,” in Proceedings of the British Machine Vision Conference (BMVC), pp. 41.1–41.12, BMV A Press, September 2015. [26] C.-H. Lee, Z. Liu, L. Wu, and P. Luo, “Maskgan: Towards diverse and interactive facial image manipulation,” in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 5549–5558, 2020. [27] S. Hu, X. Liu, Y . Zhang, M. Li, L. Y . Zhang, H. Jin, and L. Wu, “Protecting facial privacy: Generating adversarial identity masks via style-robust makeup transfer,” in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 15014–15023, June 2022. [28] M. Maximov, I. Elezi, and L. Leal-Taix´ e, “CiaGAN: Conditio- nal identity anonymization generative adversarial networks,” in Computer Vision and Pattern Recognition (CVPR), pp. 5447– 5456, 2020. [29] D. Cho, J. H. Lee, and I. H. Suh, “CLEANIR: Controllable Attribute-Preserving Natural Identity Remover,” Applied Scien- ces, vol. 10, no. 3, p. 1120, 2020. [30] W. L. Croft, J.-R. Sack, and W. Shi, “Differentially private obfu- scation of facial images,” in Machine Learning and Knowledge Extraction, pp. 229–249, 2019. [31] H. Hukkel˚ as, R. Mester, and F. Lindseth, “Deepprivacy: A generative adversarial network for face anonymization,” arXiv:1909.04538, 2019. [32] Z. Ren, Y . J. Lee, and M. S. Ryoo, “Learning to anonymize faces for privacy preserving action detection,” in European Conference on Computer Vision (ECCV), pp. 620–636, 2018. [33] B. Meden, ˇ Z. Emerˇ siˇ c, V . ˇ Struc, and P. Peer, “k-same-net: k-anonymity with generative deep neural networks for face deidentification,” Entropy, vol. 20, no. 1, p. 60, 2018. [34] K. Messer, J. Kittler, M. Sadeghi, S. Marcel, C. Marcel, S. Ben- gio, F. Cardinaux, C. Sanderson, J. Czyz, L. Vandendorpe, S. Srisuk, M. Petrou, W. Kurutach, A. Kadyrov, R. Paredes, B. Kepenekci, F. B. Tek, G. B. Akar, F. Deravi, and N. Mavity, “Face Verification Competition on the XM2VTS Database,” in Audio- and Video-based Biometric Person Authentication (AV- BPA), pp. 964–974, 2003. [35] O. Langner, R. Dotsch, G. Bijlstra, D. Wigboldus, S. Hawk, and A. van Knippenberg, “Presentation and validation of the radboud faces database,” Cognition&Emotion, vol. 24, no. 8, pp. 1377– 1388, 2010. [36] P. Nousi, S. Papadopoulos, A. Tefas, and I. Pitas, “Deep auto- encoders for attribute preserving face de-identification,” Signal Processing: Image Communication, vol. 81, p. 115699, 2020. Dr. Blaˇ z Meden je asistent na Fakulteti za raˇ cunalniˇ stvo in informatiko Univerze v Ljubljani. Njegovi raziskovalni interesi vkljuˇ cujejo teme, kot so deidentifikacija obraza, generativni modeli, slikovna biometrija, globoko uˇ cenje in raˇ cunalniˇ ski vid. Leta 2023 je prejel nagrado EAB Biometrics Industry Award za svoje nedavno delo na podroˇ cju deidentifikacije obraza.