ERK'2022, Portorož, 394-397 394 Prototipi znaˇ cilk za adaptivno zaznavanje ovir na vodni povrˇ sini Lojze ˇ Zust, Matej Kristan Fakulteta za raˇ cunalniˇ stvo in informatiko, Univerza v Ljubljani, Veˇ cna pot 113, 1000 Ljubljana E-poˇ sta:{ lojze.zust, matej.kristan} @fri.uni-lj.si Feature Prototypes For Adaptive Maritime Obstacle Detection 1 Unmanned surface vehicles (USV) rely on robust percep- tion methods for obstacle detection. Current segmentation- based state-of-the-art methods lack the desired robust- ness and generalization capabilities required to adapt to new situations. To address this, we design WaSR-AD, a network with an explicit adaptation capability based on class prototypes. Initial prototypes are extracted during training and adapted during inference in an online fash- ion. The adapted prototypes are used to enrich the image features with additional adaptive context. Evaluation on the MODS benchmark reveals that such explicit adapta- tion of the prototypes significantly improves the detection performance, achieving 14% lower water segmentation error and 3.6% F1-score increase inside the critical 15m danger-zone area around the boat, with a negligible cost in inference time. 1 Uvod Avtonomna plovila so hitro razvijajoˇ ce raziskovalno po- droˇ cje in imajo velik potencial na podroˇ cju ˇ cezocean- skega transporta tovora, nadzora obalnega okolja in av- tomatskega pregledovanja umetnih konstrukcij. Njihova avtonomija je odvisna od zmoˇ znosti zaznavanja, ki je ˇ se posebej zahtevno v zamejenih okoljih, kot priobalne vode, marine, mestni kanali in reke. Tu je lahko videz plovne povrˇ sine (vode) zelo raznolik. Med drugim se na mirnih vodah pojavljajo zrcalni odsevi kopnega in ovir, barva in prosojnost vode se spreminjata z vremenom, pri plutju proti soncu pa je vidljivost zelo omejena, pojavljajo pa se odbleski na vodni povrˇ sini. Prav tako je tudi videz ovir zelo raznolik, v grobem pa jih obiˇ cajno razdelimo na statiˇ cne (npr. obala, pomoli) in dinamiˇ cne (npr. ˇ colni, plavalci, boje). Trenutno najboljˇ si pristopi za zaznavanje ovir na vo- dni povrˇ sini uporabljajo metode semantiˇ cne segmentacije na osnovi globokega uˇ cenja [1, 8], ki prek uˇ cnih primerov zajamejo znatno variacijo v videzu vode in ovir. ˇ Zal pa te metode ˇ se vedno ne dosegajo zahtevane izjemno visoke robustnosti in prilagodljivosti, ki sta potrebni za praktiˇ cne aplikacije avtonomnih ˇ colnov. 1 Ta projekt je bil finanˇ cno podprt s strani ARRS iz programa P2- 0214 in projekta J2-2506 Med učenjem Klasične metode Adaptivni prototipi Odločitvene meje Prototipi razredov Domenski zamik Uporaba na resničnih podatkih Adaptacija prototipov Slika 1: Med uˇ cenjem v prostoru znaˇ cilnic nastanejo odloˇ citvene meje (zgoraj levo). Pri uporabi na resniˇ cnih podatkih se lahko zaradi domenskega zamika porazdeli- tev znaˇ cilk znatno spremeni, kar vodi do slabih napovedi (zgoraj desno). Da bi naslovili ta problem, naˇ sa metoda med uˇ cenjem oceni prototipe posameznih razredov (spo- daj levo), med inferenco pa prototipe sproti adaptira, da se bolje prilegajo novi distribuciji znaˇ cilk (spodaj desno). Ena od teˇ zav, s katerimi se sooˇ cajo trenutne metode, je vrzel med uˇ cnimi scenariji in uporabo v resniˇ cnih sce- narijih. Uˇ cne slike lahko zajamejo le omejeno informa- cijo o moˇ znem videzu ovir in vode. Pogosto se zgodi, da opazovani podatki v resniˇ cnem svetu padejo izven opazo- vane uˇ cne porazdelitve ali pa se nekoliko razlikujejo za- radi sprememb pogojev, kar lahko vodi v slabo natanˇ cnost metod (glej Sliko 1). Metode za domensko adaptacijo skuˇ sajo ta problem reˇ sevati s poravnavo znaˇ cilk ciljne domene, za boljˇ se uje- manje z izvorno uˇ cno distribucijo znaˇ cilk [10]. Te me- tode med uˇ cenjem obiˇ cajno zahtevajo dostop do prime- rov ciljne domene, kar pa je pogosto nepraktiˇ cno za re- sniˇ cne scenarije, saj je zajemanje celotne moˇ zne variacije resniˇ cnega sveta praktiˇ cno neizvedljivo. Namesto tega ˇ zelimo, da bi bile metode sposobne sprotnega prilagaja- nja na nove situacije, tudi v ˇ casu napovedovanja, ne zgolj v postopku uˇ cenja. V tem delu ˇ zelimo narediti korak proti taki vrsti sprotne prilagodljivosti. V ta namen predstavljamo novo mreˇ zo za vodno do- meno WaSR-AD, ki izvaja segmentacijo na podlagi pro- totipov razredov z izraˇ cunom podobnosti med znaˇ cilkami 395 Modul podobnosti s prototipi (PSM) Prototipi razredov Podobnostne slike Značilke slike Značilke slike Značilke podobnosti res2 Vhodna slika (512x384x3) Napoved segmentacije (512x384x3) res3 Kodirnik Dekodirnik res4 res5 IMU maska PSM Kosinusna podobnost 1x1 Conv concat Slika 2: Arhitektura WaSR-AD (levo) z dodanim Modulom podobnosti s prototipi, oz. PSM (desno). PSM izraˇ cuna podobnosti med znaˇ cilkami slike in vsakim prototipom razreda, kar proizvede podobnostne slike. Le te dodatno zako- dira z uporabo1× 1 konvolucije, nastale znaˇ cilke pa zdruˇ zi z znaˇ cilkami originalne slike ter jih poˇ slje v dekodirnik. slike in prototipi razredov. Prototipe razreda ocenimo med uˇ cenjem, med inferenco pa jih lahko prilagajamo z upoˇ stevanjem napovedi modela, da se le-ti bolje pri- legajo opazovani porazdelitvi znaˇ cilk (glej Sliko 1). Ek- sperimentalna evalvacija kaˇ ze, da tako prilagajanje zna- tno izboljˇ sa natanˇ cnost zaznavanja ovir na testni mnoˇ zici MODS [3], zlasti znotraj kritiˇ cnega 15-metrskega nevar- nega obmoˇ cja neposredno pred ˇ colnom (+3,2 F1), hkrati pa ima zanemarljiv vpliv na ˇ cas izvajanja metode. 2 Sorodna dela 2.1 Zaznavanje ovir na vodi Za skupno obravnavo tako statiˇ cnih kot dinamiˇ cnih ovir v enotnem omreˇ zju novejˇ se metode [1, 11] predstavijo pro- blem zaznavanja ovir prek problema segmentacije ano- malij, kjer slikovne elemente slike pripiˇ semo enemu iz- med treh razredov: voda, nebo ali ovira. Vendar pa se zaradi zgoraj omenjenih specifik vodne domene metode sploˇ sne semantiˇ cne segmentacije, razvite za avtonomne avtomobile, ne prenesejo dobro v vodno domeno [4, 2, 3], kljub nedavnemu poveˇ canju ˇ stevila zbirk podatkov za po- morsko segmentacijo [2, 8, 7]. Zaradi tega je bilo v za- dnjih letih predstavljenih veˇ c novih arhitektur in modi- fikacij [1, 7, 12, 13], ki zmanjˇ sujejo vrzel med dome- nama avtonomnih vozil in plovil. Ti pristopi dosegajo obetavne rezultate na testnih zbirkah zaznavanja ovir v vodni domeni [3], vendar ˇ se vedno obstaja veˇ c teˇ zav, ki prepreˇ cujejo uporabo zaznavanja ovir v resniˇ cnih situa- cijah. Metodam manjka predvsem robustnosti na nove situacije in nove variacije ovir. 2.2 Prototipi znaˇ cilk Prototipi znaˇ cilk so preprost naˇ cin za opis skupkov po- datkovnih toˇ ck v prostoru znaˇ cilk. Iz tega razloga se po- gosto uporabljajo pri problemih, kjer je podana informa- cija zelo omejena, kot je na primer segmentacija z nekaj primeri (angl. few-shot segmentation) [9, 6]. Te metode iz majhnega ˇ stevila primerov izloˇ cijo prototipe razredov, ki se nato uporabijo za napovedovanje segmentacije pre- ostalih slik prek raˇ cunanja podobnosti med znaˇ cilkami slike in prototipi razreda. Podoben pristop je bil upo- rabljen tudi za shranjevanje prototipov znaˇ cilk celotne zbirke podatkov [5], kar eksplicitno zagotavlja kontekst znaˇ cilk, ki presega zgolj trenutno sliko, in poslediˇ cno iz- boljˇ sa uˇ cinkovitost standardnih metod semantiˇ cne segmen- tacije. Vsi ti pristopi nakazujejo moˇ c prototipov znaˇ cilk pri vnaˇ sanju dodatnega konteksta v napovedni proces mre- ˇ ze. V tem delu ˇ zelimo to idejo peljati ˇ se korak dlje. Pre- dlagamo postopek za sprotno prilagajanje nauˇ cenih pro- totipov med inferenco, kar omogoˇ ca spreminjanje konte- ksta prototipov na trenutno situacijo. 3 Adaptivna prototipna mreˇ za 3.1 Osnovna struktura Arhitektura WaSR-AD temelji na uveljavljenem modelu za segmentacijo ovir v vodni domeni WaSR [1] in sledi strukturi kodirnik-dekodirnik (glej Sliko 2). Kodirnik iz vhodne slikeX∈ R H× W× 3 najprej izloˇ ci visoko-nivojske znaˇ cilkeF∈ R H 8 × W 8 × C , kjer jeC ˇ stevilo kanalov znaˇ cilk. Visokonivojske znaˇ cilke nato vstopijo v modul podobno- sti s prototipi (poglavje 3.2), ki znaˇ cilkam slike doda kon- tekst iz adaptiranih prototipov razredovA prek raˇ cunanja podobnosti. Dobljene znaˇ cilkeF ′ ∈ R H 8 × W 8 × C zdruˇ zimo z originalnimi znaˇ cilkami slikeF ter jih posredujemo de- koderju, ki napove konˇ cno segmentacijo. 3.2 Modul podobnosti s prototipi Naloga modula podobnosti s prototipi (angl. Prototype Similarity Module - PSM) je, da v znaˇ cilke slike vnese kontekst iz prototipov. S tem poskrbimo, da so napo- vedi modela delno odvisne od prototipov razredov, ki jih ˇ zelimo prilagajati med inferenco. Za razredi najprej izra- ˇ cunamo kosinusno podobnost znaˇ cilk vF z adaptiranim prototipom razredaA i ∈ R C in dobimo sliko podobno- sti. Na lokacijix je slika podobnosti doloˇ cena kot S x i = F x · A i ∥ F x ∥∥ A i ∥ . (1) Nastale slike podobnosti S ∈ R H 8 × W 8 × M , kjer je M ˇ stevilo prototipov oz. razredov, poˇ sljemo skozi uˇ cljivo 396 1× 1 konvolucijo, da se uskladimo ˇ stevilo kanalov z ori- ginalnimi znaˇ cilkami slike F in dobimo znaˇ cilke F ′ ∈ R H 8 × W 8 × C . S tem uravnoteˇ zimo prispevek originalnih znaˇ cilk in znaˇ cilk, ki smo jih pogojili z adaptivnimi pro- totipi. Znaˇ cilkeF inF ′ spnemo po kanalih in jih posre- dujemo dekoderju. 3.3 Izbor prototipov razredov Med postopkom uˇ cenja ˇ zelimo na podlagi celotne zbirke podatkov ˇ cim bolje oceniti prototipe razredovP, ki bodo uporabljeni kot izhodiˇ sˇ ce za adaptivne prototipe pri infe- renci. Enostaven naˇ cin za doloˇ canje prototipov iz podat- kov je izraˇ cun povpreˇ cne znaˇ cilke vseh pikslov v zbirki podatkov, ki pripadajo doloˇ cenemu razredu. Toda tega pristopa ne moremo direktno uporabiti, saj za pravilno uˇ cenje dekodirnika ˇ ze v postopku uˇ cenja potrebujemo pro- totipe, le-ti pa so prav tako odvisni od kodirnika, ki se med uˇ cenjem spreminja. Zaradi tega med postopkom uˇ cenja za ocenjevanje prototipovP uporabimo naslednjo sprotno metodo. V uˇ cnem korakut najprej izraˇ cunamo povpreˇ cno zna- ˇ cilko p t,i za vsak razred i iz trenutnega uˇ cnega paketa. Nato globalne prototipeP posodobimo z uporabo ekspo- nentnega drseˇ cega povpreˇ cja (angl. exponential moving average - EMA) P t =α p t +(1− α )P t− 1 , (2) kjer jeP t− 1 prejˇ snja globalna ocena prototipov razredov inα faktor glajenja. Na koncu postopka uˇ cenja dobimo konˇ cno oceno prototipov razredovP, ki jih uporabimo za osnovo adaptivnih prototipov med inferenco. 3.4 Adaptacija prototipov razredov Med inferenco segmentacijske oznake niso na voljo. Na- mesto tega prototipe ocenimo z uporabo postopka gru- ˇ cenja, ki temelji na metodi K povpreˇ cij in izmenjuje na- slednja dva koraka: (i) korekcija prototipov na podlagi napovedane segmentacije, in (ii) napovedovanje segmen- tacije na podlagi izboljˇ sanih prototipov. V praksi loˇ ceno sledimo mnoˇ zici adaptiranih prototi- pova, ki jih na zaˇ cetku posnetka inicializiramo iz med- uˇ cenjem-ocenjenih prototipov (a 0 = P). Nato lahko za opazovano sliko v koraku inference t ocenimo ustrezne predvidene prototipe ˆ p t kot uteˇ zeno povpreˇ cje znaˇ cilk slike ˆ p t,i = P ˆy t,i F t P ˆy t,i , (3) kjer za uteˇ z uporabimo napovedano verjetnost razredaˆy t,i in kjer so F t znaˇ cilke slike na koraku t. Z ocenjenimi prototipi lahko posodbimo adaptirane prototipe z uporabo eksponentnega drseˇ cega povpreˇ cja a t =α a ˆ p t +(1− α a )a t− 1 , (4) kjer je α a faktor glajenja. Da prepreˇ cimo, da bi se pri- lagodljivi prototipi preveˇ c oddaljili od izhodiˇ sˇ ca P, iz- razimo konˇ cne adaptirane prototipe kot uteˇ zeno kombi- nacijo izhodiˇ sˇ cnih prototipov P in trenutnih adaptivnih prototipova t A t+1 =β a t +(1− β )P, (5) I n p u t I m a g e W a S R W a S R - A D Slika 3: Kvalitativna primerjava WaSR in WaSR-AD. Adaptivna mreˇ za WaSR-AD je bolj robustna na odseve in raznolike vremenske pogoje (npr. megla). kjerβ doloˇ ca moˇ c prilagajanja. ˇ Ce jeβ = 0, se adapta- cija ne izvaja in bodo med sklepanjem uporabljeni samo izhodiˇ sˇ cni prototipiP. ˇ Ce pa jeβ = 1, prilagajanja pro- totipov ne omejujemo. 4 Eksperimenti 4.1 Podrobnosti implementacije WaSR-AD izhaja iz arhitekture WaSR [1] in za kodirnik uporablja ResNet-101. Da ohranimo strukturo dekodir- nika ˇ cim bolj nedotaknjeno, na konec enkoderja dodamo dodaten projekcijski sloj (1× 1 konvolucija), ki prepolovi ˇ stevilo kanalov znaˇ cilk. Tako se po zdruˇ zevanju znaˇ cilk F inF ′ v PSM ˇ stevilo kanalov ujema s priˇ cakovanji de- kodirnika. Tudi pri postopku uˇ cenja smo sledili WaSR, s cenilno funkcijo loˇ cevanja vode, hiperparametri, optimizacijsko metodo, spreminjanjem hitrosti uˇ cenja in bogatenjem po- datkov. WaSR-AD smo uˇ cili 50 epoh na NVIDIA RTX 2080Ti z velikostjo paketa 4. Med uˇ cenjem je bila adap- tacija onemogoˇ cena (β = 0). Parametre EMA pa smo nastavili naα =α a =0,9. Vse modele v eksperimentih smo uˇ cili na zbirki MaSTr1325 [2]. 4.2 Postopek evalvacije WaSR-AD smo evalvirali na testni mnoˇ zici MODS [3] za detekcijo ovir za avtonomna plovila. MODS vsebuje pri- bliˇ zno 100 oznaˇ cenih sekvenc, ki so bile zajete v razliˇ cnih pogojih. Sledimo evalvacijskemu protokolu MODS [3], ki vrednoti aspekte segmentacije, ki so pomembni za pra- ktiˇ cno navigacijo USV , in loˇ ceno ocenjuje natanˇ cnost de- tekcije meje med statiˇ cnimi ovirami in vodo (t.j. vo- dni rob) in detekcijo dinamiˇ cnih ovir. Napaka segmen- tacije roba vode (µ ) se izraˇ cuna kot povpreˇ cna kvadra- tna napaka (razdalja) med ocenjenim robom in pravim robom, medtem ko se detekcija dinamiˇ cnih ovir ovre- dnoti prek ˇ stevila resniˇ cno pozitivnih (TP), laˇ zno pozi- 397 Tabela 1: Rezultati na testni mnoˇ zici MODS za detekcijo ovir na vodi, merjeni v natanˇ cnosti segmentacije vodnega roba (µ ) in F1 natanˇ cnosti detekcije ovir (skupaj in v ne- varnem obmoˇ cju). Parameterβ doloˇ ca moˇ c adaptacije. µ F1 F1 d FPS WaSR 15.2 93.5 87.6 4.4 WaSR-AD (β =0) 14.1 93.1 89.9 4.3 WaSR-AD (β =0.1) 13.0 93.9 90.8 4.3 tivnih (FP) in laˇ zno negativnih (FN) detekcij, kar povza- memo z oceno F1, natanˇ cnostjo (Pr) in priklicem (Re). Dinamiˇ cna ovira se ˇ steje kot pravilno zaznana (TP), ˇ ce je zadosten deleˇ z znotraj oˇ crtanega okvirja ovire segmen- tiran kot ovira (veˇ c kot 50%), v nasprotnem primeru pa se ovira ˇ steje kot nezaznana (FN). Napovedani skupki ovir izven oˇ crtanih okvirjev pa se ˇ stejejo za laˇ zno pozi- tivne zaznave (FP). Uˇ cinkovitost zaznavanja poroˇ camo po celotnem plovnem obmoˇ cju ter loˇ ceno znotraj 15 m nevarnega obmoˇ cja od USV , kjer je zmogljivost detek- cije kritiˇ cna za prepreˇ cevanje trkov. 4.3 Evalvacija na MODS Rezultati evalvacije na MODS so predstavljeni v Tabeli 1. WaSR-AD ˇ ze z uporabo zgolj izhodiˇ sˇ cnih prototipov ra- zreda nauˇ cenih med postopkom uˇ cenja (brez adaptacije, β = 0) zmanjˇ sa napako segmentacije vodnega roba za 1,1 toˇ cke in izboljˇ sa rezultat detekcije F1 znotraj nevar- nega obmoˇ cja za 2,3 toˇ cke, vendar pa doseˇ ze 0,4 toˇ cke slabˇ se rezultate v skupni oceni F1. Rezultat nakazuje, da ˇ ze eksplicitna ekstrakcija prototipov razredov iz uˇ cne mnoˇ zice vnaˇ sa ˇ sirˇ si kontekst pri odloˇ citvenem procesu in koristi generalizaciji modela, tudi brez prilagajanja, po- dobno kot je bilo pokazano v [5]. Vkljuˇ citev sprotne adaptacije prototipov razreda med inferenco (β = 0,1) ˇ se znatno poveˇ ca natanˇ cnost detek- cije in segmentacije po vseh metrikah (dodatno zmanjˇ sa- njeµ za 1,1, +0,8 skupen F1 in +0,9 F1 znotraj nevarnega obmoˇ cja). Kvalitativni rezultati na Sliki 3 kaˇ zejo, da iz- boljˇ save adaptivne mreˇ ze izvirajo predvsem iz zmanjˇ sanja ˇ stevila laˇ zno pozitivnih detekcij na svetlih odbleskih in v prizorih z veliko megle, ki jih mreˇ za ni videla med po- stopkom uˇ cenja. Za praktiˇ cno uporabo metod za detekcijo vodnih ovir je zelo pomembna tudi hitrost izvajanja. V ta namen primerjamo hitrost izvajanja metod WaSR in WaSR-AD, ki jo merimo v ˇ stevilu obdelanih slik v sekundi (FPS). Meritve hitrosti smo izvedli na osebnem raˇ cunalniku z grafiˇ cno kartico NVIDIA GTX 1660 Ti. Zaradi razme- roma preproste strukture predlaganega PSM modula in enostavnega koraka adaptacije prototipov ugotavljamo, da ima adaptacija zanemarljiv vpliv na hitrost sklepanja. 5 Zakljuˇ cek Predstavili smo WaSR-AD, adaptivno metodo detekcijo ovir v vodni domeni z uporabo prototipov razredov. ˇ Ze brez prilagajanja ekstrakcija prototipov razredov WaSR- AD izboljˇ sa natanˇ cnost zaznavanja na MODS. Poleg tega smo pokazali, da lahko zelo preprosta shema adaptacije prototipov v nekaterih primerih izboljˇ sa generalizacijo in sposobnost zaznavanja. Potrebne so nadaljnje raziskave glede vpliva moˇ ci ad- aptacije (β ) na zmogljivost modela. Poleg tega naˇ se ne- davno delo [12] nakazuje, da je za natanˇ cno zajemanje variacije razreda ovir potrebnih veˇ c prototipov. V naˇ sem nadaljnjem delu se bomo zato posvetili uporabi veˇ cih pro- totipov za posamezen razred in naprednejˇ semu adaptacij- skemu postopku z uporabo transformerjev. Literatura [1] Borja Bovcon and Matej Kristan. WaSR–A Water Segmentation and Refinement Maritime Obstacle Detection Network. IEEE Transactions on Cybernetics, pages 1–14, July 2021. [2] Borja Bovcon, Jon Muhoviˇ c, Janez Perˇ s, and Matej Kristan. The MaSTr1325 dataset for training deep USV obstacle detection mo- dels. In 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 3431–3438, 2019. [3] Borja Bovcon, Jon Muhoviˇ c, Duˇ sko Vranac, Dean Mozetiˇ c, Janez Perˇ s, and Matej Kristan. MODS – A USV-oriented object detec- tion and obstacle segmentation benchmark. IEEE Transactions on Intelligent Transportation Systems, May 2021. [4] Tom Cane and James Ferryman. Evaluating deep semantic se- gmentation networks for object detection in maritime surveil- lance. In Proceedings of AVSS 2018 - 2018 15th IEEE Interna- tional Conference on Advanced Video and Signal-Based Surveil- lance, 2019. [5] Zhenchao Jin, Tao Gong, Dongdong Yu, Qi Chu, Jian Wang, Changhu Wang, and Jie Shao. Mining Contextual Information Beyond Image for Semantic Segmentation. In ICCV 2021, Au- gust 2021. [6] Gen Li, Varun Jampani, Laura Sevilla-Lara, Deqing Sun, Jonghyun Kim, and Joongkyu Kim. Adaptive Prototype Learning and Allocation for Few-Shot Segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recogni- tion (CVPR), pages 8334–8343, April 2021. [7] Dalei Qiao, Guangzhong Liu, Wei Li, Taizhi Lyu, and Juan Zhang. Automated Full Scene Parsing for Marine ASVs Using Monocu- lar Vision. Journal of Intelligent & Robotic Systems, 104(2):1–20, 2022. [8] L. Steccanella, D. D. Bloisi, A. Castellini, and A. Farinelli. Water- line and obstacle detection in images from low-cost autonomous boats for environmental monitoring. Robotics and Autonomous Systems, 124, 2020. [9] Boyuand Yang, Changand Liu, Bohaoand Li, Jianbinand Jiao, and Qixiang Ye. Prototype Mixture Models for Few-Shot Semantic Segmentation. In European Conference on Computer Vision, pa- ges 763–778. Springer International Publishing, 2020. [10] Yanchao Yang and Stefano Soatto. FDA: Fourier domain adap- tation for semantic segmentation. In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pages 4084–4094. IEEE Computer Society, 2020. [11] L Yao, D Kanoulas, Z Ji, and Y Liu. ShorelineNet: An Effici- ent Deep Learning Approach for Shoreline Semantic Segmenta- tion for Unmanned Surface Vehicles. In Proceedings of the 2021 IEEE/RSJ International Conference on Intelligent Robots and Sy- stems (IROS), 2021. [12] Lojze ˇ Zust and Matej Kristan. Learning Maritime Obstacle De- tection from Weak Annotations by Scaffolding. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 955–964, January 2022. [13] Lojze ˇ Zust and Matej Kristan. Temporal Context for Robust Ma- ritime Obstacle Detection. In 2022 IEEE/RJS International Con- ference on Intelligent Robots and Systems (IROS), 2022.