o OD
ANALIZA PREFERENCNIH KART Z METODAMI ODKRIVANJA ZNANJA IZ PODATKOV
ANALYSIS OF PREFERENCE MAPS USING DATA MINING METHODS
Lidija Breskvar Žaucer, Blaž Zupan, Mojca Golobič
CN
UDK: 316.653:528.94:711
POVZETEK
Preferenčne karte omogočajo ljudem, da preprosto izrazijo stališča do prostorskega razvoja. Posamezniki neposredno na kartografsko podlogo zarišejo po njihovem primerna območja za izbrano dejavnost. Odločitev o območju je običajno intuitivna. Je rezultat njihove celostne zaznave prostora in iskanja prostorske rešitve. Za obrisi območij se tako skrivajo dragocene informacije in lokalno znanje. Da bi čim bolje izkoristili njihovo potencialno uporabnost pri načrtovanju posegov v prostor in hkrati zagotovili transparentnost postopkov, morajo biti te skrite informacije in znanje podani v eksplicitni obliki. Prispevek opisuje primer analize preferenčnih kart za občino Komenda, na katerih so občani označevali območja, ki se jim zdijo posebej dragocena taka, kot so, in bi jih zato ohranili. Da bi odkrili, zakaj so bila nekatera območja predlagana za ohranjanje, smo uporabili izbrane postopke odkrivanja znanja iz podatkov, s katerimi smo iskali povezave med preferenčnimi območji in prostorskimi značilnostmi. Odkrite zakonitosti so bile predstavljene v obliki odločitvenih pravil in nomograma. Interpretacija rezultatov prikazuje, da je v prispevku predlagana metodologija skupaj z eksplicitnimi odločitvenimi merili in pravili lahko primerna za nadaljnjo uporabo v prostorskem načrtovanju.
kljuČne besede
preferenčno kartiranje, sodelovanje javnosti, prostorsko načrtovanje, pridobivanje znanja, odkrivanje odločitvenih pravil
Klasifikacija prispevka po COBISS-u: 1.01
ABSTRACT
Preference maps allow people to express their opinions about future spatial development in a simple way; they mark the areas that they consider suitable for specific activities on a cartographic base map. The decision on the area is generally intuitive and reflects their views and preferences regarding the solution of spatial problems. In this way, preference maps may hold valuable information and convey hidden knowledge. To make the best of their potential usefulness in spatial planning and to contribute to the transparency of the process, these information and knowledge should be explicit and presented in an interpretable form. In this paper, we report on a case study of preference maps analysis for municipality Komenda in Slovenia, where residents marked areas they considered especially valuable and which should therefore be preserved. In an attempt to discover why specific areas were marked for protection, we used the selected data mining approaches to infer the relations between preferential annotations and spatial characteristics. The inferred patterns were reported in the form of decision rules and in the graphical form of a nomogram. Interpretation of results shows that the methodology proposed in this paper and the explicit decision criteria and rules extracted by data mining can be useful for further applicability in spatial planning.
KEY WORDS
preference mapping, public participation, land use planning, knowledge extraction, inference of decision making rules
1 UVOD
Družbeno sprejemljivost prostorsko načrtovalskih predlogov je v času, ko se povečujejo raznolikost in prepletenost interesov v prostoru ter demokratizacija odločanja, vedno teže doseči. Eden pomembnih korakov za njeno doseganje je pravočasna določitev ciljev, interesov in vrednostnih stališč ljudi do načrtovanih posegov (Webler et al., 2001). To je eno od vodilnih načel odločanja v moderni pluralistični družbi (Friedman, 1992). Cilje, interese in vrednostna stališča je mogoče vključiti v odprto usklajevanje z drugimi in iskanje kompromisnih prostorskih odločitev. Če je vse navedeno tudi čim bolj jasno in nedvoumno izraženo, lahko pričakujemo, da se učinkovitost usklajevanja še poveča (Janssen et al., 2006; Martin et al., 2000).
Vendar ljudje pri odločanju običajno uporabljajo hevrizem (Newell in Simon, 1972). Jankowski et al.(2001) trdi, da ljudje, ki se sicer ne ukvarjajo z načrtovanjem, večino odločitev sprejemajo »ad hoc«, brez formalnih analiz. Racionalno in eksplicitno izražanje lastnih interesov in podajanje vrednostnih stališč do načrtovanih posegov je zanje naporno. Zato je primerno dati lokalnim prebivalcem, ki sodelujejo v načrtovalskem postopku, priložnost, da izrazijo lastne interese in stališča v njim bolj znani obliki. Ena možnost je implicitno podajanje načrtovalskih predlogov z neposrednim zarisovanjem območij na kartografsko podlago.
Karte so tudi sicer v praksi prepoznane kot učinkovito orodje za preprosto in razumljivo komunikacijo med strokovnjaki in lokalnimi prebivalci (Ball, 2002; Carver, 2003; Jankowski et al., 2001; Polič et al., 2002; Soini, 2001). Z zarisovanjem predlogov imajo ljudje možnost, da enostavno izrazijo ne le svoje lastne želje in potrebe, temveč tudi lastno kreativnost. Njihove ideje so tako že kalibrirane z njihovim bogatim znanjem o prostoru, v katerem živijo (Carver, 2003; Jankowski et al., 2001). Vključitev lokalnega znanja, ki navadno ni dosegljivo v običajnih geografskih informacijskih bazah, je glavna prednost vseh participativnih pristopov (Carver, 2003). Znano je tudi, da so karte pomembno dopolnilo klasičnim tekstualnim anketam, saj slonijo na zavedanju o prostorskih razsežnostih odločitvenega problema (Carver, 2003; Linden in Sheehy, 2004) in so tako bolj zanesljiv kazalec, ali in kje lahko pričakujemo konflikte interesov (Golobič in Marušič, 2007).
Primerov uporabe preferenčnih kart v prostorsko načrtovalskih postopkih je veliko, tako v Sloveniji (npr. Bartol et al., 1998; Golobič in Marušič, 2001; Polič et al., 1991) kot drugod (npr. Harris in Weiner, 1998; Jankowski et al., 2001; Kingston et al., 2000; McClure, 1997; Sanoff, 1991).
a.
Spoznanja, pridobljena z analizo preferenčnih kart, pa načrtovalci najpogosteje neposredno vključijo v intuitiven - holističen načrtovalski proces (npr. Harris in Weiner, 1998; Macnab, 1998; Polič et al., 1991). Vendar tovrstna obravnava preferenčnih kart prinaša tveganje, da bodo jj določene informacije, ki bi jih sicer odkrili v sistematičnih in računalniško podprtih analizah podatkov, spregledane. Rezultatov tovrstne obravnave običajno ni mogoče jasno predstaviti. Ostajajo v domeni načrtovalca, kar zmanjšuje transparentnost nadaljnjega usklajevanja različnih	t^g
J^ 55
interesov. S tem se po nepotrebnem zapira prostor argumentiranih razprav o rešitvah.	^^^
V prispevku predlagamo metode odkrivanja znanja iz podatkov (ang. data mining) za eksplicitno odkrivanje odnosov med preferencami ljudi in prostorskimi zakonitostmi. Z njimi je mogoče
!! '^S
odkriti pravila, ki so lahko podlaga za bolj argumentirano razpravo med načrtovalci in lokalnimi
prebivalci, saj slednjim omogočajo lažje razumevanje načrtovalskih odločitev, prvim pa lažje usklajevanje različnih pogledov. Ker so pravila zgrajena iz dosegljive baze podatkov in zato povezujejo preferenčna območja z zgolj dosegljivo množico prostorskih značilnosti, je treba razumeti metodologijo predvsem kot prispevek k bolj argumentirani komunikaciji in ne k odkrivanju globljega lokalnega znanja posameznikov, saj je to odvisno tudi od življenjskih navad, izkušenj, čustvenih navezav na prostor, interesov in želja (Aravot, 1996; Golobič in Marušič, 2007). Odkrita preferenčna pravila lokalnih prebivalcev, ki slonijo na kombinacijah prostorskih značilnosti, je v nadaljevanju mogoče primerjati s strokovnimi merili in z njimi dopolniti postopke vrednotenja prostora za načrtovano dejavnost, kakršno je na primer pogosto uporabljeno večkriterijsko vrednotenje (Carver, 1991; Pettit in Pullar, 1999; Voogd, 1983).
Znanih je le nekaj poskusov formalizirane interpretacije preferenčnih kart (Aravot, 1996; Bartol et al., 1998; Golobič in Marušič, 2007; Jankowski et al., 2001). Bartol et al. (1998) je uporabila preprosto analizo sovpadanja (ang. crosstabulation). Rezultat metode je opis fizičnih lastnosti preferenčnih območij v obliki nabora prostorskih spremenljivk in njihovih vrednosti, ni pa znan tudi njihov relativni pomen v območjih. Naš pristop je podoben tistim, ki so jih uporabili Aravot (1996) ter Golobič in Marušič (2007). Posegli so po statistični regresijski metodi, ki je podala bolj matematične modele, vendar je njihove rezultate težko uporabiti v komunikaciji z lokalnimi prebivalci. V naši raziskavi smo uporabili standardne postopke nadzorovanega strojnega učenja (Witten in Frank, 2000), s katerimi je mogoče neposredno odkriti razumljiva pravila in hkrati identificirati zanimive podmnožice podatkov z lastnimi prostorskimi značilnostmi. Podobni pristopi so že bili uporabljeni v nekaterih drugih premerih obravnave prostorskih in okoljskih problemov (npr. Bui et al., 2005; Kobler in Adamič, 2000; Naderi in Raman, 2005; Ogris, 2007; Zhang et al., 2005). Na področju prostorskega načrtovanja jih je uporabil Jankowski et al. (2001), ki je tako poskusil poenostaviti večkriterijsko analizo ustreznosti prostora z odkritjem in nadaljnjim upoštevanjem le najbolj vplivnih kriterijev.
2 MATERIALI IN METODE
feš V raziskavi smo uporabili podatke, pridobljene z javnomnenjsko anketo v občini Komenda. Uporabili smo dve standardni metodi odkrivanja znanja iz podatkov, ki sodijo na področje strojnega učenja, in sicer metodo gradnje odločitvenih dreves in naivnega Bayesovega klasifikatorja. V nadaljevanju podajamo podrobnejši opis podatkov in uporabljenih metod.
2.1 Preferenčne karte in prostorske značilnosti
I 35
^^ ;|3 Uporabljeni so bili podatki, pridobljeni leta 2001 z javnomnenjsko anketo, ki je bila izvedena na s;;^ i? celotnem območju hitro rastoče občine Komenda. Površina občine, v kateri živi približno 4800 H prebivalcev, je približno 24 km2. Anketa, izvedena v okviru prostorske načrtovalske vaje na 'iS js dodiplomskem študiju krajinskega planiranja na Biotehniški fakulteti v Ljubljani (Golobič et al., ^^ Is^ 2001), je zajela reprezentativen vzorec 196 prebivalcev. Vprašalnik je vseboval besedilni del, s poudarkom na vprašanjih o razvoju in vrednotah v prostoru, in grafični del, v katerem so is anketiranci na kartografsko podlago v merilu 1 : 25000 zarisovali območja, ki so po njihovem Ja ustrezna za predlagane dejavnosti, ter območja, ki bi jih bilo po njihovem treba zavarovati pred
razvojem. V postopku odkrivanja znanja iz podatkov smo uporabili skupino preferenčnih kart s predlogi območij, ki so se zdela anketirancem posebej dragocena taka, kot so, in bi jih želeli ohraniti za potomce.
Grafično predstavitev skupnih preferenc glede ohranjanja območij imenujemo karta laične ustreznosti prostora za varstvo. Posamezne preferenčne karte so bile digitalizirane in rasterizirane na velikost celic 25 x 25 m in nato prekrite z orodjem ArcView, s čimer je bila pridobljena grafična vsota preferenčnih kart, ki pomeni skupno število preferenčnih označb oziroma izborov za vsako posamezno prostorsko celico. Vsaka celica je bila opisana še z množico štirinajstih prostorskih značilnosti, kot so na primer oddaljenost od objektov kulturnega pomena, oddaljenost od rek in raba tal (tabela 1).
2.2 Izbor in priprava podatkov
Območje celotne občine pokriva 38997 prostorskih celic. Za odkrivanje znanja iz podatkov je bil uporabljen standarden tabelarični opis vrednosti spremenljivk, v katerem so v posamezni vrstici navedeni podatki o določeni prostorski celici in v posameznem stolpcu vrednosti določene prostorske značilnosti oziroma atributa. Slednje so bile diskretizirane (glej tabelo 1) zaradi lažje interpretacije zgrajenih modelov, poleg tega so diskretne vrednosti tudi pogoj za uporabo enostavnega naivnega Bayesovega klasifikatorja z intuitivno predstavitvijo modela v obliki nomograma. Odločitev za to tehniko strojnega učenja in tehniko njene vizualizacije z nomogrami je hkrati zahtevala diskretizacijo izhodne oziroma ciljne spremenljivke - laične ustreznosti za varstvo -, pri čemer so bila na podlagi strokovne odločitve kot preferenčna oziroma ustrezna območja za varstvo izbrana tista predlagana območja, ki jih je označilo vsaj osem anketirancev. Ta izbor ohranja vse ključne predloge anketirancev (slika 1). Predlagana ustrezna območja za varstvo tako zajemajo 1175 prostorskih celic oziroma dobrih 3 % skupnega števila celic na karti.
Slika 1: Laična ustreznost prostora za varstvo. Frekvenca predlogov območij za varstvo, označenih na preferenčnih kartah, je večja v temnejših območjih. Obrisana so območja, ki so na preferenčnih kartah označena več kot osemkrat (1 kvadrat = 1 km).
CN
tig 55

Prostorska	Opis	Vrednost	Opis vrednosti	ReliefF	Info
značilnost				ocena	Gain ocena
dist_church	Oddaljenost od cerkva	-300 m 300-750 m 750 m-	Odd. do 300 m Odd. od 300 do 750 m Odd. več kot 750 m	0,061	0,041
dist_pnature	Oddaljenost od točk varstva narave	-100 m 100-400 m 400 m-	Odd. do 100 m Odd. od 100 do 400 m Odd. več kot 400 m	0,039	0,039
dist_culture	Oddaljenost od kulturne dediščine	-150 m 150-400 m 400 m-	Odd. do 150 m Odd. od 150 do 400 m Odd. več kot 400 m	0,039	0,037
land use	Raba tal	forest agr_mix pasture field urban settlement	Gozd Mešano kmetijstvo Pašnik Njiva Širše urbano območje Naselje	0,048	0,027
dist_hipo	Oddaljenost od hipodroma	-500 m 500-1000 m 1000 m-	Odd. do 500 m Odd. od 500 do 1000 m Odd. več kot 1000 m	0,120	0,022
dist_farm	Oddaljenost od kmetij	-150 m 150-400 m 400 m-	Odd. do 150 m Odd. od 150 do 400 m Odd. več kot 400 m	0,002	0,017
dist_psata	Oddaljenost od reke Pšata	-100 m 100-400 m 400 m-	Odd. do 100 m Odd. od 100 do 400 m Odd. več kot 400 m	0,059	0,013
dist_hidro	Oddaljenost od ostalih vodnih pojavov	-100 m 100-300 m 300 m-	Odd. do 100 m Odd. od. 100 do 300 m Odd. več kot 300 m	0,014	0,010
dist_school	Oddaljenost od šol	-500 m 500-1000 m 1000 m-	Odd. do 500 m Odd. od 500 do 1000 m Odd. več kot 1000 m	0,123	0,008
visibility	Vidnost	low medium high	Majhna vidnost Srednja vidnost Visoka vidnost	0,007	0,005
anature	Zavarovana območja narave	no feature prot_area	Ni pojava Zavarovana območja narave	-0,007	0,001
dist_forest	Oddaljenost od gozdov	forest -300 m 300 m-	Gozd Odd. do 300 m Odd. več kot 300 m	0,050	0,001
flood	Poplavna območja	no feature flood	Ni pojava Poplavno območje	0,030	0,001
DEM	Nadmorska višina	low medium high	320-360 m nadm. višine 360-400 m nadm. višine Več kot 400 m nadm. višine	0,052	0,000
Tabela 1: Seznam prostorskih značilnosti in njihovih napovednih vrednosti (oceni ReliefF in Info Gain)
Od štirinajstih zbranih prostorskih spremenljivk je bilo za gradnjo končnega modela uporabljenih le devet najpomembnejših. Uporabili smo dve standardni metodi ocenjevanja napovednih modelov, ki sta podali stopnjo povezanosti med vrednostmi prostorskih značilnosti in razredoma ciljne spremenljivke. Prva je entropijska mera, imenovana informacijski prispevek ali Info Gain (Quinlan, 1986). To je univariatna mera, ki upošteva vsako prostorsko spremenljivko posebej in s katero se presoja »čistost« podmnožic celic, ki je značilna za izbrano vrednost spremenljivke. Druga uporabljena metoda presojanja prostorskih spremenljivk je ReliefF, multivariatna mera, s katero presojamo uporabnost spremenljivk na podlagi njihove zmožnosti razločevanja med podobnimi primeri (pri nas so bile to celice), ki pripadajo različnim razredom (Kononenko, 1994). Prednost ReliefFa je, da je sposoben razkriti spremenljivke, ki same po sebi niso posebno informativne, vendar postanejo zelo uporabne v določenih kontekstih, ki jih določajo vrednosti drugih spremenljivk. Na podlagi ocen obeh mer smo iz nadaljnje analize izločili prostorske spremenljivke, pri katerih je vrednost katerekoli od obeh mer manjša od 0,005. Te spremenljivke so: nadmorska višina, oddaljenost od kmetij, območja varstva narave, oddaljenost od gozdov in poplavna območja (glej tabelo 1).
2.3 Gradnja napovednih modelov
Napovedni modeli so bili zgrajeni z uporabo dveh različnih, a zelo priljubljenih pristopov nadzorovanega odkrivanja znanja iz podatkov: naivnega Bayesovega klasifikatorja in gradnje odločitvenih dreves. Analiza podatkov in ocena modelov je bila izvedena v odprtokodnem sistemu za odkrivanje znanja iz podatkov Orange (Demšar et al., 2004).
Naivni Bayesov klasifikator je v primerjavi z drugimi metodami odkrivanja znanja iz podatkov ena najbolj preprostih, a presenetljivo napovedno natančnih metod za gradnjo modelov, ki na podlagi vrednosti vhodnih spremenljivk napovedujejo verjetnosti ciljnih spremenljivk (Kononenko, 1993; Možina et al., 2004). Naivno Bayesovo pravilo za oceno verjetnosti vrednosti ciljne spremenljivke ali razreda c, pri vektorju vrednosti vhodnih spremenljivk X = (a1, a2...an), je:
p(c\XP(c)nP(a\c)
kjer P(c) pomeni apriorno verjetnost razreda in P(a^ c) pogojno verjetnost i-te vrednosti vhodne spremenljivke a^ | pri dani vrednosti razreda c. Zgornja enačba določa, da je posteriorna verjetnost razreda pri danem opisu primerov (vrednostih vhodnih spremenljivk) sorazmerna s produktom apriorne verjetnosti razreda, pomnoženim z vsemi pogojnimi verjetnostmi vhodnih spremenljivk pri danem razredu. Ker velja enačba tudi za primere, ki ne pripadajo razredu, lahko izračunamo upanje za ciljni razred c z:
p(cX)
p[čx)
- P(ci n
P(č
P(a.	c)
P(a.	c)
_). Iz zgornje enačbe lahko izračunamo verjetnost p{c X) z
zamenjavo
CN
tig 55

p{čX1 - p(cX).
Glavna pomanjkljivost naivnega Bayesovega klasifikatorja je statistična predpostavka o pogojni neodvisnosti med vhodnimi spremenljivkami. Metodo vseeno veliko uporabljajo zaradi preprostosti in pogosto točnih napovedi. Razliko, prikazano v zgornji enačbi, lahko pretvorimo v logaritemsko razliko, izraženo kot vsoto razmerij med pogojnimi verjetnostmi ciljnega in neciljnega razreda. Slednje lahko učinkovito vizualiziramo z uporabo tako imenovanega naivnega Bayesovega nomograma (Možina in sod., 2004). To vizualizacijsko orodje in njegova uporabnost za odkrivanje posameznih vplivov vhodnih, napovednih spremenljivk v razumljivi in intuitivni obliki je glavni razlog, da smo za odkrivanje znanja iz prostorsko načrtovalskih podatkov izbrali to metodo.
Čeprav naivni Bayesov model na splošno lahko dosega visoke napovedne točnosti, pa je lahko, kadar obstajajo določene interakcije med vhodnimi spremenljivkami in kadar je njihova prepoznava ključna za gradnjo zanesljivega verjetnostnega napovednega modela, manj uspešen v primerjavi z bolj kompleksnimi metodami modeliranja. Priljubljena metoda nadzorovanega odkrivanja znanja iz podatkov, s katero je mogoče odkriti tovrstne kombinacije, je gradnja odločitvenih dreves (Quinlan, 1986; Witten in Frank, 2000). Metoda uporablja pristop deli-in-vladaj: podatki so razdeljeni v podmnožice glede na vrednosti izbranih vhodnih spremenljivk. Postopek se nadaljuje na dobljenih podmnožicah, dokler niso vsi primeri znotraj posameznih skupin dovolj »čisti«, kar pomeni, da večina pripada istemu razredu. Da bi zgradili majhno drevo z dovolj veliko zastopanostjo primerov v listih, je kot vhodna spremenljivka za razdelitev množice primerov izbrana tista, ki poveča »čistost« novo dobljenih množic. Razred ciljne spremenljivke je nato mogoče napovedati na podlagi znanih vrednosti vhodnih spremenljivk, in sicer s potovanjem od korenine drevesa do njegovih listov, pri čemer je pot odvisna od vrednosti vhodnih spremenljivk. Napovedan razred je večinski razred primerov v doseženem listu. Če želimo napovedati tudi verjetnost razreda, pa je ta izračunana iz razredne porazdelitve primerov v določenem listu. Mi smo uporabili različico algoritma za gradnjo klasifikacijskih dreves, ki temelji na znanem algoritmu C4.5 in je implementirana v sistemu Orange (Demšar in sod., 2004). Pri tem smo uporabili v sistemu privzete nastavitve te metode, z izjemo zahteve za gradnjo drevesa z vsaj petdesetimi primeri v posameznem listu.
2.4 Ocena kakovosti modela
Ocena kakovosti modela v prvi fazi izhaja iz strokovnjakovega razumevanja načrtovalskega
problema. Gre za subjektivno presojo o pravilnosti izbora spremenljivk, preglednosti in
razumljivosti modela ter možnosti za njegovo interpretacijo. Kvalitativna presoja je dopolnjena
še s kvantitativnimi ocenami kakovosti modelov. Uporabili smo dve standardni meri, klasifikacijsko
Ü	točnost (CA) in površino pod krivuljo ROC - receiver operating characteristic (AUC). CA meri
^^ verjetnost pravilne klasifikacije podatkovnega primera, medtem ko AUC meri verjetnost, da bo
^^ I» model pravilno razločil med pozitivnim (pri nas celica, ustrezna za varstvo) in negativnim
ü «I primerom (pri nas celica, ki ni bila predlagana kot ustrezna za varstvo). Od
p
CN
Vrednotenje ocen je potekalo s standardnim postopkom - desetkratnim prečnim preverjanjem (ang. ten-fold cross-validation) (Witten in Frank, 2000), v katerem so podatki razdeljeni na deset približno enako velikih podmnožic s približno enako porazdelitvijo razredov. Nato so iz devetih podmnožic zgrajeni napovedni modeli, preostala podmnožica pa je uporabljena za testiranje modela. Postopek je ponovljen desetkrat ob vsakokratni uporabi druge testne podmnožice. Predstavljene so povprečne ocene, izračunane iz desetih ponovitev postopka prečnega preverjanja. Naj poudarimo, da s prečnim preverjanjem presojamo točnost napovedovanja izbranih tehnik modeliranja, kar je povprečje ocen, ki bi jih dosegel model na podatkovnih primerih, če bi jih vzeli iz iste porazdelitve.
Kakovost modelov se je presojala tudi z vizualno primerjavo modeliranih kart z izhodiščnimi kartami laične ustreznosti prostora za varstvo. V ta namen so bile metode odkrivanja znanja iz podatkov uporabljene ne le kot orodje za razlago podatkov, temveč tudi kot orodje za napovedovanje. Na istih vhodnih podatkih smo zgrajena modela uporabili za napovedovanje verjetnosti po posameznih celicah na celotnem območju občine, da gre za območje varstva, predlagano na preferenčnih kartah. Tako smo dobili karti modeliranih laičnih ustreznosti prostora za varstvo. Vizualno smo ju primerjali z izhodiščno preferenčno karto in subjektivno presojali stopnjo sovpadanja. Poudarjamo, da je bila ta vizualna primerjava izvedena zgolj za ilustracijo, saj sta gradnja in testiranje modela potekala na istih podatkih in je zato model nagnjen k prevelikemu prileganju podatkom (ang. overfitting).
3 REZULTATI
Z zgoraj opisanima metodama sta bila zgrajena naivni Bayesov klasifikator in odločitveno drevo. V nadaljevanju podajamo njun prikaz in ocene napovedne točnosti obeh metod.
3.1 Naivni Bayesov klasifikator in nomogram
Nomogram naivnega Bayesovega klasifikatorja je predstavljen na sliki 2. Struktura modela prikazuje relativni vpliv posameznih prostorskih spremenljivk na verjetnost, da gre za predlagano območje varstva. Vrednosti spremenljivk, ki se pojavljajo desno od navpične črtkane črte, povečajo ustreznost za varstvo, medtem ko jo vrednosti spremenljivk na levi strani zmanjšujejo. Oddaljenost vrednosti od navpične črte sovpada z močjo vpliva. Iz nomograma je mogoče jasno razbrati, da ima največji potencialni vpliv na laično ustreznost za varstvo spremenljivka oddaljenost od točk »Š varstva narave. Te so sicer že prepoznane kot posebej vredne na ravni občine oziroma države in
t___
so zato že pod pravnim varstvenim režimom. Ustrezna območja varstva so tudi v okolici cerkva	,
in drugih objektov kulturne dediščine, v bližini reke Pšate in drugih hidroloških pojavov ter v ü) os
urbanem okolju z dobro vidno izpostavljenostjo. Ustrezna območja so še v bližini hipodroma in šol. Zelo močna negativna indikatorja za ustreznost sta rabi tal - pašnik in njiva.
tig 55

CN
O
OD
Slika 2: Naivni Bayesian nomogram (zaslonska slika iz Orangeove komponente za vizualizacijo nomogramov), ki prikazuje vpliv vrednosti prostorskih spremenljivk na verjetnost laične ustreznosti za varstvo (ciljni razred '1').
Implementacija vizualizacije naivnega Bayesovega nomograma v sistemu Orange omogoča interaktivno »kaj-če« analizo in napovedovanje ustreznosti celic za varstvo. Rezultat take napovedi je mogoče videti na primeru s slike 2, kjer je vrednosti napovednih spremenljivk mogoče interaktivno določati v zgornjem delu nomograma, kar se takoj odrazi na verjetnosti ciljnega razreda, prikazani v spodnjem delu nomograma. Za ilustracijo sta na sliki 2 izbrani le vrednosti dveh spremenljivk, in sicer oddaljenost od točk varstva narave (do 100 metrov) in oddaljenost od cerkva (do 300 metrov), ki po naivnem Bayesovem klasifikatorju določata 97-odstotno verjetnost, da so celice s izbranima prostorskima značilnostma tudi tiste, ki so bile izbrane kot ustrezne za varstvo. Če izberemo še neposredno bližino kulturne dediščine (do 150 metrov), verjetnost naraste na 99 %.
Nomogram nakazuje, da ljudje visoko cenijo naravne in kulturne vrednote prostora. Interaktivnost sistema Orange nam omogoča, da hitro in preprosto raziščemo vsako posebej. Omejitev obravnave le na dve prostorski značilnosti, ki opredeljujeta kulturne vrednote prostora, torej cerkve in drugo kulturno dediščino, pokaže, da so celice v njuni bližini z 71-odstotno verjetnostjo hkrati tiste, ki so predlagane za varstvo. Analogno omejitev interpretacije na naravne vrednote prostora pokaže, da so celice, ki so blizu točk varstva narave, reke Pšata in drugih hidroloških pojavov, s 96-odstotno verjetnostjo hkrati celice, predlagane za varstvo. Bližina točk varstva narave sama zagotavlja kar 71-odstotno verjetnost.
Poglejmo še, kakšna je verjetnost, če se določene kulturne in naravne vrednote pojavljajo ločeno druge od drugih. V območjih blizu cerkva, ki so hkrati zelo oddaljena od točk varstva narave, je verjetnost zgolj 18-odstotna. Nasprotno pa je pri območjih blizu točk varstva narave, ki so zelo
oddaljena od cerkev, verjetnost, da gre za predlagano območje varstva, še vedno relativno visoka - 50 %.
Lahko bi sklepali, da so naravne vrednote med lokalnim prebivalstvom nekoliko bolj cenjene kot kulturne. Nekaj negotovosti v tak sklep vlije podatek, da anketiranci niso označevali zavarovanih območij narave. Spremenljivka je zaradi izredno majhnega pomena za gradnjo modela celo izločena iz analize (glej tabelo 1). Možna interpretacija je, da ljudje resnično zaznavajo kot bolj dragocene le posamezne naravne pojave ob rekah in potokih znotraj naselja, morda ravno zaradi njihove lokacije znotraj urbanega okolja, v katerem so naravni pojavi in območja praviloma nosilci raznovrstnih funkcij - tudi socialnih. Zavarovana območja narave so po drugi strani odmaknjena od naselij. Za trdnejšo interpretacijo bi bile potrebne dodatne analize in stiki z lokalnimi prebivalci.
3.2 Odločitveno drevo
Odločitveno drevo, ki ponazarja laično ustreznost za varstvo, je prikazano na sliki 3. Najpomembnejša spremenljivka, ki se pojavlja na korenu drevesa, je spet oddaljenost od točk varstva narave.
CN
tig 55
Slika 3: Odločitveno drevo kot napovedni model laične ustreznosti prostora za varstvo. P označuje napovedano verjetnost laične ustreznosti za varstvo. N označuje število vseh celic v listu drevesa. Za opis spremenljivk in njihovih vrednosti glej tabelo 1.

Verjetnost, da je celica, ki je blizu točk varstva narave (do 100 metrov), hkrati ustrezna za varstvo, je 71-odstotna. Ko se po isti veji drevesa spustimo za eno raven nižje, je mogoče razbrati naslednji zanimivi odločitveni pravili:
ČE je celica blizu točk varstva narave (do 100 metrov) IN blizu cerkva (do 300 metrov), POTEM je verjetnost, da je celica ustrezna za varstvo, 93-odstotna;
ČE je celica blizu točk varstva narave (do 100 metrov) IN oddaljena od cerkva (več kot 750 metrov), POTEM je verjetnost, da je celica ustrezna za varstvo, 0-odstotna.
Pravili nakazujeta, da bližina točk varstva narave ni edino ključno merilo za odločitve ljudi o ustreznih območjih varstva.
CN
O
OD
Slika 4: Odločitveno poddrevo s prikazom laične ustreznosti prostora za varstvo za celice, ki so več kot 400 metrov oddaljene od točk varstva narave in več kot 750 metrov od cerkva. P označuje napovedano verjetnost laične ustreznosti za varstvo. N označuje število vseh celic v listu drevesa. Za opis spremenljivk in njihovih vrednosti glej tabelo 1.
V drugi veji drevesa je mogoče razbrati, da so v območjih 100- do 400-metrske oddaljenosti od točk varstva narave bolj ustrezni deli, ki so v bližini reke Pšate, hipodroma in kulturne dediščine ter se nahajajo v urbanem območju.
Tretja veja drevesa zajema druge primere, to je celice, ki se ne pojavljajo v bližini točk varstva narave (več kot 400 metrov). Verjetnost, da so ta hkrati območja ustreznosti, je zgolj 2-odstotna, vendar je v to vejo zajetih kar 640 primerov, kar je dobra polovica vseh ustreznih primerov za varstvo. Pri približno tretjini teh primerov poveča verjetnost, da gre za ustrezno območje, bližina cerkev, verjetnost dodatno povečata še bližina druge kulturne dediščine in vodnih pojavov. Kar 422 primerov, kar je 36 % vseh ustreznih primerov za varstvo, pa se pojavlja daleč stran od točk varstva narave (nad 400 metrov) in cerkva (nad 750 metrov). Drevo od tu naprej ni razvejano in ne omogoča interpretacije teh primerov, zato smo uporabili možnost interaktivne gradnje drevesa od izbranega vozla drevesa naprej. Dodatno poddrevo je prikazano na sliki 4. Izkaže se, da se večina navedenih primerov sicer nahaja v bližini obstoječe kulturne dediščine, vendar se v nadaljnji razvejanosti drevesa kot ključna za interpretacijo izkaže bližina vodnih pojavov. Ta poveča verjetnost, da gre za ustrezno območje varstva, v vseh vejah obravnavanega poddrevesa.
Iz klasifikacijskega drevesa lahko povzamemo, da so ljudje označevali za dragocena in zato vredna varstva predvsem:
-	območja točk varstva narave, ki so v bližini cerkva,
-	območja kulturne dediščine ob reki Pšati, ki se nahajajo v naselju, ter
-	nekatera območja drugih vodnih pojavov zunaj naselja.
3.3 Kvantitativna ocena in kartografski prikaz kakovosti modelov
Kvantitativne ocene napovednih točnosti obeh metod so prikazane v tabeli 2. Treba je poudariti, da kljub visokim vrednostim obeh uporabljenih mer primernost obeh metod za našo nalogo dokazuje visok AUC. Ob visoki klasifikacijski točnosti je namreč treba upoštevati problem neuravnoteženosti skupin celic, ki pripadajo različnim razredom: samo 3 % celic so bili označeni za varstvo, kar pomeni, da bi bila točnost klasifikatorja, ki bi vedno klasificiral celice kot »neustrezne za varstvo«, 0,970.
	Ocena napovedne točnosti	
Metoda modeliranja	CA	AUC
Naivni Bayes	0,976	0,905
Odločitveno drevo	0,978	0,778
Tabela 2: Kvantitativne ocene napovednih točnosti uporabljenih metod modeliranja
Razlike med napovedmi obeh modelov je mogoče dobro ilustrirati z grafičnimi prikazi njunih modeliranih ustreznosti za varstvo. Ustrezna območja za varstvo, ki jih napove model naivnega Bayesa (slika 5), so veliko bolj obsežna od izhodiščnih preferenčnih kart (slika 1), hkrati pa se v njih izgubijo nekatera predlagana ustrezna območja s svojevrstnimi prostorskimi značilnostmi
CN
tig 55

CN
O
OD
Slika 5: Modelirana ustreznost prostora za varstvo z uporabo naivnega Bayesovega klasifikatorja. Temnejša območja so bolj ustrezna za varstvo (1 kvadrat = 1 km).
Slika 6: Modelirana ustreznost prostora za varstvo z uporabo odločitvenega drevesa. Temnejša območja so bolj ustrezna za varstvo (1 kvadrat = 1 km).
(npr. Komendski boršt v severnem delu občine). Zato sklepamo, da model pretirano posplošuje povezanost prostorskih značilnosti z ustreznostjo prostora za varstvo. Karta modelirane ustreznosti za varstvo z uporabo klasifikacijskega drevesa (slika 6) bolj sovpada z izhodiščno karto (slika 1). Zato sklepamo, da je z gradnjo odločitvenega drevesa mogoče bolj zanesljivo modelirati nelinearne odnose prostorskih značilnosti kot z naivnim Bayesovim modelom.
4 RAZPRAVA
Raziskava je pokazala, da je mogoče preferenčne karte uspešno interpretirati z uporabo metod odkrivanja znanja iz podatkov. Cilj uporabe metod na tem področju je razbrati povezave med dejavniki, ki vplivajo na preference ljudi, jih razkriti in narediti dostopne prostorskih načrtovalcem. Modeli laične ustreznosti za varstvo, ki so v našem poskusu eksplicitno prikazani v obliki odločitvenega drevesa in naivnega Bayesovega nomograma, ponujajo strukturiran in sistematičen način informiranja prostorskih načrtovalcev o pogledih prebivalcev. Osnovni cilj interpretacije preferenčnih kart je tako izboljšati kakovost ter poglobiti razpravo med prebivalci in načrtovalci v jeziku, ki ga oboji dobro razumejo.
V naši raziskavi je mogoče iz obeh modelov sklepati, da si ljudje želijo varovati določene naravne (točke varstva narave, hidrološki pojavi, vključno z reko Pšato) in kulturne vrednote prostora (cerkve in druga kulturna dediščina), še posebno, če se nahajajo v območju poselitve. Te splošne prostorske značilnosti preferenčnih območij je mogoče laže in hitreje razbrati v nomogramu kot v odločitvenem drevesu. Struktura modela naivnega Bayesa je namreč bolj preprosta in pregledna. Vendar model zajema le eno skupno interpretacijo za vsa bolj ali manj raznolika območja laične
ustreznosti, zato je lahko taka interpretacija pretirano posplošujoča, kar jasno ponazarja karta modelirane ustreznosti (slika 5). Do podobne težave sta pri svojem modelu prišla Golobič in Marušič (2007), ki sta uporabila statistično multiplo regresijo. Kaže, da se odločitveno drevo izogne problemu pretiranega posploševanja predvsem zaradi sposobnosti modeliranja nelinearnih odnosov med prostorskimi značilnostmi. Hierarhična struktura modela omogoča strukturirano interpretacijo, usmerjeno zgolj na določena pravila - poti od korena do listov drevesa -, in ne zgolj interpretacije modela kot celote. Naše odločitveno drevo nakazuje, da so predlagana območja za varstvo znotraj naselij bodisi v območjih, ki so hkrati blizu točk varstva narave in cerkva, bodisi v območjih ob reki Pšati z objekti kulturne dediščine. Predlagana območja zunaj naselij pa na splošno označuje bližina vodnih pojavov. Po našem mnenju, in vsaj v naši raziskavi, podaja odločitveno drevo bolj podrobno interpretacijo preferenčnih kart, medtem ko je interpretacija naivnega Bayesovega nomograma bolj primerna za podajanje celovite, skupne predstave o vplivih posameznih prostorskih značilnosti. To potrjuje tudi večja skladnost karte modelirane ustreznosti prostora za varstvo ob uporabi odločitvenega drevesa z izhodiščno karto laične ustreznosti.
Uporabnost metod odkrivanja znanja iz podatkov za interpretacijo preferenčnih kart bi lahko narekovala razvoj orodij, ki bi združevala GIS-okolje z orodji strojnega učenja in odkrivanja znanj iz podatkov za interaktivno vizualno preiskovanje modelov. Tako orodje bi ljudem omogočilo ne samo implicitno oblikovanje predlogov z neposrednim zarisovanjem ustreznih območij za načrtovane dejavnosti na kartografski podlagi, temveč tudi eksplicitno preverjanje in morebitno popravljanje odločitvenih meril, odkritih z metodami strojnega učenja. Ciklični proces tako imenovanega preiskovalnega odločanja z izmeničnim implicitnim in eksplicitnim izražanjem preferenc glede prihodnjega razvoja v prostoru bi tako omogočil strokovnjakom, da bi pridobili predloge prebivalcev skupaj s preverjenimi eksplicitnimi odločitvenimi merili, pri čemer ljudem ne bi bila odvzeta možnost podajanja predlogov na »ad hoc« način. Primer takega integriranega okolja je DECADE, ki ga je razvil Jankowski et al. (2001). Njegova glavna slabost je, da je primeren za analizo le manjšega števila predhodno določenih večjih naravno homogenih prostorskih enot. Znano je tudi, da vsebuje določanje ostrih meja med naravnimi homogenimi območji veliko negotovosti (Burrough in McDonnell, 1998). Členitev prostora za potrebe prostorskega načrtovanja tudi ne more izhajati zgolj iz njegovih naravnih značilnosti, temveč tudi, oziroma še bolj, iz geometrije načrtovanih posegov v prostor (Mejač, 1997). Interpretacija preferenčnih kart na podlagi obravnave prostorskih celic se zato zdi bolj zanesljiva. Analiza
S;
poljubno opredeljenih preferenčnih območij, ne le po lokaciji, temveč tudi po velikosti in obliki, sj
lahko bolj zanesljivo pokaže dejanske preference ljudi glede prihodnjega razvoja ali varstva v
prostoru.	i
os
Analiza bi lahko poleg osnovnih prostorskih značilnosti, ali namesto njih, vključevala tudi bolj kompleksne podatke. Preiskovanje preferenčnih meril bi lahko na primer izhajalo iz modelov || stroškov gradnje, kakovosti naravnega okolja, privlačnosti prostora za bivanje itd., s čimer bi bilo	^ij
oS
mogoče dobiti napovedne dejavnike, ki bi bili lahko bližji načinu mišljenja ljudi kot množica osnovnih informacij o prostoru (Golobič in Marušič, 2007; Ventura et al., 2005). Naj omenimo, da bi tovrstna kompleksna merila in modeli zgolj spremenili ali dopolnili bazo podatkov, medtem	-^s
ko bi ostal sam postopek analize, ki ga predlagamo v prispevku, nespremenjen.	Od
CN
Napovedne modele, ki smo jih razvili za prostorsko načrtovanje v občini Komenda, je mogoče preprosto kombinirati z drugimi načrtovalskimi viri. Interpretacija kart se je izkazala kot pomembno dopolnilo izsledkom analize tekstualnega dela ankete, v katerem so prebivalci občine Komenda visoko cenili naravne vrednote (npr. gozd, vodotok) (Golobič et al., 2001). Tekstualni odgovori so načelni, preferenčne karte pa so odkrile bolj podrobne prostorske merile za vrednotenje. Rezultate formalizirane interpretacije preferenčnih kart je mogoče uporabiti ne le v fazah pred oblikovanjem prostorskih alternativ, temveč tudi v drugih fazah načrtovanja, na primer za izbor med alternativami ali presojo predloga plana - odvisno od uporabljene načrtovalske metode. Vsekakor pa je vključevanje formalizirane interpretacije preferenčnih kart v načrtovalski proces namenjeno približevanju načrtov željam in potrebam uporabnikov.
5 SKLEP
Razmišljanja in predstave ljudi o razvoju v njihovih življenjskih okoljih morajo biti in bodo še naprej široko obravnavani v prostorsko načrtovalskih postopkih. Neposredna identifikacija kartografsko izraženih preferenc prebivalstva olajša njegovo participacijo v načrtovalskih postopkih in podaja bolj zanesljivo prostorsko identifikacijo potencialnih konfliktov (Golobič in Marušič, 2007). Tako pridobljeni podatki odpirajo možnosti za prepoznavo miselnih vzorcev ljudi, implicitno izraženih na preferenčnih kartah. Prikaz teh vzorcev v obliki eksplicitnih pravil bi lahko prispeval k boljši komunikaciji med prebivalci in načrtovalci, povečanju transparentnosti analitičnih postopkov, bolj argumentirani razpravi in lažjemu usklajevanju različnih stališč.
^^ Uporabili smo dve metodi odkrivanja znanj iz podatkov in pokazali, da je s predlaganim postopkom ^^ mogoče iz preferenčnih kart izluščiti zanimiva pravila in jih enostavno interpretirati. Menimo, da lahko uporaba metod odkrivanja znanja iz podatkov, ki so že uveljavljene na drugih aplikativnih področjih, v prostorskem načrtovanju in gradnja modelov, kakršni so opisani v prispevku, okrepita C3 vezi medjavnostjo in strokovnjaki ter tako prispevata k zmanjševanju - po Friedmanu (1992) in Baxmannu (1997) - še vedno prisotnega in omejujočega komunikacijskega prepada ter k
f)
uspešnejšim prostorsko načrtovalskim rešitvam.
N
Literatura in viri:
'O
^^ Aravot, I. (1996). Integration of future user's evaluations into the process of urban revitalization. Evaluation and t^ Program Planning, 19 (1), 65-78.
Ball, I. (2002). Towards a methodology for mapping 'regions for sustainability' using PPGIS. Progress in Planning, 58, 81-140.
J5 Bartol, B., Golobič, M., Kavčič, I., Logar, J., Marušič, J., Mlakar, A., Simonič, T. (1998). Anketno ocenjevanje kot način pridobivanja meril v postopku prostorskega planiranja (In Slovenian). Urbani izziv, 9 (2), 99-103.
Baxmann, M. (1997). Spatial consensus-building through access to web-based GIS: An online planning tool for Leipzig. H Pridobljeno 12. 1.2005 s spletne strani: www.spatial.maine.edu/ucgis/testproc/baxmann/baxmann.html
Bui, E. N., Henderson, B. L., Viergever, K. (2005). Knowledge discovery from models of soil properties developed through data, mining. Ecological Modelling, 191 (3-4), 431-446.
t^S Burrough,P A.,McDonnell,R.A. (1998).Principles ofGeographical Information Systems.Oxford: Oxford University
ii Press.
Carver, S. J. (1991). Integrating multi-criteria evaluation with geographic information systems. Int. Jour. Remote Sensing,
is
Ii 5 (3), 321-339.
Carver, S. (2003). The future of participatory approaches using geographic information: developing a research agenda for the 21st century. URISA 15, 61-72.
Demšar, J., Leban, G., Zupan, B. (2004). Orange: From experimental machine learning to interactive data mining (www.ailab.si/orange), Ljubljana: Fakulteta za računalništvo in informatiko.
Friedman, J. (1992). Empowerment. Cambridge: Blackwell.
Golobič, M., Marušič, J., Polič, M. et. al. (2001). Prostorski razvoj Komende: stališča, prebivalcev občine Komenda do prostorskega razvoja občine: rezultati ankete. Ljubljana: Biotehniška fakulteta, Oddelek za krajinsko arhitekturo.
Golobič, M., Marušič, J. (2007). Developing an integrated approach for public participation: a case of land use planning in Slovenia. Environment and Planning B, 34 (6), 993-1010.
Harris, T., Weiner, D. (1998). Community-integrated GIS for land reform in Mpumalanga province, South Africa. Department of Geology and Geography, West Virginia University. Pridobljeno 12. 1.2005 s spletne strani http// www.ncsia.ucsb.edu/varenius/aasis/aaaers/harris.html
Jankowski, P., Andrienko, N., Andrienko, G. (2001). Map-centred exploratory approach to multiple criteria spatial decision making. Int. J. Geographical Information Science, 15 (2), 101-127.
Janssen, M. A., Goosen, H., Omtzigt, N. (2006). A simple mediation and negotiation support tool for water management in the Netherlands. Landscape and Urban Planning, 78, 71-84.
Kingston, R., Carver, S., Evans, A., Turton, I. (2000). Web-based public participation geographical information systems: an aid to local environmental decision-making. Computers, Environment and Urban Systems, 24, 109-125.
Kobler, A., Adamič, M. (2000). Identifying brown bear habitat by a combined GIS and machine learning method. Ecological Modelling, 135 (2-3), 291-300.
Kononenko, I. (1993). Inductive and Bayesian learning in medical diagnosis. Applied Artificial Intelligence, 7, 317-337.
Kononenko, I. (1994). Estimating attributes: Analysis and extensions of RELIEF. Proceedings of ECML-94, Catania.
Linden, M., Sheehy, N. (2004). Comparison of a verbal questionnaire and map in eliciting environmental perceptions. Environment and Behavior, 36 (1), 32-40.	^^
C)
Macnab, P. (1998). There must be a catch: Participatory GIS in a Newfoundland fishing community. NCGIA: Marginalization and Public Participation GIS, 15-17 October 1998, Halifax.
Martin, W. E., Wise Bender, H., Shields, D. J. (2000). Stakeholders' objectives for public lands: Rankings of forest management alternatives. Journal of Environmental Management, 58,21-32.
McClure, W. (1997). The rural town: Designing for growth and sustainability. Moscow: University of Idaho, Center for	^^^
Business Development and Research.	^^
V	^
Mejač, 1. (1997). Zahteve varstva okolja v prostorskem planiranju na strateški ravni - primerjava različnim metod.	S;) ^
Magistrsko delo. Ljubljana: Biotehniška fakulteta, Oddelek za krajinsko arhitekturo.
N
Možina, M., Demšar, J., Kattan, M., Zupan, B. (2004). Nomograms for visualization of naive Bayesian classifier. Proc. of Principles and Practice of Knowledge Discovery in Databases (PKDD-2004), Pisa, 337-348.
Naderi, J. R., Raman, B. (2005). Capturing impressions of pedestrian landscapes used for healing purposes with decision tree learning. Landscape and Urban Planning, 73, 155-166.
S;
Newell, A. and Simon, H. A. (1972). Human Problem Solving. Englewood Cliffs, New York: Prentice-Hall.	55
Ogris, N. (2007). Model zdravja, gozdov v Sloveniji. Doktorska disertacija. Ljubljana: Biotehniška fakulteta, Oddelek za ^^ gozdarstvo in obnovljive vire.	aj ,
Pettit, C., Pullar, D. (1999). An Integrated Planning Tool Based Upon Multiple Criteria Evaluation of Spatial Information. t) qs Computers, Environment and Urban Systems, 23,339-357.	II
Polič, M., Mancin, M., Bartol, B., Marušič, J. (1991). Stališča, prebivalcev občine Grosuplje do nekaterih vidikov njenega razvoja. Grosuplje: Občina Grosuplje.
Js 55
Polič, M., Klemenčič, M., Kos, D., Kučan, A., Marušič, J., Ule, M., Natek, K., Repovš, G. (2002). Spoznavni zemljevid	^^^
Slovenije. Ljubljana: Znanstveni inštitut Filozofske fakultete.	J^ •
Quinlan, J. R. (1986). Induction ofdecision trees. Machine Learning, 1 (1), 81-106.	ij
!! '^S
Sanoff, H. (1991). Visual research methods in design. New York: Van Nostrand Reinhold.	-a cu
Soini, K. (2001). Exploring human dimensions of multifunctional landscapes through mapping and map-making. Landscape and Urban Planning, 57,225-239.
Ventura, S., Niemann, B., Sutphin, T., Chenoweth, R. GIS-enhanced land use planning in Dane county, Wisconsin, Land Information and Computer Graphics Facility, University of Wisconsin-Madison. Pridobljeno 6. 10.2005 s spletne strani http://www.naiia.ucsb.edu/varenius/ppiiis/papers/ventura.html
Voogd, H. (1983). Multi-criteria evaluatins for urban and regional planning, London: Princeton Univ.
Webler, T., Tuler, S., Krueger, R. (2001). What is a Good Public Participation Process? Five Perspectives from the Public. Environmental Management, 27 (3), 435-450.
Witten, I. H., Frank, E. (2000). Data Mining, San Francisco: Morgan Kaufmann Publishers.
Zhang, B., Valentine, I., Kemp, P. (2005). Modelling the productivity of naturalised pasture in the North Island, New Zealand: a decision tree approach. Ecological Modelling, 186,299-311.
Prispelo v objavo: 19. januar 2009 Sprejeto: 26. februar 2009
CN
Lidija Breskvar Zaucer, univ. dipl. inž. kraj. arh.
BF - Oddelek za krajinsko arhitekturo, Jamnikarjeva 101, SI-1000 Ljubljana E-pošta: lidija.zaucer@bf.uni-lj.si
izr. prof. dr. Blaž Zupan, univ. dipl. inž.
FRI - Laboratorij za umetno inteligenco, Tržaška 25, SI-1000 Ljubljana in
Baylor College of Medicine, Dept. of Human and Molecular Genetics, 1 Baylor Plaza, Houston, TX 77030, USA E-pošta: blaz.zupan@fri.uni-lj.si
O
OD
doc. dr. Mojca Golobič, univ. dipl. inž. kraj. arh.
BF - Oddelek za krajinsko arhitekturo, Jamnikarjeva 101, SI-1000 Ljubljana in Urbanistični inštitut RS, Trnovski pristan 2, SI-1000 Ljubljana E-pošta: mojca.golobic@uirs.si