Museaalide säilitamise kratt Sälli

27. septembril esitati Riigi Infosüsteemi Ametile (RIA) eeltaotlus kratt Sälli projekti rahastamiseks Euroopa Regionaalarengu Fondi taotlusvoorusule „Avalike teenuste arendamise eel-, äri- ja kasutatavuse analüüside läbiviimine - 18.05.2015-31.07.2023“

12. novembril saadi kratt Sälli projekti eeltaotlusele Riigi Infosüsteemi Ametilt positiivne vastus.

28. aprillil avaldati riigihange „Tehisintellekt Sälli otsustusmudeli loomine“. Hanke tulemusena selgub projekti tööde teostaja.

09. juulil sai kratt Sälli pilootprojekt RIAlt positiivse rahastamisotsuse. Eraldatud toetuse suuruseks 75 928,80 €.

14. septembril allkirjastati leping STACC OÜga tehisintellekti kratt Sälli prototüübi loomiseks. Tööd teostatakse ajavahemikul 15. september 2020 - 14. september 2021 neljas etapis: eelanalüüs, mudeldamine, prototüübi tarkvara loomine ja valideerimine ning järelanalüüs.

I etapi alustamine. Septembris alustati projekti esimese etapiga, mille eeldatav valmimisaeg on 15. detsember 2020. Esimeses etapis hinnatakse projekti teostatavust, selgitatakse välja inventeerimise protsessi kiirendamiseks erinevad variandid ja analüüsitakse krati mudeli loomiseks vajalikke andmeid. Andmete kogumisel tehakse koostööd pilootmuuseumidega.

Projekti I etapi töörühma moodustavad Meri Liis Treimann, Kurmo Konsa ja Kristiina Piirisild. Juhtrühma kuuluvad Mirjam Rääbis, Airi Herm, Janika Turu ja Marju Niinemaa.

8. oktoobril tutvustati projekti muuseumide peavarahoidjate teabepäeval ja kutsuti üles muuseume projektiga liituma. Projektiga liitunud muuseumid on kuvatud esilehel.

7. novembril Eesti Konservaatorite Ühingu VII teadusseminaril „Digimaailma asjad“ sai projekt kajastust Janika Turu ettekandes „Tehisintellektid muuseumis“.

Tööde vaheetappide tähtaegade muutmine

16. novembril kinnitas juhtrühm projekti täitja ettepanekul töö I ja II etapi tähtaegade pikendamise vastavalt uuele ajakavale, mille järgi teostatakse I etapi tööd vahemikus 15. september – 8. jaanuar 2021 ja II etapi tööd vahemikus 8. jaanuar – 12. aprill 2021. III etapi tööd algavad 12. aprillil 2021.

Vaheetappide tähtaegade pikendamise peamiseks põhjuseks oli oodatust pikem osapoolte vaheline andmete üleandmise protsess ja andmepäringute modifitseerimine vastavalt projekti skoobile.

Projekti tähtaja lõpp ei muutu ja selleks on endiselt 14. september 2021.

I etapi tööde vastuvõtmine

8. jaanuaril lõppes projekti I etapp, mille käigus andis täitja üle teostatud tööde dokumentatsiooni, mille juhtrühm kinnitas ja võttis vastu 15. jaanuaril.

I etapi tööde kokkuvõte

Eelanalüüsi käigus kaardistati pilootmuuseumide inventeerimise protsessid ja ootused kratt Sällile, teostati kõikide muuseumide MuIS andmete eelanalüüs, kaardistati pilootmuuseumide täiendavad andmekogud, analüüsiti museaalide säilimise ennustamiseks vajalikke andmeid ning kaardistati ja analüüsiti museaalide märgistamise süsteeme.

Planeeritavate pärandihoidlate kontekstis läheb MKA andmete põhjal ühe museaali inventeerimiseks keskmiselt 19 minutit, mis tähendab, et 2,5 miljoni museaali inventeerimiseks 5a. jooksul läheb vaja ca 70 täistöökohaga inimest. See ilmestab selgelt, miks on vaja inventeerimisprotsesse kiiremaks muuta.

Analüüs näitas, et inventeerimisprotsesside peamised probleemid on seotud kas kogude suure mahuga või kasutajale ebasõbraliku MuIS veebilehe ja hoidlates puuduva internetiühendusega. Inventeerimise käigus läheb peamine ressurss eseme olemasolu ja asukoha kontrollimise peale. Sageli ei jõuta suurte kogude inventeerimisel kontrollida (sh. MuISi sisestada) eseme seisundihinnangut. Probleemiks on ka eseme seisundi hindamise subjektiivsus. Abivahendina kasutatakse inventeerimisel MuISi väljavõtet Excel tabeli kujul, mille tulemusena tehakse sama tööd topelt ja suureneb veaprotsent. Inventuurimaratoni võiks tulevikus asendada museaalide jooksva ja vajaduspõhise inventuuriga, mida toetab museaalide säilivust prognoosiv masinõppemudel.

Pilootmuuseumidelt saadud tagasiside põhjal oodatakse kratt Sällilt peamiselt museaalide filtreerimise ja sorteerimise võimalikkust erinevate andmete põhjal nt. inventuuri aeg, digiteerimist vajavad museaalid, museaalide seisundid kogude kaupa. Taolise funktsionaalsuse arendamiseks ei ole vaja masinõpet, mistõttu sobiks see hästi MuIS 2.0 vaatesse.

MuIS andmete eelanalüüsi käigus hinnati 3,7 miljoni museaali andmete kvaliteeti esemete seisundit prognoosiva mudeli arendamiseks. Fookusesse võeti andmed, mis võiksid olla seotud eseme seisundiga sh. museaalide omadused (olemus, materjal, tehnikad, dateering), nendega seotud sündmused ja ajatempliga toimingud (näitused, korrastustööd, seisundihinnangud, kahjustused). Näiteks MuISi kantud museaalide peale on kokku täpselt 1000 erinevat olemust. 22% museaalidest on olemus märkimata. Kõige enam on museaalide seas fotosid ja fotonegatiive, mis moodustavad kokku 32% ehk ligi kolmandiku kõikidest museaalidest. MuISi andmetel on vaid 2,6% museaalidest näitusel käinud ja erinevaid korrastustöid (korrastamine, konserveerimine/restaureerimine) on teostatud 2%-l museaalidest. Tuleb arvesse võtta, et MuISi on andmeid sisestatud alates 2010. aastast. Seisundihinnanguid on MuISi sisestatud kokku 3,7 miljonit. Vähemalt üks seisundihinnang on MuISis 62% museaalidest ehk rohkem kui kolmandikul museaalidest ei ole kunagi seisundit hinnatud. Museaalide omadust ja stabiilsust kõrvutades tuli välja, et kõige ebastabiilsema olemusega museaalid on dokumendid ja lindid/paelad. Viimase seisund halveneb hinnanguliselt 1,4-3,5 korda kiiremini kui nt jakki/pintsaku seisund.

Kratt Sälli masinõppemudel saab anda maksimaalselt nii häid tulemusi, kui on sellele antud sisendandmete kvaliteet ja asjakohasus. Enne mudelite arendamist tuleb andmed ette valmistada, mis tähendab näiteks andmete ühtsele ja struktureeritud kujule viimist ning ebavajalike ja väärade sissekannete eemaldamist. 

Automaatsetest märgistussüsteemidest kasutatakse kogude märgistamisel peamiselt kolme süsteemi: vöötkood, maatrikskood(QR) ja raadiosagedustuvastus (RFID). Erinevate süsteemide omadusi ja eripärasid arvesse võttes soovitatakse muuseumides kasutusele võtta vöötkoodiga märgistamist, mis ei ole küll nii efektiivne kui eemalt ja mitme kaupa loetavad RFID kiibid, kuid on soodsam ja mida saab näiteks tehniliste probleemide korral ka ilma seadmeta lugeda.

Andmete eelanalüüsi tulemusena võib väita, et MuISi andmed on rahuldava kvaliteediga. Museaale on mõistlikul hulgal, kuid paljudel on mõni väli täitmata. Üldiselt soovitab töögrupp, et MuISi kantaks võimalikult palju andmeid ja jäetaks võimalikult vähe lünki ning et andmed oleksid juba sisestamise hetkel struktureeritud ja valideeritud.

Täispikka versiooni kratt Sälli I etapi tööde kohta saab lugeda siit. (PDF)

12. märtsil toimunud Peavarahoidjate neljapäevakul andis STACC OÜ andmeteadlane Meri Liis Treimann ülevaate Sälli projektist ettekandes „Andmete kvaliteet ja selle olulisus uuringutel Sälli eelanalüüsi näitel“ (PDF).

25. märtsil esitleti Sälli eelanalüüsi kokkuvõtet Muinsuskaitseameti muuseumidevaldkonna projektide infopäeval.

II etapi tööde vastuvõtmine

12. aprillil lõppes projekti II etapp, mille käigus andis täitja üle teostatud tööde dokumentatsiooni, mille juhtrühm kinnitas ja võttis vastu 19. aprillil.

II etapi tööde kokkuvõte

Mudelite arendamise etapi eesmärgiks oli selgeks teha, milliseid tulemusi museaali säilivuse prognoosimisel oleks võimalik saada masinõppemudeliga. Eelanalüüsi tulemustele toetudes sõnastati ümber säilivuse prognoosi ülesanne: Sälli ülesanne on prognoosida, kas museaali seisund halveneb järgmise n aasta jooksul, kus kõige paremaid tulemusi andev n selgitatakse välja eksperimentide käigus. Samuti võeti eesmärgiks kokku leppida näidutahvliga seotud funktsionaalsused ja tehnilised nõuded.

II etapi tööde sujuvamaks kulgemiseks küsiti MuISist uus väljavõte ning täiustati eelanalüüsis tehtud andmete puhastamise samme. Näiteks andmete puhastamise käigus jäi 6 964 932 museaali seisundihinnangust kasutada 5 739 279 seisundihinnangut. Eemaldati read, kus seisund on “määramata”, seisundihinnangu aeg on tulevikus või oli tegemist duplikaatidega.

Andmete kvaliteeti parandas oluliselt dateeringu prognoosimine. Dateering annab säilivuse prognoosimisel märkimisväärse signaali, kuid umbes 61% museaalidest on ilma dateeringuta. Puuduvate dateeringute tuletamiseks võeti kasutusele otsustuspuu, mis võttis sisendiks info museaali muuseumi, kogu, olemuse, materjali ja tehnika kohta. Testandmetel oli mudeli absoluutviga pooltel juhtudel kuni 10 aastat ja keskmine absoluutviga 25,5 aastat. Arvestades, et ka asjatundja ei pruugi alati täpset dateeringut teada ja säilivuse prognoosimisel oleks abiks ilmselt juba ka kümnendi või sajandi täpsusega dateeringust, on need tulemused aktsepteeritavad.

Mudeldamiseks vajalik baasandmestik loodi tabelina, kus iga rida vastab ühele andmepunktile ja iga veerg ühele tunnusele/omadusele selle andmepunkti kohta. Andmepunktidena kasutatakse seisundihinnanguid, millele lisatakse juurde vastava museaali omadused ja muu info, mis on seisundi halvenemise prognoosimise puhul oluline.

Mudeli tulemuste paremaks hindamiseks jagati olemasolevad andmed treening- ja testandmeteks, imiteerimaks olukorda kuhu mudel satub, kui see hiljem kasutusele võetakse.

Sälli puhul on kõige olulisem, et mudel tuvastaks võimalikult palju halvenevaid museaale ehk et oleks võimalikult vähe valenegatiivseid. Arvestades halvenevate museaalide vähest hulka ja seda, et oluline on tuvastada võimalikult palju halvenevaid museaale, lepiti kokku, et täpsus ei või olla madalam kui 0,5 ehk et Sälli võib anda valehäire kuni pooltel juhtudel.

Esimese eksperimendi eesmärk oli välja selgitada, millise ajaperioodi kohta oleks mõistlik prognoose anda. Arvestades MuISi vanust ja sinna kantud andmete vähesust, on mõistlik prognoose anda maksimaalselt järgmise 10  aasta peale. Prognoose ei ole mõistlik anda ka väga pika ajaperioodi kohta, mis muudab museaali seisundi hindamise ja konserveerimismenetluste planeerimise kaootiliseks. Kõige paremate tulemusteni nii saagist kui ka täpsust arvestades jõudis tavaline otsustuspuu samuti 10 aasta prognoosimisel. Lõpliku perioodi valikul lähtuti praktilisusest ehk millise perioodi prognoosid toetaksid muuseumide tegevuste planeerimist. Muuseumid teevad pikaajalisi tööplaane aastaid ette ja pärandihoidla kontekstis hakatakse koostama 7 aasta tööplaane. Sellest lähtuvalt prognoositakse museaalide säilivust 10 aasta peale.

Märkimisväärse riskiga museaalide näitamiseks on plaanis luua lihtne veebirakendus, mida pilootmuuseumides vahemikus mai-juuli kuni paar kuud testida. Et testimine kulgeks sujuvalt ja segaks praeguseid tööprotsesse minimaalselt, küsiti prototüübi planeerimisel jooksvalt tagasisidet ka pilootmuuseumidelt, mille vastustega on võimalik tutvuda analüüsi täispikas versioonis.

Kokkuvõttes võib öelda, et masinõppemudeliga on võimalik saavutada suhteliselt häid tulemusi ehk tuvastada vähemalt 83% halvenevatest museaalidest, saades seejuures alla 40% valepositiivseid. Kõige paremaid prognoose on siiani andnud otsustuspuu, kuid mudelite vaikeparameetreid nihutades võib mõni teine algoritm neid tulemusi ületada.

Täispikka versiooni kratt Sälli II etapi tööde kohta saab lugeda siit (PDF).

31. märtsil andis CIDOC komitee teada, et Sälli töörühma esitatud ettekanne „Algorithms study museum objects: using a machine learning model to assess the preservation of museum objects“ on vastu võetud mais 2022, Tallinnas toimuvale CIDOC konverentsile “Symbiosis of Tradition and Digital Technology”.

11. juunil külastas töörühm Eesti Rahva Muuseumi, eesmärgiga viia läbi Sälli prototüübi eeltestimine enne pilootmuuseumidele testimise avamist. Eeltestimise käigus vaadati üle 23 museaali, mille riskiskoor varieerus vahemikus 0,00-0,74. Valitud museaalidest ei olnud võimalik hinnata 6 museaali vananemist järgmise 10 aasta jooksul (museaalid olid kas hoidlast välja antud või ei leitud neid koheselt üles).

III etapi tööde vastuvõtmine

6. juulil lõppes projekti III etapp, mille käigus andis täitja üle teostatud tööde dokumentatsiooni koos lisadega, mille juhtrühm kinnitas ja võttis vastu 19. juulil.

III etapi tööde kokkuvõte

III etapi kaks peamist eesmärki olid mudeli edasiarendus (algoritmide ja sisendandmetega eksperimenteerimine) ning prototüübi arendus ja selle testimine pilootmuuseumides.

Lisaks II etapis katsetatud otsustuspuule ja XGBoostile testiti veel kolme algoritmi: materjalipõhine mudel, Naive Bayes ja otsustusmets. Viimane neist andis kõige paremaid tulemusi, mis 50% täpsuse juures tuvastas testandmetel 90% halvenevatest museaalidest. Katsetati ka otsustusmetsa algoritmi erinevate andmete ettevalmistamise viisidega nt. olemuste rühmade lisamine (tulemused oluliselt ei muutunud) ja seisundihinnangute lisamine. Kõige paremad tulemused saadi siis, kui lisati andmetesse seisundihinnanguid juurde, nii et kahe seisundihinnangu vahele ei jäänud rohkem kui 5 aastat. Nii oli 50% täpsuse juures võimalik testandmetes tuvastada 92% halvenevatest museaalidest (2% parem, kui ilma andmeid juurde lisamata).

Teame, et märgitud seisundihinnangud on subjektiivsed ja ei pruugi alati vastata tegelikkusele. Seega ei ole alati teada, kas museaali seisund on kahe erineva seisundihinnangu vahel päriselt halvenenud või tulenes seisundihinnang hindaja erialasest ettevalmistusest.

Masinõppemudeli prognooside kasulikkuse ja kasutatavuse lõplikuks hindamiseks loodi veebirakendus (https://salli.stacc.cloud/et/dashboard), kust muuseumitöötajad näevad oma muuseumi tuhandet kõige kõrgema riskiskooriga museaali, mille olukorra võiks eelisjärjekorras üle vaadata. Museaalide kontrollimisel kogutakse kasutajatelt tagasisidet, küsides nende hinnangut museaali seisundi halvenemise kohta. Projekti viimases etapis võrreldakse mudeli antud riskiskoore muuseumitöötajate tagasisidega, et anda prognoosidele lõplik hinnang.

Täispikka versiooni kratt Sälli III etapi tööde kohta saab lugeda siit (PDF). Tutvu ka kratt Sälli prototüübi kirjeldusega. (PDF)

18. juuni – 15. august testisid pilootmuuseumid Sälli prototüübi veebirakendust. Testijaid oli lisaks pilootmuuseumidele ka Muinsuskaitseametist. Kokku loodi veebirakenduse testimiseks 33 kasutajakontot.

/.../

/.../