Museaalide säilitamise kratt Sälli

27. septembril esitati Riigi Infosüsteemi Ametile (RIA) eeltaotlus kratt Sälli projekti rahastamiseks Euroopa Regionaalarengu Fondi taotlusvoorusule „Avalike teenuste arendamise eel-, äri- ja kasutatavuse analüüside läbiviimine - 18.05.2015-31.07.2023“

12. novembril saadi kratt Sälli projekti eeltaotlusele Riigi Infosüsteemi Ametilt positiivne vastus.

28. aprillil avaldati riigihange „Tehisintellekt Sälli otsustusmudeli loomine“. Hanke tulemusena selgub projekti tööde teostaja.

09. juulil sai kratt Sälli pilootprojekt RIAlt positiivse rahastamisotsuse. Eraldatud toetuse suuruseks 75 928,80 €.

14. septembril allkirjastati leping STACC OÜga tehisintellekti kratt Sälli prototüübi loomiseks. Tööd teostatakse ajavahemikul 15. september 2020 - 14. september 2021 neljas etapis: eelanalüüs, mudeldamine, prototüübi tarkvara loomine ja valideerimine ning järelanalüüs.

I etapi alustamine. Septembris alustati projekti esimese etapiga, mille eeldatav valmimisaeg on 15. detsember 2020. Esimeses etapis hinnatakse projekti teostatavust, selgitatakse välja inventeerimise protsessi kiirendamiseks erinevad variandid ja analüüsitakse krati mudeli loomiseks vajalikke andmeid. Andmete kogumisel tehakse koostööd pilootmuuseumidega.

Projekti I etapi töörühma moodustavad Meri Liis Treimann, Kurmo Konsa ja Kristiina Piirisild. Juhtrühma kuuluvad Mirjam Rääbis, Madli Pärn, Janika Turu ja Marju Niinemaa.

8. oktoobril tutvustati projekti muuseumide peavarahoidjate teabepäeval ja kutsuti üles muuseume projektiga liituma. Projektiga liitunud muuseumid on kuvatud esilehel.

7. novembril Eesti Konservaatorite Ühingu VII teadusseminaril „Digimaailma asjad“ sai projekt kajastust Janika Turu ettekandes „Tehisintellektid muuseumis“.

Tööde vaheetappide tähtaegade muutmine

16. novembril kinnitas juhtrühm projekti täitja ettepanekul töö I ja II etapi tähtaegade pikendamise vastavalt uuele ajakavale, mille järgi teostatakse I etapi tööd vahemikus 15. september – 8. jaanuar 2021 ja II etapi tööd vahemikus 8. jaanuar – 12. aprill 2021. III etapi tööd algavad 12. aprillil 2021.

Vaheetappide tähtaegade pikendamise peamiseks põhjuseks oli oodatust pikem osapoolte vaheline andmete üleandmise protsess ja andmepäringute modifitseerimine vastavalt projekti skoobile.

Projekti tähtaja lõpp ei muutu ja selleks on endiselt 14. september 2021.

I etapi tööde vastuvõtmine

8. jaanuaril lõppes projekti I etapp, mille käigus andis täitja üle teostatud tööde dokumentatsiooni, mille juhtrühm kinnitas ja võttis vastu 15. jaanuaril.

I etapi tööde kokkuvõte

Eelanalüüsi käigus kaardistati pilootmuuseumide inventeerimise protsessid ja ootused kratt Sällile, teostati kõikide muuseumide MuIS andmete eelanalüüs, kaardistati pilootmuuseumide täiendavad andmekogud, analüüsiti museaalide säilimise ennustamiseks vajalikke andmeid ning kaardistati ja analüüsiti museaalide märgistamise süsteeme.

Planeeritavate pärandihoidlate kontekstis läheb MKA andmete põhjal ühe museaali inventeerimiseks keskmiselt 19 minutit, mis tähendab, et 2,5 miljoni museaali inventeerimiseks 5a. jooksul läheb vaja ca 70 täistöökohaga inimest. See ilmestab selgelt, miks on vaja inventeerimisprotsesse kiiremaks muuta.

Analüüs näitas, et inventeerimisprotsesside peamised probleemid on seotud kas kogude suure mahuga või kasutajale ebasõbraliku MuIS veebilehe ja hoidlates puuduva internetiühendusega. Inventeerimise käigus läheb peamine ressurss eseme olemasolu ja asukoha kontrollimise peale. Sageli ei jõuta suurte kogude inventeerimisel kontrollida (sh. MuISi sisestada) eseme seisundihinnangut. Probleemiks on ka eseme seisundi hindamise subjektiivsus. Abivahendina kasutatakse inventeerimisel MuISi väljavõtet Excel tabeli kujul, mille tulemusena tehakse sama tööd topelt ja suureneb veaprotsent. Inventuurimaratoni võiks tulevikus asendada museaalide jooksva ja vajaduspõhise inventuuriga, mida toetab museaalide säilivust prognoosiv masinõppemudel.

Pilootmuuseumidelt saadud tagasiside põhjal oodatakse kratt Sällilt peamiselt museaalide filtreerimise ja sorteerimise võimalikkust erinevate andmete põhjal nt. inventuuri aeg, digiteerimist vajavad museaalid, museaalide seisundid kogude kaupa. Taolise funktsionaalsuse arendamiseks ei ole vaja masinõpet, mistõttu sobiks see hästi MuIS 2.0 vaatesse.

MuIS andmete eelanalüüsi käigus hinnati 3,7 miljoni museaali andmete kvaliteeti esemete seisundit prognoosiva mudeli arendamiseks. Fookusesse võeti andmed, mis võiksid olla seotud eseme seisundiga sh. museaalide omadused (olemus, materjal, tehnikad, dateering), nendega seotud sündmused ja ajatempliga toimingud (näitused, korrastustööd, seisundihinnangud, kahjustused). Näiteks MuISi kantud museaalide peale on kokku täpselt 1000 erinevat olemust. 22% museaalidest on olemus märkimata. Kõige enam on museaalide seas fotosid ja fotonegatiive, mis moodustavad kokku 32% ehk ligi kolmandiku kõikidest museaalidest. MuISi andmetel on vaid 2,6% museaalidest näitusel käinud ja erinevaid korrastustöid (korrastamine, konserveerimine/restaureerimine) on teostatud 2%-l museaalidest. Tuleb arvesse võtta, et MuISi on andmeid sisestatud alates 2010. aastast. Seisundihinnanguid on MuISi sisestatud kokku 3,7 miljonit. Vähemalt üks seisundihinnang on MuISis 62% museaalidest ehk rohkem kui kolmandikul museaalidest ei ole kunagi seisundit hinnatud. Museaalide omadust ja stabiilsust kõrvutades tuli välja, et kõige ebastabiilsema olemusega museaalid on dokumendid ja lindid/paelad. Viimase seisund halveneb hinnanguliselt 1,4-3,5 korda kiiremini kui nt jakki/pintsaku seisund.

Kratt Sälli masinõppemudel saab anda maksimaalselt nii häid tulemusi, kui on sellele antud sisendandmete kvaliteet ja asjakohasus. Enne mudelite arendamist tuleb andmed ette valmistada, mis tähendab näiteks andmete ühtsele ja struktureeritud kujule viimist ning ebavajalike ja väärade sissekannete eemaldamist. 

Automaatsetest märgistussüsteemidest kasutatakse kogude märgistamisel peamiselt kolme süsteemi: vöötkood, maatrikskood(QR) ja raadiosagedustuvastus (RFID). Erinevate süsteemide omadusi ja eripärasid arvesse võttes soovitatakse muuseumides kasutusele võtta vöötkoodiga märgistamist, mis ei ole küll nii efektiivne kui eemalt ja mitme kaupa loetavad RFID kiibid, kuid on soodsam ja mida saab näiteks tehniliste probleemide korral ka ilma seadmeta lugeda.

Andmete eelanalüüsi tulemusena võib väita, et MuISi andmed on rahuldava kvaliteediga. Museaale on mõistlikul hulgal, kuid paljudel on mõni väli täitmata. Üldiselt soovitab töögrupp, et MuISi kantaks võimalikult palju andmeid ja jäetaks võimalikult vähe lünki ning et andmed oleksid juba sisestamise hetkel struktureeritud ja valideeritud.

Täispikka versiooni kratt Sälli I etapi tööde kohta saab lugeda siit. (PDF)

12. märtsil toimunud Peavarahoidjate neljapäevakul andis STACC OÜ andmeteadlane Meri Liis Treimann ülevaate Sälli projektist ettekandes „Andmete kvaliteet ja selle olulisus uuringutel Sälli eelanalüüsi näitel“ (PDF).

25. märtsil esitleti Sälli eelanalüüsi kokkuvõtet Muinsuskaitseameti muuseumidevaldkonna projektide infopäeval.

II etapi tööde vastuvõtmine

12. aprillil lõppes projekti II etapp, mille käigus andis täitja üle teostatud tööde dokumentatsiooni, mille juhtrühm kinnitas ja võttis vastu 19. aprillil.

II etapi tööde kokkuvõte

Mudelite arendamise etapi eesmärgiks oli selgeks teha, milliseid tulemusi museaali säilivuse prognoosimisel oleks võimalik saada masinõppemudeliga. Eelanalüüsi tulemustele toetudes sõnastati ümber säilivuse prognoosi ülesanne: Sälli ülesanne on prognoosida, kas museaali seisund halveneb järgmise n aasta jooksul, kus kõige paremaid tulemusi andev n selgitatakse välja eksperimentide käigus. Samuti võeti eesmärgiks kokku leppida näidutahvliga seotud funktsionaalsused ja tehnilised nõuded.

II etapi tööde sujuvamaks kulgemiseks küsiti MuISist uus väljavõte ning täiustati eelanalüüsis tehtud andmete puhastamise samme. Näiteks andmete puhastamise käigus jäi 6 964 932 museaali seisundihinnangust kasutada 5 739 279 seisundihinnangut. Eemaldati read, kus seisund on “määramata”, seisundihinnangu aeg on tulevikus või oli tegemist duplikaatidega.

Andmete kvaliteeti parandas oluliselt dateeringu prognoosimine. Dateering annab säilivuse prognoosimisel märkimisväärse signaali, kuid umbes 61% museaalidest on ilma dateeringuta. Puuduvate dateeringute tuletamiseks võeti kasutusele otsustuspuu, mis võttis sisendiks info museaali muuseumi, kogu, olemuse, materjali ja tehnika kohta. Testandmetel oli mudeli absoluutviga pooltel juhtudel kuni 10 aastat ja keskmine absoluutviga 25,5 aastat. Arvestades, et ka asjatundja ei pruugi alati täpset dateeringut teada ja säilivuse prognoosimisel oleks abiks ilmselt juba ka kümnendi või sajandi täpsusega dateeringust, on need tulemused aktsepteeritavad.

Mudeldamiseks vajalik baasandmestik loodi tabelina, kus iga rida vastab ühele andmepunktile ja iga veerg ühele tunnusele/omadusele selle andmepunkti kohta. Andmepunktidena kasutatakse seisundihinnanguid, millele lisatakse juurde vastava museaali omadused ja muu info, mis on seisundi halvenemise prognoosimise puhul oluline.

Mudeli tulemuste paremaks hindamiseks jagati olemasolevad andmed treening- ja testandmeteks, imiteerimaks olukorda kuhu mudel satub, kui see hiljem kasutusele võetakse.

Sälli puhul on kõige olulisem, et mudel tuvastaks võimalikult palju halvenevaid museaale ehk et oleks võimalikult vähe valenegatiivseid. Arvestades halvenevate museaalide vähest hulka ja seda, et oluline on tuvastada võimalikult palju halvenevaid museaale, lepiti kokku, et täpsus ei või olla madalam kui 0,5 ehk et Sälli võib anda valehäire kuni pooltel juhtudel.

Esimese eksperimendi eesmärk oli välja selgitada, millise ajaperioodi kohta oleks mõistlik prognoose anda. Arvestades MuISi vanust ja sinna kantud andmete vähesust, on mõistlik prognoose anda maksimaalselt järgmise 10  aasta peale. Prognoose ei ole mõistlik anda ka väga pika ajaperioodi kohta, mis muudab museaali seisundi hindamise ja konserveerimismenetluste planeerimise kaootiliseks. Kõige paremate tulemusteni nii saagist kui ka täpsust arvestades jõudis tavaline otsustuspuu samuti 10 aasta prognoosimisel. Lõpliku perioodi valikul lähtuti praktilisusest ehk millise perioodi prognoosid toetaksid muuseumide tegevuste planeerimist. Muuseumid teevad pikaajalisi tööplaane aastaid ette ja pärandihoidla kontekstis hakatakse koostama 7 aasta tööplaane. Sellest lähtuvalt prognoositakse museaalide säilivust 10 aasta peale.

Märkimisväärse riskiga museaalide näitamiseks on plaanis luua lihtne veebirakendus, mida pilootmuuseumides vahemikus mai-juuli kuni paar kuud testida. Et testimine kulgeks sujuvalt ja segaks praeguseid tööprotsesse minimaalselt, küsiti prototüübi planeerimisel jooksvalt tagasisidet ka pilootmuuseumidelt, mille vastustega on võimalik tutvuda analüüsi täispikas versioonis.

Kokkuvõttes võib öelda, et masinõppemudeliga on võimalik saavutada suhteliselt häid tulemusi ehk tuvastada vähemalt 83% halvenevatest museaalidest, saades seejuures alla 40% valepositiivseid. Kõige paremaid prognoose on siiani andnud otsustuspuu, kuid mudelite vaikeparameetreid nihutades võib mõni teine algoritm neid tulemusi ületada.

Täispikka versiooni kratt Sälli II etapi tööde kohta saab lugeda siit (PDF).

21. märtsil toimus Majandus- ja Kommunikatsiooniministeeriumi eestvedamisel kratte tutvustav üritus „Kratid avalikus sektoris – kasutuslugude tutvustamine“, kus Meri Liis Treimann (STACC OÜ) esitles Sällit ettekandes „Sälli ehk inventeerimist ja säilitamist hõlbustav kratt Muinsuskaitseametis“. Järgi vaadatav siit: https://www.kratid.ee/uudised

31. märtsil andis CIDOC komitee teada, et Sälli töörühma esitatud ettekanne „Algorithms study museum objects: using a machine learning model to assess the preservation of museum objects“ on vastu võetud mais 2022, Tallinnas toimuvale CIDOC konverentsile “Symbiosis of Tradition and Digital Technology”.

11. juunil külastas töörühm Eesti Rahva Muuseumi, eesmärgiga viia läbi Sälli prototüübi eeltestimine enne pilootmuuseumidele testimise avamist. Eeltestimise käigus vaadati üle 23 museaali, mille riskiskoor varieerus vahemikus 0,00-0,74. Valitud museaalidest ei olnud võimalik hinnata 6 museaali vananemist järgmise 10 aasta jooksul (museaalid olid kas hoidlast välja antud või ei leitud neid koheselt üles).

III etapi tööde vastuvõtmine

6. juulil lõppes projekti III etapp, mille käigus andis täitja üle teostatud tööde dokumentatsiooni koos lisadega, mille juhtrühm kinnitas ja võttis vastu 19. juulil.

III etapi tööde kokkuvõte

III etapi kaks peamist eesmärki olid mudeli edasiarendus (algoritmide ja sisendandmetega eksperimenteerimine) ning prototüübi arendus ja selle testimine pilootmuuseumides.

Lisaks II etapis katsetatud otsustuspuule ja XGBoostile testiti veel kolme algoritmi: materjalipõhine mudel, Naive Bayes ja otsustusmets. Viimane neist andis kõige paremaid tulemusi, mis 50% täpsuse juures tuvastas testandmetel 90% halvenevatest museaalidest. Katsetati ka otsustusmetsa algoritmi erinevate andmete ettevalmistamise viisidega nt. olemuste rühmade lisamine (tulemused oluliselt ei muutunud) ja seisundihinnangute lisamine. Kõige paremad tulemused saadi siis, kui lisati andmetesse seisundihinnanguid juurde, nii et kahe seisundihinnangu vahele ei jäänud rohkem kui 5 aastat. Nii oli 50% täpsuse juures võimalik testandmetes tuvastada 92% halvenevatest museaalidest (2% parem, kui ilma andmeid juurde lisamata).

Teame, et märgitud seisundihinnangud on subjektiivsed ja ei pruugi alati vastata tegelikkusele. Seega ei ole alati teada, kas museaali seisund on kahe erineva seisundihinnangu vahel päriselt halvenenud või tulenes seisundihinnang hindaja erialasest ettevalmistusest.

Masinõppemudeli prognooside kasulikkuse ja kasutatavuse lõplikuks hindamiseks loodi veebirakendus (https://salli.stacc.cloud/et/dashboard), kust muuseumitöötajad näevad oma muuseumi tuhandet kõige kõrgema riskiskooriga museaali, mille olukorra võiks eelisjärjekorras üle vaadata. Museaalide kontrollimisel kogutakse kasutajatelt tagasisidet, küsides nende hinnangut museaali seisundi halvenemise kohta. Projekti viimases etapis võrreldakse mudeli antud riskiskoore muuseumitöötajate tagasisidega, et anda prognoosidele lõplik hinnang.

Täispikka versiooni kratt Sälli III etapi tööde kohta saab lugeda siit (PDF). Tutvu ka kratt Sälli prototüübi kirjeldusega. (PDF)

18. juuni – 15. august testisid pilootmuuseumid Sälli prototüübi veebirakendust. Testijaid oli lisaks pilootmuuseumidele ka Muinsuskaitseametist. Kokku loodi veebirakenduse testimiseks 33 kasutajakontot.

IV etapi tööde vastuvõtmine

14. septembril lõppes projekti IV etapp, mille käigus andis täitja üle teostatud tööde dokumentatsiooni ja mille juhtrühm kinnitas ning võttis vastu 20. septembril. Sälli pilootprojekt on lõppenud.

IV etapi tööde kokkuvõte

IV etapi kaks peamist eesmärki oli prototüübi testimine ja valideerimine ning teostada järelanalüüs, mis annaks hinnangu mudeli täpsusele ja kasutatavusele ning kaardistaks tulevikuarendusteks vajalikke samme.

III etapi käigus valminud prototüüpi testiti vahemikus 18.06.2021 – 23.08.2021 kümnes pilootmuuseumis, kust tundis testimise vastu huvi 30 kasutajat. Testimise käigus paluti hinnata nii valimisse sattunud museaalide halvenemise tõenäosust kui ka anda tagasisidet Sällile tervikuna. Testimiseks laeti prototüüpi üles iga muuseumi kohta 1000 mudeli arvates kõige kõrgema riskiskooriga museaali, mille seisundit ei olnud 2021. aasta jooksul hinnatud (03.06.2021 MuISi väljavõtte seisuga). Testimises osales üheksa muuseumi kümnest. Neist seitsmes muuseumis kontrolliti ja anti seisundi halvenemise hinnang vähemalt 100 museaalile ning üks muuseum (Rannarahva Muuseum SA) jõudis ära kontrollida kõik 1000 testimiseks üles laetud museaali. Kokku kontrolliti üles laetud 10 000 museaalist ära 3201 museaali.

Museaali kontrollimisel paluti rakenduses vastata küsimusele “Kas teie arvates võib selle museaali seisund järgmise 10 aasta jooksul halveneda?”. Kontrollitud museaalidest 5% ehk 160 kohta arvasid kontrollijad, et seisund võib järgmise 10 aasta jooksul halveneda, 85% juhtudest arvati, et seisund ei või järgmise 10 aasta jooksul halveneda, ja 10% juhtudest ei osatud vastata.

Testijate sõnul oli rakenduse kasutamine pigem lihtne ja mugavust lisas see, et rakendus on kohandatud ka mobiilsetele seadmetele, mistõttu ei pidanud museaale kontrollima minnes sülearvutit kaasa võtma. Samas heideti ette, et rakendus oli aeglane ja mõnikord museaali kontrollituks märkimine ei salvestunud. Samuti toodi miinusena välja, et museaalide ühekaupa kontrollimine võtab kauem aega kui MuISis.

Museaalide säilivuse hindamise keerukuse suhtes olid vastanud erinevatel arvamustel. Mõne kasutaja jaoks oli see lihtne, mõne kasutaja, kes ei ole säilitusspetsialist ega tegele sellega igapäevaselt, jaoks jällegi keeruline. Leiti ka, et seisundi võimaliku muutuse asemel oleks lihtsam hinnata praegust seisundit.

Enamus vastanutest leidsid, et Sälli soovitustest oleks mingil määral abi, eelkõige suurte kogude ja väheste töötajate korral.

IV etapi aruannet saab lugeda siit. (PDF)

Sälli pilootprojekt on lõppenud, kuid kindlasti kuulete Sällist ka edaspidi!

STACCi hinnangul ei ole pilootprojekti käigus valminud museaalide säilivust hindav masinõppemudel veel piisavalt küps, et sellele usaldada inventuuri vajalikkuse määramist, kuid eksperimentide ja testimise põhjal näeme selle edasiarendamises potentsiaali. Tänane Sälli masinõppemudel võiks abiks olla pigem suurte kogude ja väheste töötajatega muuseumides, samuti muuseumides, kus puuduvad säilitusspetsialistid. Sällit võiks kasutada näiteks tervete muuseumikogude või hoidlate inventeerimise prioriseerimiseks keskmise riskiskoori alusel või näitusele minevate museaalide ülevaatamise prioriseerimiseks.

Tänase Sälli masinõppemudeli üks probleem on selle keeruline tõlgendatavus ehk ei ole võimalik piisavalt lihtsalt ja lühidalt põhjendada, miks mudel ühe või teise skoori andis. Ehkki teoreetiliselt on võimalik praegu kasutusel oleva juhusliku metsa (ingl random forest) üksiku prognoosini jõudmist visualiseerida, ei ole see väljund kasulik, kuna iga prognoosi jõudmiseks kasutatakse 100 väikese otsustuspuu (ingl decision tree) väljundit, mis võetakse kokku üheks skooriks.

Kui me teame täpselt, millistel põhjustel (nt materjal, tehnoloogia, hoiustamistingimused jms) ja kui kiiresti museaalid vananevad, siis puudub vajadus masinõppemudeli järele. Kahjuks on vastavad teadmised enamike materjalide vanaemiskiiruste kohta puudulikud. Samuti ei tea me sageli objekti valmistamisaega ja, mis veelgi olulisem, seniseid keskkonnatingimusi, mis on mõjutanud materjalide vanemiskiiruseid. Seega on olemasolevatest andmetest mustreid otsiv masinõppemudel ainsaks olemasolevaks viisiks sedalaadi teabe hankimiseks.

Praegu saab Sälli mudeli antud riskiskoore näha MuISi kasutajaliidesest eraldiseisvas rakenduses, mis tekitab asjatut lisakoormust nii muuseumitöötajatele kui ka Sälli rakenduse ja MuISi kasutajaliidese arendajatele ja haldajatele. Meie peamine soovitus oleks tulevikus eraldiseisva rakenduse edasiarendamise asemel saata Sälli mudeli väljundid otse MuISi, nii et kogu museaalide kohta vajamineva info saaks kätte ühest keskkonnast ning samad andmed ja funktsionaalsused ei oleks duplitseeritud mitmes süsteemis.

Sälli edasiarendamisel on soovitatav eelnevalt sisse viia järgmised täiendused ja muudatused: museaalide parem kirjeldamine MuISis, eelkõige eseme materjali märkimine; märkida sagedamini MuISi museaalide seisundihinnanguid; museaalidele seisundi hinnangu andmine vajab kriitilise pilguga üle vaatamist. Üks idee on ka kaotada seisundi hindamine oma tänasel kujul ja asendada see kahjustuste hindamisega; MuISis kirjeldatud kahjustuste sõnastiku kasutamine mudelis. Hetkel taolist sõnastikku ei ole; kliimaandmete standardiseerimine. Hetkel monitooritakse ja säilitatakse kliimaandmeid muuseumiti väga erinevalt.

Projekti lõpparuandega saab tutvuda siin (PDF).