IIPC (4): case studies organisatie webarchivering

Dit wordt de laatste sessie van drie lange en zeer nuttige conferentiedagen in San Francisco, met wederom een Nederlandse afsluiting: Hilde van Wijngaarden en Marcel Ras van de KB over het integreren van webarchivering in de KB-organisatie.

Square pegs: fitting web archives into the digital preservation repository of the National Library of New Zealand, Kevin L. De Vorsey. In Nieuw Zeeland geldt alles dat wordt gepubliceerd in het .nz domein als 'publicatie' die valt onder de wettelijke depotregeling (dus ook deze tatoeage). De bibliotheek moet dus alles verzamelen en toegankelijk houden. Maar voor hoe lang? 'Voor zo lang als nodig' is de definitie. Is dat vijf jaar? 25 jaar? 1000 jaar? Eigenlijk doet dat er niet toe, zegt De Vorsey. Wij moeten de risico's managen die er nu zijn; de toekomst zal voor zichzelf zorgen. Maar het archief heeft het wel moeilijk gehad met het integreren van websites; die zijn veel complexer dan een .tiff of .pdf. De bibliotheek is nu zo ver dat men de websites kan archiveren, maar moet nog veel werk doen om de structuren van die informatie echt te doorgronden en op basis daarvan de juiste duurzaamheidsbeslissingen te nemen.

Continuity and preservation: the National Archives approach to maintaining permanent access to the web presence of UK Central Government, Amanda Spencer and Alison Heatherington. Zelfs de politiek ging zich druk maken over webarchivering toen een minister de informatie die hij nodig had niet meer kon vinden op overheidswebsites; er waren te veel gebroken links. Dat is een mooie manier om aandacht te vragen voor het probleem, lijkt me! Het leidde ertoe dat in Engeland het hele overheidsdomein (zo'n 1500 websites) nu drie keer per jaar door de National Archives wordt geharvest. Ook helpt het NA de overheden met het implementeren van automatische verwijzingen naar het webarchief als links het niet meer doen.

Gisterochtend begon de iPRES met een discussie over de economische kant van de zaak en de noodzaak om aan te tonen dat duurzaamheid nuttig is. Deze case van de UK National Archives lijkt me een mooi voorbeeld van hoe je ook direct nut kunt hebben, en niet alleen in die verre, verre toekomst. Dat kan het weer ietsje makkelijker maken om de nodige fondsen te werven.

Ik zie trouwens dat de NA vooralsnog uitgaat van migratie als duurzaamheidsstrategie, ook voor de websites. Het migratiegereedschap dat men gebruikt is 'Outside in' van Oracle. Maar ook dit is een 'work in process' en er zijn nog veel vragen over de metadata, over de risico's en over migratie. De workflows staan op de wiki van de IIPC, en de NA vragen uitdrukkelijk om feedback van het publiek.

Iemand uit het publiek merkt op dat de Engelse NA wellicht het eerste archief is dat echt werk gemaakt heeft van webarchivering. Amanda antwoordt dat de keuze ook binnen de NA niet onbesproken is. Menigeen vond dat websites eigenlijk publicaties zijn die niet thuishoren in een archief. Maar de voorstanders wonnen.

It's the end of a project as we know it: a discussion on experiences and issues in embedding web archiving and preservation in an organization, Marcel Ras en Hilde van Wijngaarden, Koninklijke Bibliotheek; met Birgit Nordsmark Henriksen van de KB Kopenhagen en Gildas Illien van de BnF Parijs. De KB heeft een paneldiscussie georganiseerd met andere collega's die de projectfase van webarchivering voorbij zijn en nu een reguliere dienst hebben geïmplementeerd. Wat betekent zo'n overgang voor je organisatie? Marcel Ras geeft een overzicht van de taakverdeling binnen de KB (collecties selecteert; het e-Depot harvest en bewaart; en de afdeling publieksdiensten verzorgt de toegang). Bij de overgang van project naar dienst heeft hij een aantal problemen ervaren die allemaal te herleiden zijn tot een gebrek aan steun in de organisatie voor deze nieuwe dienst. En daarom is er te weinig IT-steun, te weinig expertise, en niet genoeg coördinatie tussen de betrokken afdelingen. Herkennen de andere deelnemers zulke problemen?

Gildas Illien vertelt het verhaal van de BnF: de traditionele depotafdeling van 150 medewerkers was gericht op massaproductie. In 2007 is het webarchiveringsteam (3-4 fte) geïntegreerd in die afdeling, maar het blijft een team met een eigen identiteit. Ook hij meldt dat er meer betrokkenheid van IT en van het management nodig is.

Birgit Nordsmark Hendriksen vertelt hoe de (analoge) depotbibliotheek van Denemarken volledig gekopieerd wordt in Aarhus. Er moeten altijd twee exemplaren worden gedeponeerd. Ten aanzien van webarchivering is er een taakverdeling gemaakt: in Kopenhagen worden de snapshots gemaakt en in Aarhus worden selecties en gebeurtenissen geharvest. Kopenhagen heeft de 'access copy' en Aarhus heeft het archiefexemplaar. Beide lokaties hebben IT-afdelingen. De R&D wordt in Aarhus verzorgd, terwijl Kopenhagen een digitaal duurzaamheidsteam heeft. Een stuurgroep overkoepelt op beide lokaties. De gebruikte software, NetarchiveSuite, werd ontwikkeld samen met de BnF en is beschikbaar in open source (http://netarchive.dk/suite/Development). De afdeling collecties vindt het nog wel lastig om in zo'n technische omgeving te werken, zeker omdat men maar een paar uur per week voor het webarchief werkt (alleen de service manager heeft een full-time baan). De verdeling over twee bibliotheken stelt hoge eisen aan de coördinatie, maar geeft ook veel mogelijkheden voor flexibiliteit. Men heeft behoefte aan meer gereedschappen, maar de andere problemen van de KB herkent Birgit niet zozeer.

Het panel, vlnr: Marcel Ras, Birgit Nordsmark, Gildas Illien, en Hilde van Wijngaarden.

Moderator Hilde van Wijngaarden vraagt ook naar een aantal ervaringen in de zaal. Die blijken over het algemeen positief te zijn. Maar in de wandelgangen blijken de problemen van de KB ook elders voor te komen - alleen zeg je dat niet altijd in het publiek.

En dat is precies wat congresbezoek zo waardevol maakt: je hoort niet alleen de officiële versies, maar je kunt ook eens ronduit vragen: wérkt dat project van jullie ook echt? Na het tweede glas wijn krijg je vast een eerlijk antwoord. Niet om te publiceren, natuurlijk, maar wel om in de 'hoofdbagage' mee naar huis te nemen. Dat hoofd zit nu trouwens wel boordevol. Het is tijd om een dagje toerist te gaan spelen in San Francisco.

IIPC (3): organisatie van webarchivering

What do web archivers (or is it archivists) really do? Gina Jones, Library of Congress. Wat is een 'internetarchivaris' en wat moet zo'n functionaris in huis  hebben? Omdat acquisitie een hoofdtaak is, moet je in elk geval weten wat er technisch allemaal mogelijk is in web crawls (en hoe je de zoekvragen goed definieert), je moet internet kennen (om precies te kunnen vinden wat je zoekt), je moet een collectieplan hebben, en je moet weten hoe je de gebiedsdeskundigen betrekt bij het proces. Aan de kant van de toegang moeten webarchivarissen  weten hoe gebruikers zoeken en welke gereedschappen ze hebben. De juiste metadata genereren is ook een kunst apart. Ten aanzien van het bewaren van websites moeten archivarissen weten wat er in de archieven zit om die goed te kunnen beheren. De eerste masteropleiding webarchivaris is inmiddels opgestart door de School of Information Science van de University of North Carolina.

Let's talk! Organization schemes and metrics for preservation planning and management negotiation in web archiving institutions - Gildas Ilien, Bibl. nationale de France. (De titel is ingewikkeld en vaag, maar het gaat hier om communicatiestoornissen en prestatie-indicatoren.) In het digitale tijdperk hebben bibliothecarissen en IT-staf elkaar hard nodig, maar ze lijken soms wel een andere taal te spreken. Bibliothecarissen hebben het gevoel dat ze de controle over hun collecties kwijt zijn; IT-staf heeft weinig affiniteit met de inhoud. En het management moet ervoor proberen te zorgen dat de twee kampen toch dicht genoeg bij elkaar komen om goed te kunnen samenwerken. De BnF heeft beide partijen in een aantal flinke workshops bij elkaar gezet om de hele workflow in detail te beschrijven. Daardoor werden verantwoordelijkheden verduidelijkt. Ook ten aanzien van vakjargon moest er het nodige worden opgehelderd. Dat hielp. Niettemin blijft het lastig om de schaal, de snelheid en het wereldwijde karakter van internet te vertalen in organisatorische voorzieningen en in eenheden waarmee je je prestaties kunt meten (metrics).

Web archives are forever: defining a workflow for long-term preservation of web archives, Maureen Pennock, The British Library. De IIPC heeft een speciale digitale duurzaamheidswerkgroep die de workflow in kaart probeert te brengen nadat het oogsten voltooid is . De echte langetermijnbewaring, dus. Zo'n workflow moet generiek toepasbaar zijn en moet continuïteit, consistentie en authenticiteit waarborgen. Gezien de hoeveelheden moet de workflow zoveel mogelijk geautomatiseerd zijn. Na analyse van bestaande documenten (van o.a. de BL, de BnF, de KB en de National Library of New Zealand) heeft de werkgroep een aantal flowcharts ontwikkeld die ik hier niet kan herhalen. Wie een webarchief wil inrichten, verwijs ik graag naar de werkgroep, de IIPC website waar de presentaties worden geplaatst, of naar Maureen.

IIPC (2): technische strategieën webarchivering

'Making more informed "guesses" about what works, David Pearson, National Library of Australia. Zo'n titel vermoedt een echt pragmatische aanpak, en bij de Australiërs ben je dan meestal in goede handen. In Australië wordt het hele .au domein vier keer per jaar geharvest in het Pandora webarchief. Van de 2.3 miljard files die daaruit zijn voortgekomen, is een klein deel nu al niet meer toegankelijk, omdat de file formats al weer verdwenen zijn. Wat kun je daaraan doen? Een beroep doen op file format registers (Pronom, UDFR, etc.)? Een beroep doen op Wikipedia? Documenteren wat de webarchieven hebben gebruikt/nu gebruiken? Daar komen hele lijsten met gebruikte software uit. Door die te vergelijken kun je beter inschatten wat er gebruikt zou kunnen zijn. Pearson vraagt leden van de IIPC of ze mee willen helpen om zulke lijsten te maken. Het blijft wel een beetje stil in de zaal ....

'Here be dragons', strategies for dealing with virusees in the web archive, Matt Holden, Institut National de l'Audiovisuel). Holden wil de virussen niet helemaal uit het webarchief houden, want ze zijn een stuk historie, maar je wilt natuurlijk niet dat ze het hele archief infecteren. Hij acht het risico bij het oogsten van websites klein, want dan wordt er van alles gecheckt. Bij het opvragen is het risico veel groter. Dan moet je niet alleen het archief beschermen, maar ook de PC van de gebruiker. Beschikbare tools zijn ClamAV, Dazuko en HAVP. De strategie van INA bestaat uit: regelmatige viruschecks in het archief en regelmatige checks van het dataverkeer tussen het archief en de gebruiker. - Bij tests bleek het archief 2458 virussen te bevatten (28 unieke), 1 virus per 50,000 files. Exploit & Iframe zijn de meest voorkomende virustypes. Als de lezer weet wat dit betekent, weet hij meer dan ik ;-). De conclusie is dat de virussen een relatief laag risico zijn voor het webarchief. Maar ja, eentje kan te veel zijn ....

Duurzaamheidsstrategieën: emulatie of migratie?

'I say emulate; he says migrate', David Pearson, National Library of Australia (rechts) en Jeffrey van der Hoeven van de KB namens het KEEP project. Hoe gaan we duurzaamheid waarborgen? Dat is een tak van sport die nog in de kinderschoenen staat. Want er zit van alles in websites, tekst, databases, beelden, video, etc. etc. Wat je gaat bewaren en welke eigenschappen je belangrijk vindt, hangt af van de doelstelling van de de bewarende organisatie.

Mogelijke duurzaamheidsstrategieën zijn migratie (omzetten van bestanden naar steeds nieuwe software) en emulatie (een nieuwe computer door middel van software laten functioneren als een oude computer). Je kunt natuurlijk ook proberen de oude computers te bewaren (computermuseum), maar dat spoor zal snel doodlopen als die computers niet meer onderhouden kunnen worden. En wie weet 50 jaar later nog hoe die computers werkten?

De National Library of Australië deed een serie tests met zowel emulatie (Dioscuri) als migratie. Bij emulatie kreeg men vooral problemen met: a) allerhande licenties op software; b) de vele onderlinge afhankelijkheden tussen de gebruikte programma's. Maar aan het eind kwamen de meeste objecten er goed genoeg uit. Migratie vereiste zeer snelle dataverbindingen, en de beschikbare tools zijn niet perfect en nogal langzaam. En het is moeilijk om goede beslissingen te nemen als je niet weet wat het exacte doel van de beschikbaarstelling is. Al met al concludeerde Australië dat de belangrijkste vraag nog niet is beantwoord: wat willen we precies bewaren? Waavoor bewaren we precies? Er zijn verder te weinig tools, en de tools die er zijn, moeten nog verder ontwikkeld worden. Vooral bij grote hoeveelheden data werken ze slecht.

Jeffrey van der Hoeven van KB presenteert het KEEP project: Keeping Emulation Environments Portable. Jeffrey laat zien hoe snel het gaat met de veranderingen in de software die we gebruiken. De laatste browser is Google Chrome 2009, dat op de markt wordt gebracht onder het motto 'not your mother's JavaScript'. Complex, dus. Ook de functionaliteit van websites is in vijftien jaar tijd enorm vooruitgegaan. Om de websites te gebruiken hebben we steeds meer software nodig (plug-ins, fonts, video). En waar websites nog wel compatibel kunnen zijn, zijn de browsers dat vaak niet.

Van der Hoeven zegt direct: emulatie is niet DE oplossing, maar voor complexe websites zou het weleens de enige oplossing kunnen zijn. De KB en het NA hebben er veel onderzoek naar gedaan en o.a. Dioscuri ontwikkeld. Maar, geeft Jeffrey toe, we zijn er nog niet. Een emulator is een complex systeem dat alleen door 'techies' kan worden gebruikt. Ook heb je de oude software nodig (licenties!). En wie weet nog precies hoe die oude programma's werkten?

KEEP is een Europees project dat erop is gericht het makkelijker te maken data over te zetten van oude dragers op nieuwe; duurzaamheid te bevorderen; en de emulatie onafhankelijk te maken van een specifiek computerplatform. Het project loopt van 2009 tot 2012. Jeffrey vraagt het publiek om mee te helpen ontwikkelen aan een goed emulatieplatform. Daar kan ik weinig aan bijdragen. Maar ik heb wel een advies voor komende projecten: het is aardig als een acronyiem lekker klinkt (KEEP), maar als het vervolgens volstrekt onduidelijk wordt waar het om gaat, dan ben je je doel toch wel een beetje voorbijgeschoten.

David Rosenthal van LOCKSS vindt KEEP een interessant project, maar hij denkt dat het makkelijker kan. Als je de meest gebruikte browsers inbouwt in de pijplijn tussen het archief en de gebruiker, dan zou je al veel oplossen. LOCKSS kiest voor het bewaren van de bitstream; eventuele migratie geschiedt op het moment van opvragen, 'on the fly'. Ook denkt David dat het wel zal meevallen met het in onbruik raken van file formats. Zijns inziens zal dat veel langzamer gaan dan soms gesuggereerd. Hier schiet mijn technische kennis tekort ...

Iemand uit het publiek vraagt waar Australië nu voor zou kiezen, migratie of emulatie. David's antwoord: 'personally I think migration ... or emulation.' Men is er nog niet uit. Anderen vragen hoe lang het zal duren voordat we emulatie of migratie echt moeten gaan inzetten. Jeffrey geeft aan dat er nu al content verloren gaat. Maar misschien kunnen we dat ook accepteren, voegt David toe.

Ten slotte vragen Jeffrey van der Hoeven en Hilde van Wijngaarden van de KB andere organisaties om mee te helpen ontwikkelen aan emulatietechnieken.