Webarchivering in Nederland: de status anno 2011

Hoe staat het ervoor met webarchivering in Nederland? ; en: Wat moeten we doen om webarchivering in Nederland beter te organiseren? – dat waren de centrale vragen die gisteren, 18 april 2011, op de rechthoekige tafel lagen van de NCDD rondetafelbijeenkomst webarchivering.
Het zal de lezer niet verbazen dat wij, ondanks de hoge opkomst en de enthousiaste discussies, vraag twee in één middag niet hebben kunnen beantwoorden. Maar de beantwoording van vraag één is voor mij een stuk dichterbij gekomen.
Omdat de NCDD een sectoroverkoepelende organisatie is, waren er deelnemers uit overheidsorganisaties (‘zorgdragers’ in Archiefwettermen), uit archieven, bibliotheken, de wetenschap, een museum, en enkele commerciële aanbieders van webarchiveringsdiensten. Omdat bovendien de insteek van de deelnemers kon variëren van conceptueel/cultuurhistorisch tot héél praktisch, had ik tijdens mijn inleiding al spraakverwarringen aangekondigd, waarna ik de voorzittershamer direct overdroeg aan René Voorburg van de KB. Ik moest immers kunnen bloggen …. ;-)

Websites archiveren is iets anders dan websites verzamelen (collectievorming)

In de loop van de middag kwamen we erachter dat er verschillende vormen van webarchiveren zijn, en dat die in aanpak nogal van elkaar verschillen. Daarom krijgen ze hier allebei een eigen benaming:

• websites archiveren door overheidsdiensten (zorgdragers) is het pure archiveren conform de Archiefwet om verantwoording af te kunnen leggen over het handelen van de overheid. Het gaat hier om organisaties die hun eigen website archiveren, en dat in principe (zouden moeten) doen elke keer als de site verandert. Je moet immers kunnen aantonen wat er op 19 april 2011 aan informatie voor de burger op de site stond.
• websites verzamelen (collectievorming) is meer een activiteit van erfgoedinstellingen zoals de Koninklijke Bibliotheek. Het doel is niet verantwoording afleggen maar om toekomstige onderzoekers te dienen met informatie over ons huidige tijdsgewricht. Het gaat hier om instellingen die (vele) websites van anderen harvesten en dat in principe één of twee keer per jaar doen.

Ik ga op allebei wat dieper in:

Websites archiveren: ‘Websites zijn archieven in de zin van de Archiefwet’

Voor wie er nog aan mocht twijfelen: er waren drie archiefinspecteurs (Esther Balkestein, Jacko de Groot en Ingmar Koch) in de zaal en een zelfstandig overheidsadviseur (Erika Hokke) en die waren het over één ding roerend eens: websites zijn archieven in de zin van de Archiefwet. En dus, zo benadrukte Maurice van den Dobbelsteen van het Nationaal Archief, hebben overheidsinstellingen (‘zorgdragers’) zelf de plicht om die te archiveren. Dat gaat het Nationaal Archief niet voor ze doen. Het NA ontfermt zich pas over websites nadat ze zijn overgedragen. Momenteel staat daar twintig jaar op, en Maurice gaf direct toe dat die overdrachtstermijn in de digitale 21ste eeuw niet meer kan. Daarom komt er nu een beweging op gang waarbij het Nationaal Archief, maar ook lokale archieven, zullen proberen invloed uit te oefenen op de productiefase van digitale documenten zoals websites, om ervoor te helpen zorgen dat ze duurzaam worden bewaard. Aan de verantwoordelijkheid van de zorgdrager doet dat echter niets af.

Maar, zo verwoordde Bente Steffenssen van de Gemeente Bergen op Zoom het dilemma van veel collega’s: ‘Ik heb een vage opdracht om webarchivering op te starten, maar ik kan nergens concrete handvatten vinden en heb dus de neiging om het voorlopig maar in de ijskast te zetten. Begrijpen jullie dat?’ Waarop Ingmar Koch (archiefinspecteur) en Maurice van den Dobbelsteen (NA) eenstemmig antwoordden: ‘Officieel mogen we dat niet begrijpen.’

Maar simpel is het niet. Jaap-Jan Bakker van het Gewest Gooi- en Vechtstreek organiseerde onlangs een marktconsultatie. Daaruit kwam als conclusie dat geen enkele commerciële aanbieder een oplossing heeft die past in de huidige manier van werken. Websites kunnen natuurlijk wel worden gearchiveerd, maar als losse objecten, niet als onderdeel van het proces dat voor verantwoording zo belangrijk is. ‘Maar’, benadrukt Ingmar Koch, ‘dan doe je tenminste iets, en alles is beter dan niets.’ In dat licht keek hij ook naar de methode die het UWV momenteel hanteert: na iedere wijziging wordt de webpagina in een Word-document gevat en gearchiveerd. Niet ideaal, maar in het kader van roeien-met-de-riemen-die-je-hebt tenminste een vastlegging.


Toch moet de conclusie zijn dat er bestuurlijk nog steeds weinig aandacht is voor webarchivering, en dat er ook veel te weinig middelen en menskracht voor wordt ingezet. Marcel Prive van GWCrossmedia (o.a. Archiefweb) gaf aan dat er veel kan, maar dat organisaties vaak schrikken van de kosten. Men is gewend geld uit te geven voor fysiek beheer, maar niet voor digitaal beheer. Grote organisaties als NA, KB en NCDD doen hun best om de urgentie aan te tonen, maar dat blijft lastig.
Wat kunnen zorgdragers zelf doen? Een praktisch handvat: ervoor zorgen dat de ontwerpers van hun websites de Webrichtlijnen van de overheid kennen en toepassen. Dat voorkomt veel technische problemen achteraf. Ook het goed archiveren van het bronmateriaal voor de website is een alternatief dat kan werken.

 

Websites verzamelen: problemen met auteursrecht en kwaliteitscontrole

Organisaties die websites verzamelen vanuit een cultuurhistorisch perspectief, hebben weer andere problemen, om te beginnen het auteursrecht. Een kopie maken en die weer opnieuw ter beschikking stellen (wat deze organisaties willen) mag volgens het auteursrecht niet zonder toestemming. Er is een uitzondering voor on-site inzage, maar alle drie de aanwezige verzamelaars (KB, Nederlands Documentatie Centrum Politieke Partijen/Archipol en het Gemeentearchief Rotterdam met zijn cultuurhistorische Rotterdamcollectie) willen uiteindelijk hun verzamelingen online tonen. Zo ver is het trouwens nog niet. KB, Archipol en GAR zijn momenteel nog besloten verzamelingen. De KB gaat later dit jaar voorzichtig van start met on-site openstelling. Om zich auteursrechtelijk in te dekken, hanteert de KB een opt-out regeling: beheerders van websites krijgen een melding dat de KB ze wil harvesten. Als men dat niet wil, kan men dat aangeven. Archipol heeft overeenkomsten met de politieke partijen die geharvest worden, maar zo nodig wil men er wel toe overgaan om een naam te verwijderen uit privacy-overwegingen.

Ten behoeve van de KB-harvester voor één keer zonder mouse-over: vlnr René Voorburg (KB, gespreksleider), Marcel Prive (GWCrossmedia), Peter de Bode (KB), Peter Tervooren en Marleen Pijpelink (Atos/Archipol), en vele anderen

Zouden de instellingen erbij gebaat zijn om met zijn allen wat minder krampachtig met het auteursrecht om te gaan en zich uit cultuurhistorisch belang dezelfde rechten toeëigenen als bijvoorbeeld Google en het InternetArchive? Henk Druiven (Archipol): ‘Er is nog nooit iemand om deze reden in de gevangenis beland …’ Wellicht iets om in NCDD-verband over na te denken.
De KB harvest momenteel 3.000 websites, ca. twee maal per jaar. Op termijn moeten dat er jaarlijks 10.000 worden. Het selectiecriterium van de KB is het belang voor de Nederlandse samenleving en geschiedenis. Dat is, zoals bij alle cultuurhistorische verzamelingen, een subjectieve keuze van de verantwoordelijke medewerkers (w.o. Peter de Bode, foto boven). De KB probeert geen websites te verzamelen die elders worden opgenomen (Rotterdam, Archipol). Andere landen, zoals Frankrijk en Zweden, doen hele domeinharvests. De KB acht dat organisatorisch en financieel voor Nederland niet haalbaar, ook al omdat het .nl-domein naar schatting 4 miljoen urls domeinnamen  heeft [met dank aan Bob Coret voor de correctie].


Het harvesten van duizenden websites van onbekende makelij levert technisch veel problemen op. Daarom worden alle harvests handmatig gecontroleerd. Als bijvoorbeeld de plaatjes niet zijn meegekomen van een kunstenaarswebsite, wordt de harvest afgekeurd. In internationaal verband werken de o.a. de KB en het NA aan manieren om dit werk (deels) te automatiseren.

Andere meer op cultuurhistorie gerichte instellingen die aanwezig waren oriënteren zich nog. Beeld en Geluid onderzoekt momenteel diverse scenario’s voor websites verzamelen, in eerste instantie de websites van de omroepen, maar ook audiovisueel materiaal in breder verband, en social media. Dat is heel dynamische content, die men diep zou willen verzamelen, en er zijn nog geen kant-en-klare oplossingen voor het harvesten en weer beschikbaar stellen. Ook auteursrechtelijke aspecten moeten nog bekeken worden.

Het Friese Tresoar werkt samen met de KB bij het selecteren van Friese websites. Het NIOD beheert een aantal websites en laat er enkele door de KB harvesten. Technisch bleek het niet mogelijk ze allemaal bij de KB onder te brengen.

 

Duurzaamheid nog een groot technisch probleem

De KB, Archipol, diverse zorgdragers, het GemeenteArchief Rotterdam en diverse commerciële aanbieders zijn nu in staat om de meeste websites binnen te halen.  De KB gebruikt voor het harvesten de Web Curator Tool, een open-source schil rond de Heritrix software. Voor de beschikbaarstelling gaat de KB de Wayback Machine van InternetArchive gebruiken. Dat gaat allemaal goed zolang het html-pagina’s betreft. De harvestingsoftware kan (nog) niet omgaan met plug-ins en Javascript, en bijvoorbeeld de mouse-overs die ik in deze blog gebruik.
De duurzaamheid is ook nog een onopgelost probleem voor alle harvesters. Het is onbekend hoe de websites eruit zullen zien in de browsers van de toekomst. En dan zijn er vragen rondom migreren of emuleren. De techneuten zijn er nog lang niet uit hoe dat georganiseerd moet worden. De KB en het NA nemen deel aan internationale projecten om dit nader te onderzoeken (Dioscuri, Keep), maar concrete handvatten zijn nog niet ontwikkeld. Daarvoor is nog veel meer research nodig. En meer overleg tussen de NCDD-techneuten onderling (daar wordt aan gewerkt).
Overigens is die duurzaamheid ook internationaal nog een probleem. Het InternetArchive, bijvoorbeeld, heeft een onzekere financieringsstructuur en ook de backupstrategie is niet ideaal (zie o.a. mijn verslag van de PrestoCentre-conferentie en Brewster Kahles bijdrage daar).

 

Hoe gaan we webarchiveren/webverzamelen verder organiseren?

Het is niet gemakkelijk om echte conclusies te trekken uit zo’n eerste verkenning van het landschap in Nederland. De bijeenkomst leverde vooral het nodige inzicht op in de huidige situatie: de verschillende vormen van webarchivering, de verantwoordelijkheid van de zorgdragers, het feit dat helaas niemand nog het Ei van Columbus heeft ontdekt en dat webarchivering vooralsnog een zeer experimentele activiteit is.
Er kwamen wel een aantal duidelijke wensen op tafel richting NCDD en de NCDD-partners:

• Maak en publiceer een overzicht van wat waar verzameld/gearchiveerd wordt en waar het beschikbaar is
• Werk aan de urgentie bij bestuurders en het Ministerie
• Breng meer kennis naar buiten; help kleine instellingen met adviezen en handvatten
• Kleinere instellingen accepteren hun verantwoordelijkheid, maar denken dat research & development vooral van de grote spelers moet komen en dat instellingen als de KB ook diensten zouden moeten kunnen bieden aan derden, al dan niet tegen betaling.

Wat die laatste twee betreft kwam ik even uit mijn rol als blogger om aan te tekenen dat ze een altijddurend streven zijn van de NCDD, maar dat het in de praktijk lastig blijkt om vraag en aanbod qua kennis goed te koppelen. De bezuinigingen slaan ook toe bij de NCDD-partners, en dat betekent dat er minder personeel beschikbaar is om de eigen organisatie draaiend te houden en research te doen. Voor het ontwikkelen van kennis/diensten voor derden is er momenteel domweg niet genoeg capaciteit … Wat allemaal niet wegneemt dat de NCDD er naar blijft streven om een landelijke infrastructuur voor duurzame toegankelijkheid te bouwen, en vooral aan de achterkant, in de back office, samen te werken om het allemaal wat minder duur te maken. Alleen vanwege de bezuinigingen in een trager tempo dan we vorig jaar hoopten.

 

Ten slotte

Met dank aan Ingmar Koch en Petra Links: Het is waar dat we nog lang niet alles hebben opgelost, maar als je niets doet ben je er zeker van dat je alles verliest. Ook met beperkte middelen kunnen we al heel wat verlies aan informatie voorkomen, dat hebben we vanmiddag gezien.

Zie ook het verslag van Ingmar Koch op zijn blog.

Het NCDD-netwerk

ACDD, CCDD, NCDD, DEN, … de afkortingen vliegen ons om de oren. Om inzichtelijk te maken hoe het allemaal samenhangt heb ik deze figuren gemaakt:

Meer uitleg op de NCDD-website.
Ik hoop dat dit helpt; commentaar welkom ;-)

Culturele sector richt duurzaamheidsnetwerk op

Vandaag werd via de website van DEN bekendgemaakt dat de culturele sector definitief heeft besloten tot de oprichting van een duurzaamheidscoalitie die nauw gaat samenwerken met de NCDD om duurzame toegankelijkheid tot digitale gegevens te bevorderen. In juni schreef ik al een blog over de eerste besprekingen, en nu is het dus definitief. Mooi! Dan kan eindelijk dat nare vraagteken uit de schema’s van de NCDD zoals we die dit voorjaar nog lieten zien en wordt het plaatje steeds completer. Ook de NCDD zelf zit niet stil. Er wordt hard gewerkt aan een uitwerking van de strategische agenda die we in juni publiceerden en in die uitwerking kan de culturele sector nu volledig worden opgenomen. Weer een stap vooruit!

(PS: Jullie hebben nog wat achterstallig nieuws van me tegoed, van de iPRES en andere bijeenkomsten. Dat komt heus, maar het is even errrugg druk … Morgen en dinsdag naar Zwolle & Eindhoven, om een presentatie te geven tijdens de regioconferenties die het Ministerie van OCW heeft georganiseerd ter voorbereiding van de nieuwe Archiefvisie. Mijn opdracht was om het prikkelend te maken … of dat lukt met een degelijk onderwerp als digitale duurzaamheid zal blijken.)

(PS2: En David Rosenthal heeft me beloofd dat hij nog gaat reageren op de blog van René Voorburg over de noodzaak van migreren. Maar hij moest eerst even naar Berlijn.)

iPRES2010(5): samenwerken

Vanochtend kwam ik bij het ontbijt (Donau-muziek, op het buffet zowel champagne als Sachertorte) een Britse collega tegen (Neil Grindley van JISC, de Engelse SURF). Ik vroeg hoe het met hem ging. Nou, het gaat nog net, zei hij. En zo voelen we ons allemaal een beetje. De iPRES zelf duurt maar 2,5 dagen, maar daar zit een netwerkprogramma bij (2 formele recepties, 1 informele wine-tasting), er gaat een dag met tutorials aan vooraf, en omdat iedereen dan ‘toch’ bij elkaar is, organiseert Janenalleman na de iPRES de nodige workshops en werkgroepbijeenkomsten … waaronder, mea culpa, ook ik ;-). ‘Greater than the sums of our parts’ heette de workshop die de vier bestaande nationale coalities NCDD, DPC (UK), nestor (Du) en NDIIPP (VS) hadden bedacht toen we vorig jaar tijdens de iPRES in San Francisco voor de eerste keer samen om de tafel zaten. Blijkbaar een thema dat aansloeg, want de workshop was volgeboekt en ik verdenk zelfs enkele zwartrijders. Het werd een prima bijeenkomst, al zeg ik het zelf. De coalities stelden zich voor (NCDD, andere presentaties volgen op de website van nestor, en lieten zien dat ze toch allemaal een beetje anders in elkaar zitten, hoewel ze hetzelfde doel nastreven. Ook was er gelegenheid voor andere organisaties om zich te presenteren: de Open Planets Foundation, de Digitale Bibliotheek van Finland, het Zweedse expert centrum digitale duurzaamheid, Presto-Prime, de Canadezen, DANS (‘gedreven door data’ én ‘gedreven door samenwerking’ zo meldde Henk Harmsen enthousiast (foto links)), en ook de Italianen bij monde van Maurizio Lunghi (foto boven, voorgrond rechts), die nog helemaal niets nationaals hebben.
Daarna kwam de discussie. Bram van der Werf, de onlangs benoemde Directeur van de Open Planets Foundation (foto rechtsonder), gooide meteen de knuppel in het internationale hoenderhok: de Nationale Bibliotheek van Australië heeft aangekondigd eind dit jaar te stoppen met Padi, het kennisnetwerk dat vele duurzaamheidsprofessionals de afgelopen jaren heeft gediend met discussies en informatie. ‘Doodzonde’, om Padi te stoppen, vond iedereen, maar de Australiërs geven aan dat ze de benodigde formatie niet meer kunnen ophoesten. Ze moeten te veel werk zelf doen en kunnen te weinig rekenen op anderen. Dat is een bekend probleem, ook binnen de NCDD. Iedereen wil kennis hebben en vele collega’s willen het ook graag delen, maar ja, we hebben zoveel andere dingen te doen … en dan schiet bijvoorbeeld het op peil houden van websites er snel bij in.
Maar Nu (was een veel gehoorde frase tijdens deze iPRES), hebben we de Open Planets Foundation! Een structurele organisatie die open en internationaal is, DE ideale organisatie om alles op te pakken wat anderen laten liggen -----
Nou nee, zegt Bram vd Werf bedachtzaam (foto rechts), en terecht. De OPF is opgericht om de tools die door Planets zijn ontwikkeld te onderhouden, zodat ze niet in het niets verdwijnen, zodat de producten van Planets doorontwikkeld en onderhouden worden. De OPF wil een open organisatie zijn die ook andere tools ‘adopteert’ die kansrijk zijn. Maar de OPF is geen afvalbak voor projecten die anderen niet meer kunnen voortzetten.
Wie gaat het dan verzorgen, iets als Padi, een belangrijk internationaal knooppunt van kennis, zodat we niet links en rechts hetzelfde wiel moeten uitvinden? Van het  panel van vier coalities (foto links) krabt William Kilbride (DPC) eens achter zijn oor, Natascha Schumann (nestor) luistert, IA zegt dat ze met de Australiërs wil gaan praten, terwijl Martha Anderson (NDIIPP, rechts) als voorzitster het proces bewaakt. Het is duidelijk. We lossen niet alles op in een workshop. Maar dit was een mooi begin, en er is zelfs een vervolg in de maak, volgend jaar, in Tallinn, Estland, van 23-25 mei, een conferentie over afstemming tussen nationale initiatieven.
(Morgen nog een dagje IIPC – m.a.w. webarchivering; de technische sessies heb ik vanmiddag overgeslagen ten faveure van even een frisse neus halen op de Donau. Helaas bleef de boot 2 uur lang hangen in de sluizen in de Donau bij Wenen, waar een defect aan was. Frisse neus werd vooral dieseldampen …

Een najaar vol duurzaamheid

1 September leek me een mooie datum om definitief afscheid te nemen van de komkommertijd en deze blog nieuw leven in te blazen. Want we hebben niet stil gezeten en in september gaat er weer van alles gebeuren:

2 september: Bocholt, Deutsch-Niederlaendisches Archivsymposium, waar ik op speciaal verzoek een lezing houd over de toekomst van het boek - fysiek en digitaal.

6 september: Den Haag, 'Kennis koppelen', brainstorm met partners uit het NCDD-circuit over hoe we informatie en kennis over digitale duurzaamheid beter kunnen ordenen en voor de sectoren toegankelijker kunnen maken.

16 september: Den Haag, De NCDD organiseert samen met DEN en de KB een internationale expert meeting over de kosten van digitale duurzaamheid, 'Price tags of digital preservation policy choices'. Het is een besloten bijeenkomst, omdat we er echt een werkbijeenkomst van willen maken, maar uiteraard zal ik uitvoerig berichten over de resultaten.

19-24 september: de jaarlijkse iPRES, dit keer in Wenen. Ik zal er weer uitgebreid over bloggen.

23 september: 'Greater than the sum of our parts?', workshop tijdens de iPRES van de vier bekende nationale duurzaamheidscoalities (DPC, NCDD, NDIIPP en nestor) over diverse manieren van samenwerken op nationaal niveau.

30 september: Vervolgoverleg bij DEN/Virtueel Platform over de vorming van een duurzaamheidscoalitie in het digitaal erfgoed.

4 oktober: Heidag met het dagelijks bestuur van de NCDD om de strategische agenda handen en voeten te geven.

En dan heb ik het nog niet eens over webarchivering en digitale survivaltechnieken voor kleinere instellingen - die volgen later in het najaar.

Ik hoop jullie tegen te komen - fysiek of digitaal ;-)

Ook cultureel erfgoed zoekt samenwerking duurzame toegankelijkheid

Het is een bijzondere week. Na de baanbrekende overeenkomst van de archieven besloot gisteren een brede delegatie uit het (museaal) cultureel erfgoed  dat ook de duurzame toegankelijkheid van digitaal cultureel erfgoed gezamenlijk moet worden aangepakt. Digitaal Erfgoed Nederland en Virtueel Platform hadden het initiatief genomen tot een strategisch overleg hierover. Aanleiding was de publicatie van de strategische agenda van de Nationale Coalitie Digitale Duurzaamheid (Toekomst voor ons digitaal geheugen, 2). Daarin werd de sector van het museaal cultureel erfgoed aangeduid als ‘te diffuus’ om op dit moment op te nemen in de plannen waarin met voortrekkerorganisaties gewerkt wordt aan de bouw van infrastructuren voor duurzame toegankelijkheid in diverse sectoren. Dat kon de sector niet op zich laten zitten. DEN en Virtueel Platform besloten daarop de sector uit de nodigen voor een goed gesprek.

Aan dit strategisch overleg namen deel (foto boven vanaf rechtsonder, met de klok mee) Ole Bouwman (NAi), Anne Vroegop (Cultureel Erfgoed NL), Annelies van Nispen (DEN), Marco de Niet (DEN), Floor van Spaendonck (Virtueel Platform), Reinier van ’t Zelfde (RKD), Wilbert Helmus (SIMIN, Fries Museum), Rob Hendriks (Rijksmuseum), Toine Berbers (Vereniging Rijksgesubsidieerde Musea), Margriet de Jong (Nederlandse Museum Vereniging), Dirk Houtgraaf (Rijksdienst voor Cultureel Erfgoed), Annemarie Kremer (Theater Instituut NL), Maaike Tonen (OCW DCE, vertrokken voor de foto werd genomen) en Inge Angevaare (NCDD; achter de camera). Enkele andere genodigden moesten wegens agendaproblemen verstek laten gaan: Gaby Wijers van NIMk, Jos Taekema van Museum Volkenkunde en Kees Hendriks van Naturalis.

Het strategisch overleg krijgt een vervolg, want na de principebeslissing zal het hoe en wat nader moeten worden uitgewerkt. Zo moet worden ingevuld wie het samenwerkingsverband gaat vertegenwoordigen naar OCW en naar in de NCDD. DEN en Virtueel Platform hebben zich bereid verklaard dit oprichtingsproces te trekken. Er volgt een verslag dat breed verspreid gaat worden.

Aan het eind van de bijeenkomst zei Wilbert Helmus van de Friese Musea/SIMIN: ‘Hulde aan DEN en Virtueel Platform voor dit initiatief. Want er moet iets gebeuren. Het is niet dat we niet wilden samenwerken, maar het kwam er gewoon nooit van. Dit is een mooi begin.’