Migreren of niet? The debate continues – part 3

Naar aanleiding van de blog van gisteren met David Rosenthal’s commentaar op deze blog, kreeg ik een reactie van René Voorburg, betrokken bij het project webarchivering van de KB. De reactie paste niet in het ‘reactie’-vak van de blog, dus publiceer ik hem hier graag als gastblog:

[Citaat van Rosenthal uit vorige blog:] "My statement that significant formats have not gone obsolete over the last 15 years is not a theory but a *fact*."

[Commentaar Voorburg:] That sounds like circular reasoning. Perhaps 'significant formats' are defined as formats that have not gone obsolete?

I have some personal experience with files gone obsolete or not being able to use older files anymore. In each of these cases I seriously tried to fix the problem but didn't keep a record. So unfortunately my experiences are lacking detail and preciseness, but perhaps sharing them will be of some anecdotal value. The relevant context is that at home I used Apple Systems 7 up to 9, moved to MacOSX, then used Linux as my primary OS for about a year and then switched back to MacOSX. At work I've used anything from DOS up to Windows XP. I am a pretty knowledgeable computer user, for example experienced in various programming languages.

My experiences:

• At a certain moment in time I discovered I couldn't open some pictures I shot years before with one of the first digital camera's, the Apple Quicktake 150. I couldn't  open them with any multiple format handling image programs (Graphic Converter, I recall).
• The images I shot with the Quicktake 150 that I did manage to open nowadays all seem to have a faulty (or is it?) embedded color profile. Colors have become way too much saturated. I recollect the colors used to be normal.
• I have (deleted in the meantime) some movies I wasn't able to play anymore (because they were encoded with a Sorenson-codec I didn't have access to anymore, this was on Linux). I don't know if these would have been accessible on current day MacOSX systems.
• I've lost mails or parts of mails that were saved in a proprietary mailbox used (only!) by Microsoft Outlook for Mac when trying to migrate to another more common system (mbox).
• I've experienced that newer versions of MS Word on Windows weren't able to open some files that were created with an older version of MS Word for Windows.
• It is still quite common that I can't use a website because it was created for Internet Explorer which I don't (always) have access to.

Perhaps in a professional environment all these issues could have been overcome. In hindsight every solution is easy but hindsight usually means you are too late already …

René Voorburg, KB web archiving project

Deze blog houdt zich uiteraard zeer aanbevolen voor nieuwe reacties …

David Rosenthal en de noodzaak van migraties - zijn eigen commentaar

Anderhalve week geleden blogde ik over de bijeenkomst kostenmodellen en de mening van David Rosenthal dat we te veel energie steken in migraties omdat nog lang niet bewezen is dat bestandsformaten inderdaad onbruikbaar worden. David is het niet eens met de manier waarop ik mijn blog besloot, en stuurde me onderstaande mail die ik verbatim opneem:

"Unless Google's translation is at fault, I want to strenuously object to a comment in this blog posting: http://digitaalduurzaam.blogspot.com/2010/09/kosten-2-koffiedikkijken-of-serieuze.html. You say (Google's translation): 'And maybe Rosenthal's theory is only useful in its own domain, e-journals, where PDF-A "rules".'

It is simply untrue that e-journal = PDF. Collecting e-journals by collecting only the PDF form destroys most of the value in the e-journal. Visit any state of the art e-journal, such as http://www.bmj.com/ and you will see that PDFs contain only a small proportion of the content of the site. Preserving PDFs is a completely inadequate strategy for preserving e-journals.

It is precisely because of this that the LOCKSS system is designed to collect *everything* published by a web-site, such as an e-journal. HTML, CSS, Javascript, GIF, JPG, WAV, MP3, video, spreadsheets, ... We collect and preserve it all.

Implying that my "theory" applies only to e-journals is a serious misrepresentation. My statement that significant formats have not gone obsolete over the last 15 years is not a theory but a *fact*. I have repeatedly challenged the digital preservation experts to come up with a counter-example, a format that was in use after 1995 and can no longer be rendered. The only example that has been put forward is a very early version of Microsoft Project - hardly a basis for an entire, expensive strategy of migration. Note that emulating a 1995 PC will still render this format. The theory is that this will continue into the future. If you argue that it will not, you need to come up with a plausible scenario by which at least one format will go obsolete. Again, no-one has put forward any such scenario.

I would ask you to correct your misrepresentation. David"

Tijdens de bijeenkomst waren er collega's die van mening waren dat bestandsformaten wel degelijk onbruikbaar worden c.q. geworden zijn. David daagt jullie uit om met bewijzen te komen. Ik stel mijn blog gaarne open voor het debat!

IIPC (2): technische strategieën webarchivering

'Making more informed "guesses" about what works, David Pearson, National Library of Australia. Zo'n titel vermoedt een echt pragmatische aanpak, en bij de Australiërs ben je dan meestal in goede handen. In Australië wordt het hele .au domein vier keer per jaar geharvest in het Pandora webarchief. Van de 2.3 miljard files die daaruit zijn voortgekomen, is een klein deel nu al niet meer toegankelijk, omdat de file formats al weer verdwenen zijn. Wat kun je daaraan doen? Een beroep doen op file format registers (Pronom, UDFR, etc.)? Een beroep doen op Wikipedia? Documenteren wat de webarchieven hebben gebruikt/nu gebruiken? Daar komen hele lijsten met gebruikte software uit. Door die te vergelijken kun je beter inschatten wat er gebruikt zou kunnen zijn. Pearson vraagt leden van de IIPC of ze mee willen helpen om zulke lijsten te maken. Het blijft wel een beetje stil in de zaal ....

'Here be dragons', strategies for dealing with virusees in the web archive, Matt Holden, Institut National de l'Audiovisuel). Holden wil de virussen niet helemaal uit het webarchief houden, want ze zijn een stuk historie, maar je wilt natuurlijk niet dat ze het hele archief infecteren. Hij acht het risico bij het oogsten van websites klein, want dan wordt er van alles gecheckt. Bij het opvragen is het risico veel groter. Dan moet je niet alleen het archief beschermen, maar ook de PC van de gebruiker. Beschikbare tools zijn ClamAV, Dazuko en HAVP. De strategie van INA bestaat uit: regelmatige viruschecks in het archief en regelmatige checks van het dataverkeer tussen het archief en de gebruiker. - Bij tests bleek het archief 2458 virussen te bevatten (28 unieke), 1 virus per 50,000 files. Exploit & Iframe zijn de meest voorkomende virustypes. Als de lezer weet wat dit betekent, weet hij meer dan ik ;-). De conclusie is dat de virussen een relatief laag risico zijn voor het webarchief. Maar ja, eentje kan te veel zijn ....

Duurzaamheidsstrategieën: emulatie of migratie?

'I say emulate; he says migrate', David Pearson, National Library of Australia (rechts) en Jeffrey van der Hoeven van de KB namens het KEEP project. Hoe gaan we duurzaamheid waarborgen? Dat is een tak van sport die nog in de kinderschoenen staat. Want er zit van alles in websites, tekst, databases, beelden, video, etc. etc. Wat je gaat bewaren en welke eigenschappen je belangrijk vindt, hangt af van de doelstelling van de de bewarende organisatie.

Mogelijke duurzaamheidsstrategieën zijn migratie (omzetten van bestanden naar steeds nieuwe software) en emulatie (een nieuwe computer door middel van software laten functioneren als een oude computer). Je kunt natuurlijk ook proberen de oude computers te bewaren (computermuseum), maar dat spoor zal snel doodlopen als die computers niet meer onderhouden kunnen worden. En wie weet 50 jaar later nog hoe die computers werkten?

De National Library of Australië deed een serie tests met zowel emulatie (Dioscuri) als migratie. Bij emulatie kreeg men vooral problemen met: a) allerhande licenties op software; b) de vele onderlinge afhankelijkheden tussen de gebruikte programma's. Maar aan het eind kwamen de meeste objecten er goed genoeg uit. Migratie vereiste zeer snelle dataverbindingen, en de beschikbare tools zijn niet perfect en nogal langzaam. En het is moeilijk om goede beslissingen te nemen als je niet weet wat het exacte doel van de beschikbaarstelling is. Al met al concludeerde Australië dat de belangrijkste vraag nog niet is beantwoord: wat willen we precies bewaren? Waavoor bewaren we precies? Er zijn verder te weinig tools, en de tools die er zijn, moeten nog verder ontwikkeld worden. Vooral bij grote hoeveelheden data werken ze slecht.

Jeffrey van der Hoeven van KB presenteert het KEEP project: Keeping Emulation Environments Portable. Jeffrey laat zien hoe snel het gaat met de veranderingen in de software die we gebruiken. De laatste browser is Google Chrome 2009, dat op de markt wordt gebracht onder het motto 'not your mother's JavaScript'. Complex, dus. Ook de functionaliteit van websites is in vijftien jaar tijd enorm vooruitgegaan. Om de websites te gebruiken hebben we steeds meer software nodig (plug-ins, fonts, video). En waar websites nog wel compatibel kunnen zijn, zijn de browsers dat vaak niet.

Van der Hoeven zegt direct: emulatie is niet DE oplossing, maar voor complexe websites zou het weleens de enige oplossing kunnen zijn. De KB en het NA hebben er veel onderzoek naar gedaan en o.a. Dioscuri ontwikkeld. Maar, geeft Jeffrey toe, we zijn er nog niet. Een emulator is een complex systeem dat alleen door 'techies' kan worden gebruikt. Ook heb je de oude software nodig (licenties!). En wie weet nog precies hoe die oude programma's werkten?

KEEP is een Europees project dat erop is gericht het makkelijker te maken data over te zetten van oude dragers op nieuwe; duurzaamheid te bevorderen; en de emulatie onafhankelijk te maken van een specifiek computerplatform. Het project loopt van 2009 tot 2012. Jeffrey vraagt het publiek om mee te helpen ontwikkelen aan een goed emulatieplatform. Daar kan ik weinig aan bijdragen. Maar ik heb wel een advies voor komende projecten: het is aardig als een acronyiem lekker klinkt (KEEP), maar als het vervolgens volstrekt onduidelijk wordt waar het om gaat, dan ben je je doel toch wel een beetje voorbijgeschoten.

David Rosenthal van LOCKSS vindt KEEP een interessant project, maar hij denkt dat het makkelijker kan. Als je de meest gebruikte browsers inbouwt in de pijplijn tussen het archief en de gebruiker, dan zou je al veel oplossen. LOCKSS kiest voor het bewaren van de bitstream; eventuele migratie geschiedt op het moment van opvragen, 'on the fly'. Ook denkt David dat het wel zal meevallen met het in onbruik raken van file formats. Zijns inziens zal dat veel langzamer gaan dan soms gesuggereerd. Hier schiet mijn technische kennis tekort ...

Iemand uit het publiek vraagt waar Australië nu voor zou kiezen, migratie of emulatie. David's antwoord: 'personally I think migration ... or emulation.' Men is er nog niet uit. Anderen vragen hoe lang het zal duren voordat we emulatie of migratie echt moeten gaan inzetten. Jeffrey geeft aan dat er nu al content verloren gaat. Maar misschien kunnen we dat ook accepteren, voegt David toe.

Ten slotte vragen Jeffrey van der Hoeven en Hilde van Wijngaarden van de KB andere organisaties om mee te helpen ontwikkelen aan emulatietechnieken.