‘Metadata is a love note to the future’ (iPRES2011, 4)

The quote in the title comes from a tiny sticker I found here in the conference room. I almost missed it, it is that small. I do not know who put the stickers out there. Perhaps the barcode could tell me, but I haven’t downloaded the app yet. In any case, the quote is one to pass on to you, and in a (bit of a creative) way, it brings together the two keynote speeches on day 2 of iPRES2011. [Post script: Henk Koning of DANS tells me that this is the url: http://mialnttf.tumblr.com/].

Mick Newman of the Australian National Film and Sound Archive (photo left) spoke about  ‘Preserving motion film, so much to do and so little time …’ Mick made no secret of his ‘lovely chauvinism’ for analogue film – the film experience for him includes a buzzing reel of acetate film (nitrate being a bit too flammable, after all). Like Richard Wright (BBC) last week in Hamburg, Newman reported that the transition to digital is slow. And not as easy as, e.g., for documents, because films are complex objects containing high-quality images and high-quality sounds, and an ISO file format such as motion-JPEG2000 works for the image, but does a mediocre job with sound. And the files are huge: a 35-mm film with 350,000 frames will turn into a 10 TB digital object. A complex object at that, with formidable metadata challenges (here’s the link to the title), with complicated intellectual property regimes for script, sound, music, set design, etc. etc., causing Newman to quote Karen Van Malssen saying ‘It doesn’t matter what the question is, the answer is metadata.’

At the end of his talk, Newman showed a slide with the pros and cons of analogue preservation vs. digital preservation, and the very fact that he showed the slide at all was notable. In the library and archives community nobody thinks in terms of those ‘or-or’ terms anymore. But, then again, they tend to keep the physical originals whereas Newman made clear that preserving analogue films is very demanding and thus expensive.

 

In the next keynote the focus was shifted to research data, with Ross Wilkinson of the Australian National Data Service ANDS. Like Seamus Ross yesterday morning (see earlier post) Wilkinson made the case for preservation in terms of added value rather than controlling risks (see last week’s post). With research driving innovation, however, I think his argument is a lot more compelling (towards funders, that is) than just referring to our ‘memory’ and ‘identity’ – which are hard to express in terms of dollars and euros.

Wilkinson (photo left) focussed on increasing the value of research data, a.o. by connecting different databases to generate new information to enable new types of research (and some of that value must come from metadata, hence another creative link to my title). Wilkinson’s added value list is as follows:

‘Data is more valuable, if …

• it can be used later
• it is able to be used by more researchers
• it is able to be used to answer new questions
• it is able to be integrated to explore new data spaces …’

‘To do so, it must be managed, connected, discovered, and then re-used – it has to move out of the lab.’

Who is going to do all that work? Wilkinson believes in partnerships – many have a role to play in the process. The researcher, the institution, ‘data carers’ in all shapes and sizes (data librarians, data scientists, etc.), discipline-specific repositories and more general archiving institutions such as ANDS (and DANS in the Netherlands). 

Moving research data from the private to the public sphere: each partner has a role to play in adding value to the data

Plus, of course, a number of stakeholders that have a role to play in motiving researchers to share, such as funders and key players in scholarly communications such as publishers. If data become citable, more researchers will be willing to share.

To conclude, this is Wilkinson’s favourate case study of research data reuse:

Q&A: Arif Shaon of STFC in the UK

Conference dinner in the library’s plaza. Yes, the food was again wonderful. And the lemonade kept us sharp for the next day (the barley flavour was especially tasty)

Our kind hosts put an umbrella in the conference pack …

'The Really Foolproof Solution for Digital Preservation ....

... is ... money ... enough of it, and for an indefinite period. If this cannot be guaranteed, the rest of this book will be essential for you', writes David Giaretta (Alliance for Permanent Access/STFC) at the beginning of his new book. I am not giving you the full title yet, because I am afraid that it might scare you off. Certainly, if I had just seen the title without knowing the book or the background, I would have thought that this book is not for me. And that would have been a mistake, because, although I am not a technical expert, I am thoroughly enjoying it and learning a lot in the process. And so may you, especially if you are one of the many readers that read my post about Giaretta's workshop at the LIBER conference in June. This book gives you much more of where that came from.

David Giaretta with his book.

Contrary to what the title would have you expect (allright then, here it is: Advanced Digital Preservation), there is lots of good solid basic digital preservation information in this book. OAIS for example. Everybody has seen the functional model's diagramme, but how many of us have actually read the standard and understood the philosophy behind it? Giaretta guides us through it in detail. And in pleasantly understandable language. Plus: the importance attached to a clear definition of the designated community in the OAIS model - this is crucial to what follows.

Inevitably, things do get technical in the course of the book; after all, if we did not have technical problems we would not have a digital preservation problem, but the not-too-technical-reader is always warned in good time that this perhaps is a section or a chapter to be skipped. Yet the essence of Giaretta's theory is worth noting for everybody. In his view, migration and emulation, our most well-known preservation strategies, are perhaps good enough for simple objects (PDFs, tiffs, jpegs), but are inadequate for many complex objects which can be found among research data, Giaretta's main focus (hence the title Advanced Digital Preservation). No-one will doubt that scientific research often generates very difficult objects to preserve - they are complex, dynamic, often non-renderable, and so forth.

If you do not preserve research data, this book is still important for you, because other sectors (cultural heritage, archives) that started out with simple objects will increasingly be faced with more complex varieties, as content producers are discovering the extra possibilities and putting them to good use.



The 'Droste' effect



 To tackle the problems of more complex objects, Giaretta, and the CASPAR project team, developed a theory around the Representation Information Network. Simply put: a (or rather: any) data object is nothing but ones and zeros; they must be accompanied by representation information in the metadata to tell you what you need to 'independently interpret, understand and use' (in OAIS language) the data object. The data object can be a single file or multiple files, and the representation information can be anything from a scribbled handwritten note to a complex machine readable formal description (pp 17 ff). In Giaretta's more accessible advocacy language: you have something that is unfamiliar (ones and zeros) and the representation information gives you what you need to make it familiar. However, representation information is not a straight-forward thing: it is more like a set of Russian babushka dolls (in Dutch we would refer to the 'Droste effect', after the cacao nurse that serves from a cacao tin that has her own image on it which serves from a cacao tin that ...): a Word document cannot be understood with Microsoft Office software alone, you will need the operating system, and the programming language, and so forth and so forth. You will need every dictionary, every definition, every standard, every specification that is used somewhere along the line - until you connect with the knowledge base of your designated community, that is: you make the connection with what your designated community has at its disposal in terms of software, hardware and knowledge to work with those.

Over time, as technology evolves, the 'unfamiliarity' of a digital object will increase and the the amount of representation information needed to connect with your designated community will increase with it. Our job is to manage that process and make sure there is always enough representation information to connect with our users. Preferably in an automated way, because there is no way we can do this manually (unless of course we have an truly endless flow of money ...).

Giaretta and his CASPAR team argue that this is the only method that will work for all digital objects, no matter how simple or complicated. The trick will of course be to build that automated process that will keep our digital objects "fresh".

More research is needed to turn this theory into something practical. Meanwhile there is this book to enjoy and learn from, including excursions into non-technical territory: repository audits, preservation chains, business models, stakeholders analysis, and more. Giaretta's fluid style of writing, the many cross-references, summaries, and warning signs have enabled me to delve deeper into the technical level than I thought possible. And I am still learning.

What I would like to see next, however, is more interaction between what Giaretta is developing and what the Open Planets Foundation led by Bram van der Werf (and the related SCAPE project) is working on. What would be really great to have for the community is their joint views on what works and what does not - and in which circumstances, and the direction R&D should take. How about it, gentlemen?

David Giaretta [et al.], Advanced Digital Preservation (Springer, 2011, isbn 978-3-642-16808-6, €99.95).

More (digital) wake-up calls for academic libraries (LIBER 2)

Today it was Rick Luce (Emory University, US) who had the (questionable) honour of issuing a wake-up  call to research libraries. This time the topic was not cultural heritage (see yesterday’s post), but the core business of academic libraries: serving researchers and the scientific research process. Check out his slides when they become available on the LIBER website. It is a dazzling summary of all the changes taking place in the sciences: zetabytes of data; dynamic, complex data objects that require management; communities and data flows becoming much more important than static library collections, etc. etc. Luce’s warning: somebody will develop the services the new researcher needs. If the library does not develop those, there is no future for the research library. Luce called for a fundamental transformation process that will affect every aspect of the ‘library’ business.

In this vision, the role of the ‘library’ is to deliver a layer of middleware between the scientific process and IT infrastructure.

Luce’s advice for libraries on how to bring all this about: ‘Radical Cooperation’:

Such change, of course, does not come easy. Disruption of set patterns makes people nervous – but instability also contributes to disruptive innovation:

Luce warned that ‘Culture will have strategy for breakfast every time.’ It takes years to turn the culture of an organization around.

At the end of this inspiring session, Kurt de Belder of Leiden University asked a crucial question: ‘Are libraries in fact the type of organizations that can make such drastic changes?’ In his response, Luce implied that some will make the change successfully – those who do not will be out of business by 2020. One of those libraries might be that of the librarian who asked how to make researchers deliver the metadata that the library needs during a data workshop this morning. Or was the wake-up call clear enough?

Norbert Lossau of Gottingen asked for advice on how to convince the University Board and staff of all this. Luce’s advice: ‘Look for small victories; do it step by step; work with early adopters within your staff.’

Will research libraries have enough time to get all that done by 2020?

Neelie Kroes of the European Commission addressing the conference by video. Her agenda: a) open access; b) open data (all public-sector information); c) digital culture (‘By 2025 all European cultural heritage should be digitized and available through Europeana’)

Linked data (2): de praktijk

De blog van eerder deze week met een stuk (onmisbare) theorie over linked data trok veel bezoekers. Afgelopen woensdag kwam bij SURFfoundation meteen de praktijk aan de orde tijdens de kick-off van een zestal projecten rondom ‘verrijkte publicaties’ (enhanced publications) (zie ook de website van SURF). Een verrijkte publicatie (oftewel VP) is een publicatie die maximaal gebruik maakt van alle nieuwe digitale mogelijkheden. Het kan een on-line publicatie zijn met allerhande digitale objecten erin (databases, films, AV-materiaal, visualisaties), maar ook bijvoorbeeld een website waarop allerhande extra informatie te vinden is die niet in een boek past. De mogelijkheden zijn schier onuitputtelijk.

Maar … om die mogelijkheden te kunnen uitbuiten en soepel van het ene medium naar het andere te kunnen springen (d.w.z. alles in context bij elkaar te houden), is heel wat (nieuwe) techniek nodig, gebaseerd op de  principes van Linked data. Er moeten goede tools komen om verrijkte publicaties te maken, wetenschappers moeten leren daarmee om te gaan, universiteiten en data-archieven moeten zich instellen op een heel nieuwe informatiestroom.

De VP projecten van SURF zullen niet alle antwoorden opleveren, daarvoor zijn ze te klein. Maar ze pakken wel de hele keten aan: de productiefase, de gebruiksfase en zelfs de fase van duurzame toegankelijkheid. Interessant aan de bijeenkomst was dan ook dat hier alle belanghebbenden om de tafel zaten: wetenschappers, repositories van universiteiten, archieven, ontwikkelaars van instrumenten en een uitgever. Dat leidde tot interessante discussies die heen en weer vlogen tussen de inhoud van het werk en de techniek. Het enthousiasme van de wetenschappers voor de mogelijkheden was aanstekelijk. Maar, zo zei Nicholas Jankowski van KNAW e-Humanities: “We are not evangelical’.

Technisch komt er wel het een en ander bij kijken, zo lieten de ontwikkelaars zien, van SURF zelf, maar ook uit de Universiteit Twente. De dia hiernaast laat de belangrijkste eisen zien waaraan VP’s moeten voldoen, zoals samengevat door SURF-ontwikkelaar Magchiel Bijsterbosch. Het draait allemaal weer om de triples, de relaties tussen objecten en concepten. Die kunnen per wetenschappelijke discipline verschillen, en daarom kunnen alleen de wetenschappers zelf die relaties goed leggen.

Duurzame toegankelijkheid – de wereld verandert snel

Dat het duurzaam toegankelijk houden van dit soort materiaal een hele nieuwe uitdaging is, mag duidelijk zijn. Onder andere in NCDD-verband hebben de Koninklijke Bibliotheek en DANS afgesproken dat de KB voor publicaties zorgt en DANS voor de onderzoeksdata, maar de wereld verandert snel en die afspraken moeten ter discussie worden gesteld. De KB en DANS hebben daarom besloten om de vijf verrijkte publicaties uit deze SURFshare ronde te analyseren op duurzame toegankelijkheid en aanbevelingen te doen hoe die gewaarborgd kan worden. Maar het zal niet bij deze vijf publicaties blijven. Het project wil ook fundamenteler kijken naar het duurzaam toegankelijk houden van dit soort complexe digitale ‘publicaties’ in het algemeen. De NCDD kan zijn borst natmaken – maar daar zijn we natuurlijk ook voor.

Ten slotte: omdat het vrij kortlopende projecten zijn wil SURFfoundation de projectmedewerkers niet belasten met al te veel bureaucratische rompslomp. Zij vragen de medewerkers om via een blog SURF en elkaar op de hoogte te houden van de vorderingen. Welke blog maakt niet uit. En daarom: Paul Doorenbosch en Barbara Sierman van de KB en de betrokken DANS-medewerkers: ik nodig jullie graag uit om Duurzame Toegang als jullie voortgangsblog te gebruiken. Dan blijven we allemaal op de hoogte.

 

NIOZ: zilte onderzoeksdata in goede handen

Vandaag mocht ik voor één keer met de boot naar mijn werk. Op bezoek bij het NIOZ, het Koninklijk Nederlands Instituut voor Zeeonderzoek op Texel. Waar meer dan 200 mensen wereldwijd onderzoek doen naar oceanen en zeeën. En waar een bevlogen Data Management Groep dicht op de productiefase zit om data uit zeeonderzoek binnen te halen en die samen met de data uit andere instituten geïntegreerd ter beschikking te stellen aan de hele  wetenschap (via SeaDataNet). Het hoofd van de groep, Taco de Bruin, heeft dan ook zelf een flink aantal jaren gevaren op een onderzoeksschip van het NIOZ en vertelt even enthousiast over het bodemkarretje MOVE, dat ook door het NIOZ werd ontwikkeld, als over het feit dat zijn groep de eerste was die aan alle standaardiseringsvoorwaarden voldeed van het Europese SeaDataNet (met dank aan Ronald de Koster).

Een van de leden uit de Data Management Groep, Ira van den Broek, heeft de afgelopen anderhalf jaar monnikenwerk verricht door na afloop van het International Polar Year de data binnen te halen van alle Nederlandse projecten binnen dat megaproject, dat liep van medio 2007 tot medio 2008. En daarbij kwam hij de nodige onaangename verrassingen tegen: wetenschappers die anno 2008 nog een jaar onderzoek gewoon op hun laptop hebben opgeslagen. Het heeft Ira de nodige bescheidenheid bijgebracht: hij noemt zich nadrukkelijk dienstverlener, voor het datamanagement binnen wetenschappelijke projecten. En de Data Management Groep biedt ook hulp bij het vinden van bestaande gerelateerde informatie die lang niet altijd bekend is bij de wetenschapper. In het vervolg wordt hij overigens liever in de planningsfase bij projecten betrokken – maar die keuze heeft een archief niet altijd.

Hoe duurzaam worden al die gegevens opgeslagen? In principe voor de eeuwigheid, vertelt Taco. De scheepsverslagen, de cruise reports komen binnen in Word, wat niet echt duurzaam heet te zijn. En veel bijlagen zijn er in excel, dat op een Mac tijdstipberekeningen anders uitvoert dan in Windows … maar alle gegevens worden vervolgens verwerkt in een relationele database, en de metadata daarin zijn door de oceanografen al flink gestandaardiseerd.

 

Waar Taco zich soms wel zorgen om maakt is het feit dat het nog altijd lastig communiceren is, dat de een van de ander vaak niet weet wat hij doet. Dat men bijvoorbeeld niet weet dat het NIOZ een nationaal datacentrum is, en men dus elders het wiel weer opnieuw gaat uitvinden. Misschien omdat Texel ver weg is? Uit ervaring kan ik zeggen dat dat reuze meevalt. Laptopje mee in de intercity en je bent er voordat je het weet. Die boottocht doe je voor je plezier - terwijl het werk gewoon doorgaat, want de veerboot Den Helder-Texel voert continu metingen uit voor het NIOZ. Trouwens: wat een werkplek, daar op het puntje van Texel … !

DigCCurr (6) 'research data vragen om diensten op het niveau van een research team'

Michael Day van de University of Bath presenteerde het SCARP project van het Digital Curation Centre dat bedoeld is om te analyseren welke diensten specifieke disciplines in de wetenschap nodig hebben om hun data goed te managen. Die kunnen niet alleen per discipline sterk verschillen, zo meldde Day, maar zelfs per research team. Dat maakt het voor datacentra niet gemakkelijk om diensten op maat te leveren.

Day benadrukte dat het niet genoeg is om ervoor te zorgen dat data beschikbaar worden gesteld voor hergebruik. Datacentra moeten ook faciliteren dat de gegevens snel en efficiënt hergebruikt kunnen worden. Daarbij is het van het allergrootste belang dat zoveel mogelijk contextgegevens worden meegenomen.

Het SCARP project bouwt voort op eerdere studies, bijvoorbeeld door het Engelse Research Information Network (zie bijv. 'To share or not to share' en 'Keeping research data safe' uit 2008) en loopt momenteel nog; slechts één discipline ('neuroimaging') is tot nu toe geanalyseerd (zie website voor rapport). De website van SCARP zal de resultaten van de andere negen disciplines presenteren zodra die beschikbaar komen.