Evaluatie

Het doel van dit WP is het aanbieden van een evaluatie-infrastructuur voor de meeste componenten van het GALATEAS systeem. De evaluatie zal de nadruk leggen op de volgende componenten:

• Onderwerpbepalingsalgoritmes
• TLike algoritme
• Machinaal vertaalsysteem voor zoekvragen

Deze drie componenten worden als de “belangrijkste” componenten beschouwd voor een organische ontwikkeling van GALATEAS, met name met in de zin dat:

• Het onderwerpalgoritme belangrijk is voor het aantrekken van klanten die bereid zijn een accurate analyse van hun logs te gebruiken, gebasseerd op hun catalogus.
• Het TLike algoritme is belangrijk bij het bepalen van de kwaliteit van het machinaal vertaalsysteem.
• Het zoekvraag-gebaseerde vertaalsystem is een van de belangrijke uitkomsten van het project en een van de pilaren van de commerciele exploitatie.

Om deze redenen zullen deze componenten in een labomgeving, maar ook op echte data, geevalueerd worden. De resterende algoritmes zullen hoofdzakelijk in een labomgeving geevalueerd worden (dit wordt door binnen de respectievelijke werkpakketten uitgevoerd), indien benchmark data beschikbaar is.

De gebruikers van GALATEAS zijn met name instellingen, en om die reden zijn wij ook niet van plan om eindgebruikerevaluaties uit te voeren. De belangrijke spelers in de evaluatie zijn UBER, BAL, en OD. OD zal met name de niet-functionele beperkingen zoals schaalbaarheid en performance evalueren. Zij zullen ook hun assistentie verlenen aan een derde partij bibliotheek bij de evaluatie van TLike en QueryTrans.

Main tasks include

T7.1 Evaluation of “Topic Computation”

T7.2 Evaluation of TLike

T7.3 Evaluation of QueryTrans

Work package leader: Berlin School of Library and Information Science, Humboldt-Universität zu Berlin 

Deliverables:

D7.1 First evaluation report of Topic Computation and TLIKE (m. 15)

D7.2 Final evaluation report of Topic Computation and TLIKE (m. 36)

D7.3 First Evaluation of Query Translation (m. 24)

D7.4 Final Evaluation of Query Translation (m. 36)