Refine
Year of publication
- 2020 (1)
Document Type
- Bachelor Thesis (1)
Language
- German (1)
Has Fulltext
- no (1) (remove)
Keywords
- Information Retrieval (1) (remove)
Die Kritik an Relevanz als Maßstab für Retrievaltests ist beinahe so alt wie die Methode an sich. Häufig ist Anstoß solcher Kritik die Laborsituation, in der diese Relevanzbeurteilungen erfolgen und der Situation eines reellen Nutzers eines Information Retrieval Systems nicht gerecht wird. Das Ziel dieser Arbeit ist es in Erfahrung zu bringen, inwiefern die Subjektivität von Relevanzbeurteilungen die Zuverlässigkeit der Ergebnisse eines Retrievaltests untergräbt. Dazu erfolgt eine Sichtung informationswissenschaftlicher Literatur in Bezug auf den Relevanzbegriff, der seit über 50 Jahren für kontroverse Diskussionen sorgt. Weiterhin werden empirische Studien betrachtet, welche die Relevanzkriterien reeller Nutzer in verschiedenen Informationsumgebungen untersuchen sowie Experimente, welche die Auswirkungen unterschiedlicher Relevanzbeurteilungen auf die
Messergebnisse von Retrievaltests analysieren. Die Kriterien reeller Nutzer sind tatsächlich weitaus vielfältiger als die Laborsituation eines Retrievaltests es zulassen würde.
Auch die Zuverlässigkeit der Ergebnisse von Retrievaltests leidet unter den Auswirkungen verschiedener Relevanzbewertungen. Allerdings kann dieser Effekt durch die Verwendung kompetenter und erfahrener Juroren abgemildert bzw. fast gänzlich neutralisiert werden. Zudem wird auf die Problematik der sogenannten Biased Collections verwiesen, die ebenfalls die Zuverlässigkeit der Messergebnisse eines Retrievaltests beeinflussen können.