@phdthesis{Pommerencke2020,
  type      = {Bachelor Thesis},
  author    = {Sebastian Pommerencke},
  title     = {Subjektivit{\"a}t von Relevanzurteilen im Kontext von Retrievaltests},
  pages     = {42},
  year      = {2020},
  abstract  = {Die Kritik an Relevanz als Ma{\"s}stab f{\"u}r Retrievaltests ist beinahe so alt wie die Methode an sich. H{\"a}ufig ist Ansto{\"s} solcher Kritik die Laborsituation, in der diese Relevanzbeurteilungen erfolgen und der Situation eines reellen Nutzers eines Information Retrieval Systems nicht gerecht wird. Das Ziel dieser Arbeit ist es in Erfahrung zu bringen, inwiefern die Subjektivit{\"a}t von Relevanzbeurteilungen die Zuverl{\"a}ssigkeit der Ergebnisse eines Retrievaltests untergr{\"a}bt. Dazu erfolgt eine Sichtung informationswissenschaftlicher Literatur in Bezug auf den Relevanzbegriff, der seit {\"u}ber 50 Jahren f{\"u}r kontroverse Diskussionen sorgt. Weiterhin werden empirische Studien betrachtet, welche die Relevanzkriterien reeller Nutzer in verschiedenen Informationsumgebungen untersuchen sowie Experimente, welche die Auswirkungen unterschiedlicher Relevanzbeurteilungen auf die Messergebnisse von Retrievaltests analysieren. Die Kriterien reeller Nutzer sind tats{\"a}chlich weitaus vielf{\"a}ltiger als die Laborsituation eines Retrievaltests es zulassen w{\"u}rde. Auch die Zuverl{\"a}ssigkeit der Ergebnisse von Retrievaltests leidet unter den Auswirkungen verschiedener Relevanzbewertungen. Allerdings kann dieser Effekt durch die Verwendung kompetenter und erfahrener Juroren abgemildert bzw. fast g{\"a}nzlich neutralisiert werden. Zudem wird auf die Problematik der sogenannten Biased Collections verwiesen, die ebenfalls die Zuverl{\"a}ssigkeit der Messergebnisse eines Retrievaltests beeinflussen k{\"o}nnen.},
  language  = {de}
}