Refine
Document Type
- Bachelor Thesis (6)
- Master's Thesis (1)
- Other (1)
Language
- German (8) (remove)
Keywords
- Information Retrieval (8) (remove)
Die Retrievalforschung in der Bibliothekswissenschaft hat in den letzten Jahrzehnten beachtliche Fortschritte gemacht. Automatische Indexierungsmethoden werden immer häufiger angewendet, obwohl dieses Thema in der Bibliothekswelt kontrovers diskutiert wird. Die Ergebnisse maschineller Erschließungsarbeit werden anhand von Retrievaltests festgehalten. Der Gegenstand dieser Arbeit ist die Darstellung von Retrievalexperimenten mit bibliothekarischen Daten. Zu Beginn werden die Grundlagen solcher Retrievaltests sowie das Cranfield-Paradigma erläutert. Es folgt eine Vorstellung verschiedener wissenschaftlicher Projekte aus diesem Forschungsfeld in chronologischer Reihenfolge. Wenn Verbindungen oder Einflussnahmen zwischen den einzelnen Projekten bestehen, werden diese herausgestellt. Im besonderen Umfang wird das Retrievalprojekt GELIC der TH Köln beschrieben, an dem der Autor dieser Arbeit beteiligt war. Obwohl es isolierte Retrievalprojekte gibt, lässt sich aus methodischer Sicht eine Verbindung von den frühesten Experimenten zu den heutigen Retrievalexperimenten herstellen. Diese Entwicklung ist noch nicht abgeschlossen.
Informationssuchende werden durch die zunehmende Informationsfülle und Menge an Webseiten im Internet immer abhängiger von Suchmaschinen. Während der Bias der Ausgaben dieser Suchmaschinen schon länger im Fokus der Forschung steht, gilt dies nicht für die Suchvorschläge. Diese werden den Suchenden zur Erweiterung oder Spezifizierung ihrer Suchen vorgeschlagen. An der Information Retrieval Research Group der TH Köln wird der Einfluss von Suchvorschlägen auf die politische Meinungsbildung untersucht. Für die Untersuchung dieser Suchvorschläge werden diese in dieser Bachelorbeit thematisch mit Daten aus dem sozialen Netzwerk Twitter in den Vormonaten der Bundestagswahl 2017 verglichen. Hierbei werden verschiedene Einflussfaktoren auf die Übereinstimmung der Themen und den Zeitversatz innerhalb der Zeitreihen der Suchvorschläge und der Themen aus Twitter untersucht. Es wird festgestellt, dass Suchvorschläge zu Personen der Parteien AFD und DIE LINKE deutlich abhängiger von den Diskussionen und dominierenden Themen auf Twitter sind. Themen auf Twitter tauchen zu Personen der AFD schneller und zu Personen der AFD und DIE LINKE stärker in den Suchvorschlägen auf als zu Personen anderer Parteien. Hierbei können jedoch nur sehr schwache systematische Unterschiede abhängig von der Kategorie der Themen festgestellt werden.
Die Reproduzierbarkeit von Ergebnissen ist das Fundament der Wissenschaft. Seit einigen Jahren bröckelt dieses Fundament jedoch und viele Forschende sind sich einig, dass es eine Reproduzierbarkeitskrise gibt. Grund dafür sind unter anderem die oft nicht zur Verfügung stehenden Daten aus den ursprünglichen Untersuchungen und mangelhafte Dokumentation. Seit einiger Zeit wird der Reproduzierbarkeit daher ein besonderes Augenmerk geschenkt. In der vorliegenden Arbeit wird die Reproduzierbarkeit von webbasiertem Pseudo-Relevanz-Feedback untersucht. Grossman und Cormack versuchten 2018 Relevanzurteile für Dokumente aus Testkollektionen mittels logistischer Regression herzuleiten. Ihre Trainingsdaten für ihr Modell bestanden aus Daten, die sie mittels Pseudo-Relevanz-Feedback aus dem Internet gewonnen hatten. Da das Internet einem permanenten Wandel unterlegen ist, ist absehbar, dass sich auf diese Weise gewonnene Trainingsdaten bei einer Reproduktion verändern und potentiell zu anderen Ergebnissen führen. 2019 haben Breuer und Schaer einen Reproduktionsversuch unternommen und dabei festgestellt, dass eine Reproduktion der Originalergebnisse trotz veränderter Datengrundlage möglich ist, sich aber Differenzen in den Resultaten aufgrund diverser Parameter wie verwendeter Suchmaschine und Geolocation ergeben. Im Rahmen dieser Bachelorarbeit wurde eine weitere Reproduktion unternommen, um zu prüfen, ob sich das Verfahren und die Ergebnisse von Breuer und Schaer reproduzieren lassen. In einer darauffolgenden Modifikation des Ansatzes wurden über zwei Wochen weitere Trainingsdaten erhoben und durch Ausschluss oder Einbezug von Begriffen rund um die Corona-Pandemie dabei der Einfluss von aktueller Berichterstattung auf die erhobenen Trainingsdaten und damit die Retrievalergebnisse untersucht. Ergebnisse wurden mittels TREC-EVAL evaluiert, durch einen t-Test wurden die Ergebnisse auf signifikante Unterschiede überprüft und über die Berechnung des Root Means Square Errors und der Effect Ratio die Qualität der Reproduktion untersucht. Die zugrunde liegenden Trainingsdaten wurden dann mithilfe des Rank Biased Overlap auf Überschneidungen überprüft. Der errechnete RBO wurde anschließend mit den Differenzen zwischen den Ergebnissen in Verhältnis gesetzt und mithilfe der Pearson-Korrelation auf signifikante Zusammenhänge getestet. Die Untersuchung ergab, dass eine Reproduktion zu großen Teilen erfolgreich war, die Ergebnisse von Breuer und Schaer jedoch nicht exakt reproduziert werden konnten. Die intensive Berichterstattung um die Corona-Pandemie hatte dabei keinen signifikanten Einfluss auf die Retrievalergebnisse. Mit zunehmender Zeit sank der RBO zwischen den erhobenen Daten, es konnte jedoch keine signifikante Korrelation zwischen dem RBO und den Differenzen in den Einzelergebnissen festgestellt werden.
Die German Library Indexing Collection (GeLIC) soll dazu dienen, die Retrievalleistung von maschinellen und intellektuellen Schlagwörtern der Deutschen Nationalbibliothek (DNB) zu vergleichen. Das Verfahren zur Erzeugung des Korpus der Kollektion wurde im Verlauf dieser Arbeit automatisiert. Dafür musste zunächst der bestehende Korpus analysiert werden, um Ziele für den zu entwickelnden Prozess formulieren zu können. Darauf folgt ein State of the Art zu bibliothekarischen und universellen ETL-Lösungen. Es wurde entschieden, dass das automatische Verfahren mithilfe von Python realisiert werden sollte. Nachdem festgelegt wurde welche Daten benötigt werden, wurden die öffentlich verfügbaren Formate der DNB analysiert. Dabei wurde deutlich, dass in beiden Formaten maschinelle Schlagwörter nicht in jedem Fall von intellektuellen unterschieden werden können. Anschließend wurde das Package gelic_mt entwickelt und darauf aufbauend eine Pipeline für GeLIC. Bei der Prüfung des damit erzeugbaren Korpus, wurde erneut ersichtlich, dass die derzeitig öffentlich verfügbaren Daten keinen Korpus erlauben, der für die gewünschten Retrievaltests geeignet ist.
Die Kritik an Relevanz als Maßstab für Retrievaltests ist beinahe so alt wie die Methode an sich. Häufig ist Anstoß solcher Kritik die Laborsituation, in der diese Relevanzbeurteilungen erfolgen und der Situation eines reellen Nutzers eines Information Retrieval Systems nicht gerecht wird. Das Ziel dieser Arbeit ist es in Erfahrung zu bringen, inwiefern die Subjektivität von Relevanzbeurteilungen die Zuverlässigkeit der Ergebnisse eines Retrievaltests untergräbt. Dazu erfolgt eine Sichtung informationswissenschaftlicher Literatur in Bezug auf den Relevanzbegriff, der seit über 50 Jahren für kontroverse Diskussionen sorgt. Weiterhin werden empirische Studien betrachtet, welche die Relevanzkriterien reeller Nutzer in verschiedenen Informationsumgebungen untersuchen sowie Experimente, welche die Auswirkungen unterschiedlicher Relevanzbeurteilungen auf die
Messergebnisse von Retrievaltests analysieren. Die Kriterien reeller Nutzer sind tatsächlich weitaus vielfältiger als die Laborsituation eines Retrievaltests es zulassen würde.
Auch die Zuverlässigkeit der Ergebnisse von Retrievaltests leidet unter den Auswirkungen verschiedener Relevanzbewertungen. Allerdings kann dieser Effekt durch die Verwendung kompetenter und erfahrener Juroren abgemildert bzw. fast gänzlich neutralisiert werden. Zudem wird auf die Problematik der sogenannten Biased Collections verwiesen, die ebenfalls die Zuverlässigkeit der Messergebnisse eines Retrievaltests beeinflussen können.
Seit Herbst 2017 findet in der Deutschen Nationalbibliothek die Inhaltserschließung
bestimmter Medienwerke rein maschinell statt. Die Qualität dieses Verfahrens,
das die Prozessorganisation von Bibliotheken maßgeblich prägen
kann, wird unter Fachleuten kontrovers diskutiert. Ihre Standpunkte werden
zunächst hinreichend erläutert, ehe die Notwendigkeit einer Qualitätsprüfung
des Verfahrens und dessen Grundlagen dargelegt werden. Zentraler Bestandteil
einer künftigen Prüfung ist eine Testkollektion. Ihre Erstellung und deren
Dokumentation steht im Fokus dieser Arbeit. In diesem Zusammenhang werden
auch die Entstehungsgeschichte und Anforderungen an gelungene Testkollektionen
behandelt. Abschließend wird ein Retrievaltest durchgeführt, der
die Einsatzfähigkeit der erarbeiteten Testkollektion belegt. Seine Ergebnisse
dienen ausschließlich der Funktionsüberprüfung. Eine Qualitätsbeurteilung maschineller
Inhaltserschließung im Speziellen sowie im Allgemeinen findet nicht
statt und ist nicht Ziel der Ausarbeitung.
Sachliche Suchen in bibliothekarischen Online-Katalogen enden häufig mit unbefriedigenden Ergebnissen. Als eine Ursache dafür kann angesehen werden, daß die Gestaltung des Suchprozesses das semantische Umfeld einer Suchanfrage nicht mit einbezieht, daß in Übertragung der Verhältnisse in konventionellen Katalogen am Paradigma des Wort-Matching zwischen Suchwort und Indexat festgehalten wird. Es wird statt dessen das Konzept einer semantischen Umfeldsuche entwickelt und gezeigt, welche Rolle die Verwendung strukturierten Vokabulars dafür spielen kann. Insbesondere wird dargestellt, welche Möglichkeiten Verfahren der wörterbuchgestützten maschinellen Indexierung in diesem Zusammenhang spielen können. Die Ausführungen werden durch Beispiele illustriert.