Refine
Year of publication
- 2017 (2) (remove)
Document Type
- Master's Thesis (2) (remove)
Keywords
- Autosuggestion (1)
- Data Mining (1)
- Lemmatisierung (1)
- Mitarbeiterbefragung (1)
- Phrasenextraktion (1)
- Politik (1)
- Sentimentanalyse (1)
- Suchmaschine (1)
- Text Mining (1)
- lemmatisation (1)
Analysing the systematics of search engine autocompletion functions by means of data mining methods
(2017)
In the internet era, the information that can be found about politicians online can influence
events such as the results of elections. Research has shown that biased search rankings can
shift the voting preferences of undecided voters. This shows the importance of studying
online search behaviour, especially in the pre-elections phase, when search results can
have a particular influence on the future political scene of a country.
This master thesis aimed to study the behaviour of online search engines in a period before
the German federal election in 2017. The aim was to ascertain if there is any pattern to be
found in the auto-suggestions for searches related to politicians.
In order to gather data for this experiment, a crawler browsed search engine web pages,
input a name and a surname of a politician, and saved that together with all autosuggestions
from the search engine. The autosuggestions were prepared for the analysis and
divided into semantic groups with the help of clustering algorithms.
Different statistical methods, such as correlation analysis, regression analysis, and clustering
were used to identify patterns in the data. The research showed that there are
no particularly strong patterns in the autosuggestions for searches related to politician’s
names. Only moderate dependence was found between gender and personal topics, and
showed that a higher amount of personal information autosuggestions correspond more
to female politicians.
Text Mining bietet die Möglichkeit, große Textmengen durch automatisierte Verfahren zu analysieren. Die vorliegende Arbeit beschäftigt sich mit der Anwendung und Evaluation solcher Methoden für die spezielle Textform freier Antworten aus Mitarbeiterbefragungen. Dabei werden verschiedene Techniken aus den drei Bereichen Phrasenextraktion, Sentimentanalyse und Kategorisierung dargestellt und an einer konkreten Umfrage angewendet. Die Ergebnisse werden jeweils durch Abgleich mit manuellen Ergebnissen bzw. durch manuelle Bewertungen evaluiert und die Resultate untereinander verglichen. Die genutzten Verfahren sollten ohne spezifische Trainingsdaten oder Projektinformationen anwendbar sein und sich somit auch für andere Mitarbeiterbefragungen eignen.
Die Phrasenextraktion wird auf drei verschiedene Weisen durchgeführt, wobei Part-of-Speech (POS)-Chunking, Stoppwortbegrenzung und Kookkurrenzen genutzt werden. Die Untersuchungen zeigen, dass mit dem POS-Chunking präziser die relevantesten Phrasen aus längeren Texten ermittelt werden können. Die Methode der Stoppwortbegrenzung extrahiert dagegen eine größere Vielfalt relevanter Phrasen auch aus kürzeren Texten. Manuelle Einschätzungen der Extraktionsergebnisse bewerten die Methode mit POS-Chunking am besten. Darüber hinaus wird eine automatisierte Zusammenfassung semantisch ähnlicher Phrasen durchgeführt, wodurch sich leichte Verbesserungen einiger Evaluationsergebnisse zeigten.
Für die Sentimentanalyse der freien Antworten wird eine Erweiterung eines bestehenden Verfahrens aus dem Social Media-Bereich dargestellt. Hierzu werden der Methode vier Regeln hinzugefügt, welche die Sentimentbewertung aufgrund bestimmter Syntaxformen in den freien Antworten verändern. Die Evaluation zeigt, dass drei der vier Regeln dazu beitragen, dass sich die automatisierte Bewertung manuellen Bewertungen annähert.
Die Kategorisierung wird durch die beiden Topic Modeling-Methoden Latent Dirichlet Allocation (LDA) und Non-negative Matrix Factorization (NMF) durchgeführt. NMF erreichte bei dem Abgleich mit einer manuellen Kategorisierung höhere Übereinstimmungen und zeichnete sich auch durch eine bessere Abgrenzung der Thematiken sowie eine bessere Interpretierbarkeit aus.
Die Text Mining-Methoden und deren Evaluationen werden für diese Arbeit in der Programmiersprache Python umgesetzt. Außerdem werden die Text Mining-Resultate in die Datenvisualisierungssoftware Tableau eingebunden.
In der vorliegenden Arbeit wird ein Einblick in Eignung und Unterschiede verschiedener Text Mining-Methoden in Bezug auf freie Antworten in Mitarbeiterbefragungen gegeben. Darüber hinaus wird dargestellt, dass auch spezifische Anpassungen an diese Textform möglich sind. Zusätzlich werden diverse Optimierungsansätze aufgezeigt, die den noch großen Weiterentwicklungsbedarf in diesem Bereich verdeutlichen.