Volltext-Downloads (blau) und Frontdoor-Views (grau)

Crawl Your Prof - Fact-Crawling von Hochschulseiten

  • Die Technische Hochschule Köln bietet auf ihrer Webseite ein öffentliches Verzeichnis aller Beschäftigten an, welches Personendetailseiten mit Informationen zu Aufgabenbereichen, Lehrgebieten, Projekten, Publikationen, Lebensläufen etc. enthält. Die Hochschule erhält kontinuierlich Anfragen aus Wirtschaft und Öffentlichkeit, welche nach Experten in einem bestimmten Gebiet suchen, um Forschungsprojekte zu unterstützen oder Interviews zu aktuellen Situationen durchzuführen. Diese Anfragen können meist nur anhand von Erfahrungswerten an die passenden Ansprechpartner weitergegeben werden. Die Bachelorarbeit „Crawl Your Prof – Fact-Crawling von Hochschulseiten“ beschäftigt sich damit, öffentlich verfügbare Informationen über Professoren und andere Personen zu sammeln, um ein Expertenprofil zu erstellen. Dabei werden gängige OSINT-Methodiken vorgestellt und mit Hilfe des Crawler-Frameworks Scrapy ein Prototyp erstellt, um die Personenrecherchen zu automatisieren. Des Weiteren wird ein Ausblick auf das Potential der gesammelten Daten mit beispielhaften Suchanfragen und Auswertungen durch das Python-Modul Pandas gegeben.
  • The Cologne University of Applied Science offers a public directory of all employees on it’s website, which contains personal detail pages with information on areas of responsibility, teaching fields, projects, publications, CVs etc. The university receives a continuous stream of enquiries from economic and public sectors, that are looking for experts in a particular field to support research projects or conduct interviews on current situations. These enquiries can usually only be passed on to the appropriate person based on experience. The bachelor thesis "Crawl Your Prof - Fact-Crawling von Hochschulseiten" deals with collecting publicly available information about professors and other persons in order to create an expert profile. Common OSINT methods are presented and a prototype is created with the help of the crawling framework Scrapy to automate the person searches. Furthermore a preview of the potential of the collected data is given with exemplary search queries and evaluations by the Python module Pandas.

Export metadata

Additional Services

Share in Twitter Search Google Scholar

Statistics

frontdoor_oas
Metadaten
Author:Ruben Bischkopf
Document Type:Bachelor Thesis
Year of first Publication:2020
Date of final exam:2020/08/31
First Referee:Philip SchaerGND
Advisor:Timo Breuer
Degree Program:Angewandte Informationswissenschaft
Language:German
Page Number:62
Tag:Crawling; Scrapy
GND Keyword:Open Source; Pandas; Python
Access Rights:Zugriffsbeschränkt
Licence (German):License LogoCreative Commons - Namensnennung-Weitergabe unter gleichen Bedingungen