Startup sucht Softwareentwickler

Startup sucht
Softwareentwickler
(Vollzeit, Teilzeit oder als
Studentische Hilfskraft)
Talentwunder U G (haftungsbeschränkt) Saarbrücker Straße 36 10405 B erlin, G ermany Kontaktperson: Jörg Rech Durchwahl: +49 (0) 163 7324 377 Email: [email protected] Stand: 21. M ai 2015 Datenbeschaffung / Web-Scraping
Talentwunder ist eine Suchmachine für Personen und stellt eine neue Recruitment-‐Lösung dar mit der auch passive Kandidaten gefunden werden können. Konkret nutzen wir die Daten verschiedener sozialer Netz-‐
werke und berechnen spezielle Indikatoren wie z.B. die Wechselwahrscheinlichkeit oder die Mobilität eines Kandidaten. Vorstellen kann man sich das wie die Google-‐Suchmaschine – nur eben für Personal statt be-‐
liebiger Webseiten. Unsere Daten bestehen aus über zwei Milliarden Links welche einige TB Speicher benötigen und in einer MongoDB gehalten werden. Die Suche wird mit einem Elasticsearch-‐Cluster realisiert. Aktuell haben wir erst für einige dutzend Quellen (d.h. soziale Netzwerke) Webscraper gebaut haben aber eine Liste mit über 600 weiteren Quellen. Aktuell sind wir mitten im Launch und haben bereits über 400 Betatester (mit Unternehmen wie Otto und Philips aber auch Personalberatern wie Hays und Michael Page). Nun brauchen wir Unterstützung in der Entwicklung unserer Systeme – Dich! Aufgabenbeschreibung
Deine Aufgabe besteht nun darin weitere Web-‐Scraper für neue Netzwerke zu entwickeln. Als Vorlage exis-‐
tieren bereits mehrere unterschiedliche Web-‐Scraper für verschiedene Webseiten, die von uns entwickelt wurden. Dabei sind folgende Teilaufgaben zu erledigen: •
•
•
•
Überprüfen der robots.txt Datei der Webseite, um gesperrte Bereiche zu erkennen Laden von Links aus der Datenbank (MongoDB) Identifikation von CSS-‐Selektoren für interessante Daten auf der Webseite Speichern der extrahierten Daten in der MongoDB Voraussetzungen
• Erfahrung in der Softwareentwicklung • Notwendige Kenntnisse: CSS und HTML; Groovy oder Java • Wünschenswerte Kenntnisse: Web-‐Scraping, MongoDB oder Elasticsearch Interessiert an dieser Aufgabe? Dann melde Dich bei [email protected]!

Download Report