Evaluierung von Suchmaschinen – Qualitätsvergleich von Google- und Bing-Suchergebnissen unter besonderer Berücksichtigung von Universal-Search-Resultaten

Abstract

Diese Arbeit geht der Frage nach, ob und wie sich die Relevanz des Gesamtergebnisses einer Suche mit einer Suchmaschine ändert, wenn in die Ergebnisseite Resultate spezieller Ergebniskollektionen eingebunden werden (so das Prinzip der „Universal Search“). Die untersuchten Kollektionen hierbei sind Bilder, Produkte, Videos, Nachrichten und lokale Resultate. Weiter wird untersucht, ob Google relevantere reguläre Treffer (Dokumente) liefert als Bing, und ob die auf der Suchergebnisseite sichtbaren Trefferbeschreibungen den Inhalt und damit die Relevanz der dahinterliegenden Treffer korrekt widerspiegeln. Die theoretischen Hintergründe dieser Themen werden in einem Literaturteil behandelt. Für die Beantwortung der Forschungsfragen wurde im Mai/Juni 2012 ein Retrievaltest für Google und Bing durchgeführt, um die Relevanz der Suchergebnisse, die beide Suchmaschinen auf jeweils 50 Suchanfragen lieferten, erheben und vergleichen zu können. Dazu wurden Juroren ca. 2.400 Items vorgelegt – nämlich jeweils die ersten zehn regulären Ergebnisse (Beschreibungen und Treffer) sowie alle auf der ersten Ergebnisseite angezeigten Resultate der berücksichtigten speziellen Kollektionen (ebenfalls Beschreibungen und Treffer). Diese wurden nach ihrer Relevanz bewertet. Die Auswertung des Tests ergibt, dass Treffer-beschreibungen die Relevanz der Treffer i.d.R. korrekt widerspiegeln, jedoch mit leichter Tendenz zu geringerer Relevanz als die Treffer. Google gibt tatsächlich relevantere reguläre Treffer aus als Bing, jedoch ist der Unterschied nicht gravierend. Eingebundene Resultate spezieller Kollektionen sind zu einem relativ hohen Teil irrelevant, und wenn sie als relevant eingeschätzt wurden, war die Relevanz wiederholt so niedrig, dass als Folge das Gesamt-ergebnis abgewertet wurde. Diese Arbeit bietet eine erste Einschätzung zum praktischen Nutzen von in die Ergebnisseite eingestreuten Resultaten spezieller Kollektionen, die als Ausgangsbasis für weitere Forschungsarbeiten in diesem Bereich dienen kann, z.B. um einzelne Kollektionen auf spezifische Merkmale hin zu untersuchen, die Nutzern helfen.