Vorlesen

Die Suche nach der Nadel im Heuhaufen: User Communities als Marktforschungsinstrument

Sommersemester 2007

Executive Summary

1. Zusammenfassung 

In vielen empirischen Studien wurde gezeigt, dass User-Communities ein hohes Innovationspotenzial aufweisen. Doch der Frage, wie sich die kommerziell attraktivsten Ideen nun aus einer Vielzahl an Ideen identifizieren lassen, wurde bisher kaum Aufmerksamkeit geschenkt. Ziel dieses Forschungsprojektes ist es, die Frage zu klären, ob User Communities auch in der Lage sind, die kommerziell interessantesten innovativen Ideen zu identifizieren. Außerdem soll analysiert werden, welche Filtermethode unter welchen Bedingungen wie gut funktioniert. 

2. Theoretischer Hintergrund 

Empirische Studien zu den “Sources of Innovation“ zeigen sowohl in Industrie- als auch in Konsumgütermärkten, dass vielfach User die eigentlichen Entwickler bzw. Erfinder von erfolgreichen Produkten und Prozessen sind (vgl. von Hippel 2002). Beispiele von kommerziell erfolgreichen Konsumgütern wie das Snowboard (Shah 2000) und das Rodeo Kayak (Hienerth 2004), sowie zahlreiche weitere empirische Studien (z.B. von Hippel 2005) zeigen, dass Konsumenten sehr innovativ sein können und oft neue Produkte entwickeln (Füller et al. 2007). Ein wichtiger Grund für dieses Phänomen ist das Problem der „Sticky Information“. Es ist schwierig, Kundenbedürfnisse realitätsnahe und verständlich an Hersteller zu kommunizieren, und schwierig für Unternehmen, die Kundenbedürfnisse zu verstehen.
Mehrere Forschungsprojekte verweisen auf das Innovationspotenzial von User-Communities als Mittel zur Ideengewinnung. Denn User innovieren selten isoliert, sondern meist in Zusammenarbeit mit Gleichgesinnten, die zusätzliches Know-how und aktive Unterstützung zur Umsetzung einer Idee in ein Produkt einbringen (Franke & Shah 2003; von Hippel 2005). Einige Ideen bzw. Innovationen dieser Netzwerke wurden große Markterfolge. Ein Paradebeispiel dafür sind Open Source Software (OSS) Communities, in denen Informationen, gegenseitige Unterstützung und die eigentlichen Innovationen unentgeltlich weitergegeben werden. Die User solcher Netzwerke bestehen aus Freiwilligen aus den unterschiedlichsten Ländern und Organisationen. Ergebnisse sind Produkte wie Linux, Apache, Firefox oder auch Wikipedia.
Voraussetzungen für das Entstehen von User-Innovationsnetzwerken sind laut von Hippel (2002), dass (1) zumindest einige User innovativ sind, (2) zumindest einige User ihre Innovationen unentgeltlich weitergeben („free revealing“), (3) der Austausch der Innovationen zu niedrigen Transaktionskosten möglich ist und (4) dass es für die User eine Möglichkeit gibt, sich face-to-face, online oder über eine andere Art der Kommunikation zu treffen. 

3. Forschungsfrage 

Viele Untersuchungen haben also bereits aufgezeigt, dass User Communities sehr innovativ sind. Eine Frage, die sich unmittelbar im Abschluss stellt, ist, wie man nun gute Ideen bzw. Innovationen innerhalb solcher Communities effektiv und effizient erkennen kann. Weil die Zahl von Ideen in User Communities sehr groß sein kann, ist ein interner Screeningprozess durch Experten sehr zeit- und kostenintensiv.
Wie sich aber zeigt, produzieren Online-Communities nicht nur Ideen, sondern enthalten oft auch Mechanismen, durch die die unterschiedlichen Ideen bewertet werden. Dies geschieht einerseits durch explizite Bewertungsmethoden wie Ratings oder Votes. Andererseits lässt sich aber auch durch implizite Handlungen der Community-Mitglieder ein Ranking ablesen, etwa durch die Anzahl an Downloads oder Hits bzw. Views.
Diese Forschungsarbeit geht nun den Fragestellungen auf den Grund, (1) wie gut diese Filtermethoden funktionieren und (2) unter welchen Bedingungen die unterschiedlichen Filtermethoden wie gut anwendbar sind.

[Abb. vgl. unten]

Abbildung 1: Forschungsfrage 

4. Forschungsdesign 

Zur Beantwortung der Forschungsfrage ist es notwendig einen Benchmark für die einzelnen Filtermethoden zu schaffen. Dies geschieht durch die Bewertung der Ideen bzw. Innovationen aus den Communities durch Experten, die aufgrund ihres Marktüberblicks im jeweiligen Fachbereich das kommerzielle Potential bestmöglich einschätzen können. Durch den Vergleich der Bewertungen von Community und Experten können Rückschlüsse auf die Treffsicherheit der verwendeten Filtermethode gezogen werden. Zusätzlich wurden die Charakteristika jeder Community erfasst, um dann in der anschließenden Analyse abschätzen zu können, unter welchen Bedingungen welche Filtermethode wie gut geeignet ist (siehe Abbildung 2).

[Abb. vgl. unten]

Abbildung 2: Einflussvariablen auf die Einsetzbarkeit von Filtermethoden 

3.1. Auswahl der Communities 

Die Communities, die zur Erarbeitung der obig vorgestellten Forschungsfrage herangezogen wurden, wurden anhand genau definierter Kriterien ausgewählt.
Ein erstes Kriterium war eine Mindestanzahl von 500 Usern und mindestens 100 Ideen bzw. Innovationen, um eine ausreichende Varianz sicherzustellen. Diese Ideen müssen einen abgrenzbaren, themenspezifischen Markt abdecken, um eine Bewertbarkeit durch entsprechende Experten gewährleisten zu können. Um Moderatorvariablen der Identifikationseffizienz identifizieren zu können, musste darüber hinaus eine Varianz der Filtermethoden im Sample vorhanden sein. Ein weiteres sehr wichtiges Kriterium für die Datenerhebung war die Zugriffsmöglichkeit auf die benötigten Informationen (bspw. entsprechende Downloadstatistiken oder andere Aufstellungen).
In die Analyse flossen 20 Communities ein, in denen bis zu drei der zuvor genannten Filtermethoden zum Einsatz kamen. Insgesamt wurden somit 25 Datensätze erhoben und analysiert.

Community Bereich Filtermethoden User Ideen
1001fonts Schriftarten D, P, C   2629
Archinet Architektur R, V 22000 809
Halfbakery Auto   > 2000 2613
Creativity Pool Auto R 8413 138
OwnSkin Handy D 358689 > 10000
Lasyk Handy D 259369 88056
Oswd Webdesign D 1200 2000
Hotscripts Software R 662039 602
MOCpages Lego R, V 6700 30125
Modellbahn Spielzeug R 622 526
Dreambox Satreceiver D 116745 146
Konfabulator Widgets D 18230 833
KDE-look Widgets D, R 66922 1292
Kaltmacher PC Mods C 11675 937
Modding-FAQ PC Mods R n.i.E. n.i.E.
ModdingTech PC Mods R n.i.E. n.i.E.
Bit-tech PC Mods R 31304 120
Midibox Musik V 3120 120
Dell Ideastorm Computer R 88000 3878
Sourceforge Software D 97635 19527

Filtermethoden: D ... Downloads, R ... Ratings, P ... Promotions/Votes, V ... Views/Hits, C ... Comments
n.i.E. = noch in Erhebung
 
Tabelle 1: Überblick User Communities 

3.2. Stichprobe 

Für jede Community wurde eine geschichtete Zufallsstichprobe aus allen in der Community vorhandenen Ideen gezogen. Dabei wurden per Zufall 20 Ideen aus den Top 10% lt. Community-Bewertung sowie 40 Ideen aus der restlichen Menge an Ideen der Community gezogen (siehe Abbildung 3).

[Abb. vgl. unten]

Abbildung 3: Zusammensetzung des Samples 

Die 60 zu bewertenden Ideen stellen eine hinreichende Samplegröße dar, um einerseits valide Aussagen treffen zu können und andererseits den Bewertungsaufwand für die Experten im Rahmen zu halten, was auch eine entsprechende Bewertungsqualität sicher stellen sollte.
Alle Ideen wurden von jeweils drei ausgewiesenen Branchenexperten bewertet. 

3.3. Expertenbewertung 

Die Experten wurden nach ihrer Branchenexpertise ausgewählt. Bei der Suche wurde auf Fachzeitschriften, einschlägige Institutionen bzw. Clubs und Empfehlungen von Heavy Usern zurückgegriffen. Einbezogen wurden auch Personen aus dem Marketingbereich von in der jeweiligen Branche tätigen Unternehmen und dem universitären Umfeld, wobei auf einen guten Marktüberblick Wert gelegt wurde.
Die Bewertung der einzelnen Communities durch jeweils drei Experten erfolgte nach einem standardisierten Verfahren mit Hilfe eines elektronischen Bewertungstools im Rahmen von insgesamt 25 Face-to-Face-Workshops.
Zunächst wurden den Experten die Bewertungskriterien erläutert und im Rahmen eines Testlaufes durchgespielt. So konnten eventuell auftretende Verständnisfragen geklärt werden. Die Bewertung selbst setzte sich aus zwei Teilen zusammen. Zunächst wurde jede einzelne Idee anhand von 5 Kriterien mittels einer 5- bzw. 3-stufigen Skala zu evaluiert (siehe Abbildung 4). Die fünf Kriterien und die Abstufung der Skala orientieren sich an der Vorgehensweise von Buschmann (2004), wie sie u.a. auch beim großen US-Konzern Chevron Inc. eingesetzt wird.
In einem zweiten Schritt wurden die 20 besten Ideen von den Experten ausgewählt. Anschließend wurden die individuellen Ergebnisse der drei Experten zusammengeführt und verglichen. Als hinreichender Konsens galt eine Übereinstimmung der Bewertungen von 2 oder 3 Experten bei mindestens 20% der Ideen bzw. Innovationen.

[Abb. vgl. unten]

Abbildung 4: Bewertungskriterien (elektronisches Bewertungstool) 

Ziel des Vergleichs zwischen den Top- und Flop-Bewertungen der Experten und in der Community war es, die Bewertungsgüte abzuschätzen (siehe Abbildung 5). Gemeint ist, wie gut die Community die attraktivsten Ideen im Vergleich zu den Experten filtert.

[Abb. vgl. unten]

Abbildung 5: Kreuztabelle Experten- vs. Community-Einschätzung 

4. Ergebnisse 

Die erste Phase der Datenerhebung, das Durchführen der Expertenbewertungs-Workshops sowie der Datenanalyse der einzelnen User Communities dauerte acht Wochen. Die ersten vorläufigen Ergebnisse sind in Tabelle 2 zusammengefasst.

Community Filtermethoden Kontingenz-
koeffizient
Korrelation
Community/Experten
1001fonts C
D
P
n.s.
0,281**
0,268**
0,228*
0,401***
n.s.
Archinet R
V
0,309**
n.s.
n.s.
n.s.
Halfbakery   0,295** -0,337***
Creativity Pool R n.s. n.s.
OwnSkin D n.s. n.s.
Lasyk D 0,209* 0,323**
Oswd D n.s. 0,440***
Hotscripts R n.s. -0,238*
Modellbahn R n.s. n.s.
Dreambox D n.s. n.s.
Konfabulator D n.s. n.s.
KDE-look R
D
0,309**
n.s.
0,224*
n.s.
Kaltmacher C n.s. n.s.
Bit-tech R n.s. 0,244*
Midibox V n.s. n.s.
Dell Ideastorm R n.s. 0,341***
Sourceforge D n.s. n.s.

 

* p<0,1     ** p<0,05     *** p<0,01     (2-seitige Tests) 
Tabelle 2: Überblick Korrelationsanalysen

Man erkennt, dass die Bewertungen in der Community selbst teilweise klar mit der Expertenbewertung übereinstimmen. Mit anderen Worten: in einigen Fällen produziert die Community nicht nur Ideen, sondern filtert diese auch effektiv nach ihrer Nützlichkeit für die breite Marktanwendung. In anderen Communities bzw. bestimmten Filtermethoden klappt dieses „Collaborative Filtering“ nicht.

Im Folgenden wird eine Community beispielhaft näher dargestellt.
Oswd.org steht für Open-Source-Web-Design, eine Community, deren ca. 1.200 Mitglieder über 2.000 Webdesigns auf dieser Plattform zum kostenlosen Download zur Verfügung stellen. Über die Filtermethode der Downloadzahlen jedes einzelnen Designs wurden die populärsten Designvorschläge ermittelt. Ein Vergleich dieser impliziten Reihung durch die Community mit der Bewertung von Experten zeigte größtenteils hochsignifikante Zusammenhänge (siehe Tabelle 3).

  Wert Neuheit Nutzen Nutzen
Zukunft
Markt-
potential
Markt-
potential
Zukunft
Umsetz-
barkeit
 
Community  0,44
 [p<0,01]
0,232
[p<0,01]
0,445
[p<0,01]
Experten 0,474
[p<0,01]
0,516
[p<0,01]
0,469
[p<0,01]
-0,279
[p<0,05]
(Beta)
[Sig.Niv.]

 Tabelle 3: Detailergebnisse Community oswd.org

 

Die Bewertung der Community korreliert positiv mit der Bewertung der Experten, d.h. je höher die Anzahl an Downloads desto besser auch die Einschätzung der Experten. Dies deutet auf eine hohe Bewertungsgüte hin. Die Community filtert somit jene Ideen heraus, die auch von den Experten als attraktiv für einen externen Markt betrachtet werden. Dieser Befund wird noch deutlicher, wenn man sich die einzelnen Dimensionen, aus denen sich die Gesamtbewertung der Experten ableitet, genauer betrachtet. Bei der Einschätzung des Nutzens und des Marktpotenzials der Designs (heute wie auch zukünftig), lässt sich eine signifikante, stark positive Korrelation zwischen den Experten und der Bewertung der Community beobachten.
Weniger deutlich zeigt sich der Zusammenhang in dieser Community bei der Neuheit der Designs, wobei auch hier ein signifikant positiver Zusammenhang zur Community-Einschätzung deutlich wird. Die Dimension der Umsetzbarkeit zeigt einen negativen Zusammenhang mit der Bewertung innerhalb der Community, was darauf schließen lässt, dass innerhalb der Community die innovativsten, aber nicht unbedingt die umsetzbarsten oder praktikabelsten Lösungen auf Interesse stoßen. 

5. Diskussion 

Das vorliegende Ergebnis bestätigt, dass Communities nicht nur beim Innovationsprozess selbst, sondern auch bei der Bewertung von innovativen Ideen eine wichtige Rolle spielen können. Die Bewertung innerhalb der Community scheint in bestimmten Fällen sehr gute Rückschlüsse auf die allgemeine Attraktivität der Innovation für einen externen Markt zuzulassen.
Die Implikationen daraus lassen sich vermutlich am einfachsten an folgendem Beispiel zeigen. So hat etwa die Dell User-Community IdeaStorm an die 4.000 Ideen hervorgebracht. Diese alle einzeln sorgfältig durch Experten bewerten zu lassen, ist beinahe unmöglich. Die vorliegende Untersuchung zeigt, dass dies auch gar nicht notwendig ist, sondern „Abkürzungen“ über die User Community selbst begangen werden können (z.B. zur Vorauswahl). 

6. Restriktionen und weitere Forschung 

Es konnte einige Fälle aufgezeigt werden, in denen es eine hohe Übereinstimmung zwischen Community und Experten gibt. Allerdings gibt es auch Fälle, in denen es keine klaren Ergebnisse gibt. Der nächste Schritt sind daher Moderationsanalysen, die Rückschlüsse auf die Einflussfaktoren (z.B. Collaborative-Filtering-Methoden, Eigenschaften der Community) erlauben.
Eine weitere Restriktion liegt bei dieser Untersuchung in der Frage nach der Generalisierbarkeit. Hier ist noch Raum für spezifischere Studien in anderen Bereichen und zu einzelnen Filtermethoden gegeben.
Expertenbewertungen als Benchmark zu verwenden um die Güte einer Filtermethode abzuschätzen ist mit gewissen Problemen verbunden. Der wahre Test könnte nur am Markt erfolgen und post-hoc ließe sich dann die Attraktivität einer Innovation abschätzen. Dies ist jedoch weder praktikabel noch sinnvoll. Daher setzen auch Unternehmen auf die Meinung von internen oder externen Experten, um die Attraktivität einer Idee bestmöglich vorab einschätzen zu können.
Der nächste wichtige Schritt ist nun also die Erforschung der Einflussgrößen auf die Effektivität der einzelnen Filtermethoden. In dieser Studie konnte gezeigt werden, dass es einen Zusammenhang zwischen der Einschätzung der User Communities und den Experten gibt. Unter welchen Bedingungen und in welchen Situationen dieser Zusammenhang zutrifft und wann nicht, ist Gegenstand zukünftiger Analysen.

Student Team

  • Robert Adelmayer
    Julia Vanessa Beck
    David Dominguez Teruel
    Gudrun Hochwallner
    Marie-Therese Marek
    Philipp Pintaritsch
    Verena Rupp
    Elisabeth Wehofschitsch
    Thomas Werth

Anhang: Abbildungen