Communispace Take‐Aways

• A conflict between management and measurement –important to separate the listening/promotion functions

• The power of open‐ended questions (Communispace/social media) v survey techniques

• The trade‐off between closed system (Communispace) v open system (social media)

Strengths of Social Media as a Market Research Tool

1. Natural setting (no demand effects)

2. Potentially large sample

3. Consumers are naturally engaged by their peers (no effort on your part)

4. Conversations about your product are by‐products of social interactions

Weaknesses of Social Media as a Market Research Tool

1. Potentially difficult to process the conversations (see previous discussion about the difficulty of sentiment analysis)

2. “Too many” conversations

3. May need to understand the context to process the conversation correctly (see netnography discussion)

4. Can’t guide the discussion – in contrast to Communispace

5. Open system – your competitors can see it as well

6. How representative are the conversations of real preferences – issues of self‐enhancement, group dynamics, etc

Measuring Word of Mouth Online

Today’s Agenda

• Theory– Why should I measure?– How should I measure? – What should I measure? 

Whymeasure social media or word of mouth in general?

1. Word of mouth acts as an early indicator of product success

2. Word of mouth impacts sales directly 

3. Word of mouth mediates other types of marketing activities  

What do you want to measure?

“General” WOM Measurement (online and offline)• What are people saying?• Who is doing the talking?• What is the exposure of these conversations / their impact?

Measuring the Impact of Social Media Campaigns  • See above +• Are people “on message”? • Are they creating the most impactful conversations?• What is the consumer response? 

Measurement Strategy

Online Offline

Quick and noisy ?

Deep and expensive

? ?

How do you measure offline WOM?

Surveys1. Online panels2. Phone interviews

e.g.: “Did you mention Land‐o‐Lakes to anyone last week”

• Effortful• Issues with recall• Subject to biases

Measuring Online WOM: Deep and Expensive(Kozinets 2002)

Analyzed a coffee community (alt.coffee) using “netnography” techniques

1. Groups:• Tourists• Devotees• Minglers• Insiders

2. Meaning

Mine Your Own Business: Market  Structure Surveillance through Text MiningRonen Feldman, Jacob Goldenberg & Oded Netzer (2011)

Measuring Online WOM: Quick and Noisy  

Mine Your Own Business: Market Structure Surveillance throughText MiningRonen Feldman, Jacob Goldenberg& Oded Netzer (2011)

In‐Between: Measuring Online WOM without delving into 

Content Analysis 

1. Look at metrics of WOM (such as volume etc) 2. Which metrics work?  

1. EntropyMeasuring Online WOM (Godes and Mayzlin 2004)

9 0 0

3 3 3

1) 

2) 

rec.arts.tv alt.tv.food‐network alt.tv.reality

Ln(1/3) = ‐1.1

2. Volume   

Volume = 

3. Valence(Chevalier and Mayzlin 2006)

Summary

• Important to measure social media

• Major decisions: – Quick and noisy– Slow and deep

• Metrics that work– Volume– Entropy – Valence