Solving the apparent diversity‐accuracy dilemma of recommender systems

Tao ZhouWeb Sciences Center, UESTC

Email Address: zhutouster@gmail.comBlog:http://www.sciencenet.cn/u/pb00011127/

CollaboratorsZoltan Kuscsik (P. J. Safarik University)Jian‐Guo Liu (University of Shanghai for  Science and Technology)Matus Medo (University of Fribourg)Joesph Wakeling (University of Fribourg) Bing‐Hong Wang (University of Science and Technology of China)Yi‐Cheng Zhang (University of Fribourg)

Related PublicationsTao Zhou et al., Phys. Rev. E 76 (2007) 046115Tao Zhou et al., Europhys. Lett. 81 (2008) 58004Tao Zhou et al., New J. Phys. 11 (2009) 123008Tao Zhou et al., PNAS 107 (2010) 4511

News about our worksNatureMy ScienceDutch Science MagazineL’Atelier

Content

• Basic concepts on recommender systems‐Why: Motivation and Background ‐What: Fundamental problem on recommending‐ How: Main Methods

• Significance of diversity and novelty • Metrics • Diversity‐accuracy dilemma• Discussion and Outlook

Motivation and Background• The exponential growth of the Internet and World Wide Web 

confronts people with information overload: they encounter too much data and sources to be able to find those most relevant for them. People may choose from thousands of movies, millions of books and billions of web pages. The amount of information is increasing more quickly than our processing ability.

• Personalized recommender systems provide a promising way to solve the information overload problem.

• Personalized recommender systems have already been successfully applied in many e‐commerce web sites, such as Amazon.com.

• Information filtering techniques are shifting from finding out what you want to what you like, from centralized to decentralized, from population‐based to personalized. 

Problem Description – The Simplest Version

Personalized recommender systems use the personal information of a user (the historical record of his activities and possibly his profile) to uncover his habits and to consider them in the recommendation.

Known information: the record of interactions between users and objects, the users’ profiles, the objects’ attributes, the content, the time stamps, the user‐user relationships, etc.

Required information: whether a target user will like an unselected object, and if so, to what extent he/she likes it. Basically, a personalized recommender system should provide an ordered list of unselected objects to every target user.

Main Methods

• Collaborative filtering• Iterative refinement• Diffusion/Local Diffusion• Principle component 

analysis• Latent semantic model• Content‐based analysis• Latent Dirichlet allocation• Hybrid algorithm and 

ensemble approach• Matrix factorization• Social Filtering• ……

Significance of Diversity and Novelty

VS.

Top 1% Top 3%

Accuracy VS. Information Value

Significance of Diversity and Novelty

Convex Mirror Concave Mirror

VS.

Which one you prefer?

Metrics on Algorithmic Performance

• Accuracy** Overall Ranking: AUC, Ranking Score

** Top Recommended Objects: Precision, Recall, F‐Measure

• Diversity** Intra‐Similarity: Recommendations to a user are diverse   ** Inter‐Similarity  Recommendations to different users are diverse

• Novelty** Popularity** Self‐information

J. L. Herlocker et al., ACM Trans. Inf. Syst. 22 (2004) 5T. Zhou et al., EPL 81 (2008) 58004T. Zhou et al., NJP 11 (2009) 123008T. Zhou et al., PNAS 107 (2010) 4511 

Diversity‐Accuracy Dilemma 

0 100 200 300 400 500 6000

100

200

300

400

500

600

700

object

# of

reco

mm

ende

d

proposecosjaccard

We have tested the standard CF algorithm in MovieLens, and found that only about 15% of objects have the chance to be recommended, and the most frequently recommended one has been recommended to 70% of users.

0 50 100 150 200 250 300 350 400 450 5000.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

加边的次数

colla

bora

tive

clus

terin

g co

effic

iet

movielens

CFdiffuse

If we assume a small fraction of recommendations will be accepted by the users, then the CF will quickly drive users as a strong convex mirror, namely users will have very similar taste to each other.

Dilemma: Traditional methods usually give accurate yet less diverse recommendations!!

One example: Hybrid Diffusion

PNAS 2010

Experimental Results

Look into the futureWhat about the next‐generation 

recommender systems?

• Static ‐> Adaptive• Centralized ‐> Decentralized• Design Algorithm ‐> Guide Users• Personalized Recommendation ‐> Personalized Algorithms• Accuracy Only ‐> Comprehensive Evaluation• Spam‐Sensitive ‐> Spam‐Robust

Thanks for your attention!