Date post: | 13-May-2015 |
Category: |
Documents |
Upload: | hadley-wickham |
View: | 642 times |
Download: | 1 times |
Hadley Wickham
Stat405ddply case study (2)
Thursday, 7 October 2010
1. Recap
1. Focus on smaller subset
2. More ddply
1. Develop summary statistic
2. Classify names
3. Apply to full data
Thursday, 7 October 2010
For names that are used for both boys and girls, how has usage changed?
Can we use names that clearly have the incorrect sex to estimate error rates over time?
Questions
Thursday, 7 October 2010
Getting started
options(stringsAsFactors = FALSE)library(plyr)library(ggplot2)
both <- read.csv("both.csv")
Thursday, 7 October 2010
Interesting subsetboth_sum <- ddply(both, "name", summarise, years = length(name), avg_usage = mean(boy + girl) / 2)
both_sum <- subset(both_sum, years > 1)qplot(years, avg_usage, data = both_sum)
selected_names <- subset(both_sum, years > 50 & avg_usage > 0.0005)$nameselected <- subset(both, name %in% selected_names)
Thursday, 7 October 2010
selected$lratio <- with(selected, log10(boy / girl))qplot(lratio, name, data = selected) qplot(lratio, reorder(name, lratio), data = selected)qplot(abs(lratio), reorder(name, lratio), data = selected)
Patterns
Thursday, 7 October 2010
abs(lratio)
reor
der(n
ame,
lrat
io)
MaryHelen
MargaretElizabethFrances
HazelRuby
BerniceCarolPearl
BonnieJune
ShirleyJean
ConnieShannon
OraKelly
PatsyRobin
GailJamieBillieTracyOllie
DanaMarion
LynnJessieJackieAngelLeslie
JohnnieJimmie
WillieTerry
LeeSidney
GeneCecil
EddieFrancis
IraDale
ClydeJerryRay
CharlieJesse
JoeHenry
GeorgeMichaelCharles
FrankJosephJamesRobert
JohnDavid
ThomasWilliamRichard
ββββββ ββββ ββββ ββββ ββββ ββ βββ ββββ β β β ββββββββββββββββββββββββββββ β ββ β ββββ ββββββββ βββββββββββββββ
β βββ ββ ββββ ββββ ββββ βββ βββ ββ ββ β ββ ββ βββββββββββββββ ββ βββ ββ
β ββ ββ ββ βββ β βββ β ββββββββ β βββ βββ β β βββββββ ββββββββββββ ββββ ββββ βββ
β βββ βββ ββ β βββ ββ βββββ ββ ββββ β ββββ ββββ βββ ββββ βββ ββ βββββββββββββββ
β ββββ β ββββ ββ ββ βββββ βββ ββββββ βββ β βββββ ββββββββββββ ββββ ββ β ββ ββββ βββ β
β ββ β ββ ββ ββ ββ ββββ βββ β βββ ββ ββ ββ ββ β βββββββββββ ββββββββ
β βββ βββββ ββ ββ β βββ ββ β ββββ β βββ ββ βββ ββββ ββ ββββ ββββββββ
β βββ ββββ ββ ββ βββββ βββ β βββββ ββββββ ββ βββ ββ ββββββ βββββββ
β β β βββ ββ β βββββββ β ββββ βββββ β βββ ββ β βββ βββ β β β ββ ββ βββββ βββββ ββββββ
β ββββββ ββ ββ ββββ β ββ β βββ ββ ββββββ ββββ ββ ββββββββββββββββ βββ ββββ
β ββ ββ βββ ββ βββββ ββ ββ ββββββ βββββ βββ β ββββ βββ βββ ββββ ββ ββ β ββββ ββ ββββ ββββ
βββ βββββ β βββββ βββ ββ β ββ β βββββ β β ββ ββ βββ βββ ββ ββββββ ββββ βββ ββ
ββββββ ββ βββ ββββ ββ βββ ββ ββ ββ βββ ββββββ β β ββ ββ β β ββ βββββββ β β βββ βββ βββ βββ β ββββββββ
βββββ β ββ β ββββ ββββ β β βββ βββ βββ β ββ ββ β βββββββββββ ββ βββββ ββββββββ ββββββ βββββ ββ ββββββββββββββββββββββββ ββββββββββββ βββ β ββ
ββ ββ β ββββ ββ ββ ββ ββ βββ βββ βββ β ββββ ββ ββ βββ β β ββ ββ ββββββ β βββ β β ββββ ββ β ββ β ββ βββββ ββ βββββ ββ
β β ββββ ββ β ββ β βββββ βββββ ββββ β β β ββββ ββ ββββ βββ β ββ ββββββ β ββββββββββββββ
β βββββ ββ β βββ β βββ ββ βββββ ββββ ββ ββ ββββββ βββ βββ ββββ ββ βββ β ββ ββ β ββββββ
βββ βββ βββββ β βββ β βββββ βββββββ ββ ββββββ ββββββββββββββββββββ
β ββ βββ β ββββ β ββ β ββββ β βββββ β β β β β β ββ β β ββ β ββββ β ββ ββ ββββ
ββ βββββββββ ββ βββ ββ β βββ βββ β ββ ββ ββ βββββββββ βββββββββββββ ββββββββββ ββββ
β ββ β ββ βββ β ββ βββββ ββββ ββββ ββ βββββββ βββββ βββ β β β β β β β β ββ βββ ββ ββ βββ β βββ ββββββββ
ββ ββββββ ββ βββββ β ββββ β ββββββββ β βββββ βββββββ ββββ β ββββ ββ ββ ββββββββββ ββββββββββββ ββ
β ββββ βββ ββ ββ ββ ββββ βββββ ββββββββββ βββββββββββββββββββββ βββ βββ βββ βββββββββββββ βββ ββ ββ β βββ ββββ βββββ
ββ β βββ ββ ββββ βββ βββ β ββββ βββ β β ββββ β β ββββ β βββ ββββββββββββββ ββββββββ β
β ββ ββββ βββββββ ββββββ βββ βββββββββ ββ ββββββ ββββββββββββ ββ βββββββ ββ ββββ βββ βββββββ ββ ββ
ββββ βββ ββ βββ ββββββ ββ βββ βββββββββ ββββ βββ βββββββββββββ β ββββββ β ββ βββ βββββ ββ βββββββββββ βββββββββ ββ
βββββββ βββ β ββ ββ ββββββββββ ββββββββββββββββββββββββββββββββββββββββββββββββββββ βββββ ββββ ββββββββββ βββ βββββββββ
β ββ β βββ βββ βββββ ββββββββββββββββββββββ β β β β ββββββββ β βββ βββββββββββββββββββ βββββ βββββ
βββ ββββββββββββ ββββββ βββββββ βββ β β βββββββββββββββββββββββββββββββββββββββββββ ββββββββββββββββββββββββββββββ ββββββββ βββββββββββββββ
ββββββ βββ ββββ ββββββββββββββ ββββββββ β ββ β βββ βββββββββββββ ββββ β βββββ ββββββββββ
ββββββ βββββββββ β βββββ ββββ ββββββββ β ββ ββββββββββ β β β β βββ
ββ β ββ β ββββ ββ βββ βββ βββββ βββ βββ ββ βββββββββ ββββ ββββ βββ βββββββββββββββββββββ βββββ βββββββββ β βββββββ ββ ββ ββββ βββββ βββββ ββββ β β
ββ βββ ββ ββ β ββ ββββββ βββββ βββββ βββββββ ββββ ββββββββββββββββββββββββββ βββββββββ ββββ βββββββββββ βββ ββ
βββ βββ βββββ ββ ββ ββ β βββ ββ βββ ββββ βββββββββ βββββββ ββββββ βββββββββββββ β ββββββββ ββ β ββββββ
βββββ ββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββ ββ βββββββββββββ βββ
β βββββββββ β ββ β β β ββ ββ βββββββββββββββββββββββββ ββ βββββββββββ β ββββ βββ βββ
ββ ββ ββ ββββ ββ ββββ βββββββ ββββββββββ ββ ββββββ ββββββββββββ βββββββββββββββββββββββββββββββ ββ ββββ ββ βββββββββ ββ β βββββββ
ββ β ββ ββ βββ ββ ββ ββββ β ββββ ββ β βββ ββ ββ ββββββββββββββ ββ βββββ ββ ββ βββββββ β ββ β β ββββββ ββββ
β ββ β ββ β ββββ β ββ ββ ββ ββ ββ ββββββ ββ βββ βββββ β β β ββ ββ ββ βββββ βββββββ βββ
ββββ ββββ ββ ββββ ββββ β βββ ββββ βββββ β βββ ββ ββ ββ ββ ββββ ββββββββ βββ ββββ ββ
ββββ ββ ββ βββ ββ ββ β βββ ββ βββββββββββββββ βββ ββββββββββββ ββββββββββ βββ ββ ββββββ ββ ββ β ββ
ββ ββ ββββββββββββ βββ ββ ββ βββ ββ βββ β βββββββββββββββββ ββ βββββ ββββββ βββ βββ ββββββββββββββββββββββββββββββββ
β βββ βββ βββ ββββ ββββ βββ ββ ββββ βββββββ ββββββββββββ βββ ββ βββ βββ ββββββββ
β β β β βββ β βββββ ββ βββββββ ββ ββ βββββββββββββββββββββββ β β βββββββββ βββββ
ββ β βββ βββββ βββ ββββ ββββ βββββ β ββ ββ ββββββ ββ βββ βββ βββββ ββ
ββ ββββ βββββββββββββ βββ βββ ββ βββ ββββββββ ββββ βββ ββββββββ β ββ ββ ββ
βββ βββ βββββ ββ ββ βββ ββ β ββ β βββ βββββ βββ ββββ βββ βββ βββ βββ β βββββ
ββββ βββββββββ βββββββ ββββ ββ βββ ββ βββββ βββββ βββββββββββββ ββββ βββ βββββββββββββββ
ββ ββββ βββ βββ β ββββ ββββ βββββββββββββββββββββββββ ββββ β
ββββ βββ ββ βββ ββββ ββ βββ ββ β βββ βββ ββββββ βββββββββββββββββββ βββββ ββββββββββββ βββ ββ βββ β
βββ β ββ β ββ βββββ β ββββββ β ββ βββββββ ββββββββ ββ ββββββ ββββ β βββββ ββββ
βββ ββ βββββ β ββ βββ β ββ ββββ ββββββββ ββββββββββββββββββββ βββββ βββββ βββββ βββ βββββββ
ββ ββββ β β β βββ β βββ ββββββββββ ββββββββββββββββββββ ββββ β β βββββ
βββ βββ ββ ββββ β βββ β βββββ ββ ββ ββββββ ββββββββββ βββββββ ββββ ββββ ββββββ ββββββββ ββββββββββββββββββββββ
β ββββ ββ ββ ββ ββ βββ ββββ ββ ββββ βββ βββ ββββββ ββ ββββββββββ ββ ββ βββββ
ββ ββ ββ βββ ββββ βββ βββ ββββ ββ β ββ ββ ββββββββββββββββ βββ ββ βββ ββββ ββββ βββββ βββββββββββ βββββββ β
ββ βββ ββ ββ βββ ββββ ββββββ ββββββ βββββββββββββββββββββββ βββ ββββββββββββ ββββββββββββββββββββββββββββ ββββββββββ βββββ β
β ββ β βββ ββ β β ββββ ββ ββββββ ββββββββ βββββββββββββββββ ββββ βββββββββ ββββββββββ ββββββββ ββββββββββββββββββββββββββ β
β βββββββ βββ βββββ βββ βββββββββ βββ ββββββββββββββββββββ ββ ββ βββββ ββββ βββ ββββββ ββββββββββββββββββββββββββββ βββββββ β
βββ βββββ ββββ β ββ ββ βββββ ββ ββββ ββββββββββββ ββββββββββββββββββ βββ βββββ
βββ ββ ββ ββββ ββ ββββββ ββββ ββββββββββββββ ββ βββ βββ ββββ ββ ββββ βββ βββββββββββββββ
ββββ ββββ ββ ββ β ββββ ββ βββ ββ βββββ βββββ ββββββββββββββββ ββββ ββββ βββ βββ βββββ ββ βββββββββββββ βββββββββββββββββ βββ ββββ
β β βββββββββ ββββββ βββ ββββ β ββββββ ββββ ββββββββββββββββββββββ
0.5 1.0 1.5 2.0 2.5Thursday, 7 October 2010
abs(lratio)
reor
der(n
ame,
lrat
io)
MaryHelen
MargaretElizabethFrances
HazelRuby
BerniceCarolPearl
BonnieJune
ShirleyJean
ConnieShannon
OraKelly
PatsyRobin
GailJamieBillieTracyOllie
DanaMarion
LynnJessieJackieAngelLeslie
JohnnieJimmie
WillieTerry
LeeSidney
GeneCecil
EddieFrancis
IraDale
ClydeJerryRay
CharlieJesse
JoeHenry
GeorgeMichaelCharles
FrankJosephJamesRobert
JohnDavid
ThomasWilliamRichard
ββββββ ββββ ββββ ββββ ββββ ββ βββ ββββ β β β ββββββββββββββββββββββββββββ β ββ β ββββ ββββββββ βββββββββββββββ
β βββ ββ ββββ ββββ ββββ βββ βββ ββ ββ β ββ ββ βββββββββββββββ ββ βββ ββ
β ββ ββ ββ βββ β βββ β ββββββββ β βββ βββ β β βββββββ ββββββββββββ ββββ ββββ βββ
β βββ βββ ββ β βββ ββ βββββ ββ ββββ β ββββ ββββ βββ ββββ βββ ββ βββββββββββββββ
β ββββ β ββββ ββ ββ βββββ βββ ββββββ βββ β βββββ ββββββββββββ ββββ ββ β ββ ββββ βββ β
β ββ β ββ ββ ββ ββ ββββ βββ β βββ ββ ββ ββ ββ β βββββββββββ ββββββββ
β βββ βββββ ββ ββ β βββ ββ β ββββ β βββ ββ βββ ββββ ββ ββββ ββββββββ
β βββ ββββ ββ ββ βββββ βββ β βββββ ββββββ ββ βββ ββ ββββββ βββββββ
β β β βββ ββ β βββββββ β ββββ βββββ β βββ ββ β βββ βββ β β β ββ ββ βββββ βββββ ββββββ
β ββββββ ββ ββ ββββ β ββ β βββ ββ ββββββ ββββ ββ ββββββββββββββββ βββ ββββ
β ββ ββ βββ ββ βββββ ββ ββ ββββββ βββββ βββ β ββββ βββ βββ ββββ ββ ββ β ββββ ββ ββββ ββββ
βββ βββββ β βββββ βββ ββ β ββ β βββββ β β ββ ββ βββ βββ ββ ββββββ ββββ βββ ββ
ββββββ ββ βββ ββββ ββ βββ ββ ββ ββ βββ ββββββ β β ββ ββ β β ββ βββββββ β β βββ βββ βββ βββ β ββββββββ
βββββ β ββ β ββββ ββββ β β βββ βββ βββ β ββ ββ β βββββββββββ ββ βββββ ββββββββ ββββββ βββββ ββ ββββββββββββββββββββββββ ββββββββββββ βββ β ββ
ββ ββ β ββββ ββ ββ ββ ββ βββ βββ βββ β ββββ ββ ββ βββ β β ββ ββ ββββββ β βββ β β ββββ ββ β ββ β ββ βββββ ββ βββββ ββ
β β ββββ ββ β ββ β βββββ βββββ ββββ β β β ββββ ββ ββββ βββ β ββ ββββββ β ββββββββββββββ
β βββββ ββ β βββ β βββ ββ βββββ ββββ ββ ββ ββββββ βββ βββ ββββ ββ βββ β ββ ββ β ββββββ
βββ βββ βββββ β βββ β βββββ βββββββ ββ ββββββ ββββββββββββββββββββ
β ββ βββ β ββββ β ββ β ββββ β βββββ β β β β β β ββ β β ββ β ββββ β ββ ββ ββββ
ββ βββββββββ ββ βββ ββ β βββ βββ β ββ ββ ββ βββββββββ βββββββββββββ ββββββββββ ββββ
β ββ β ββ βββ β ββ βββββ ββββ ββββ ββ βββββββ βββββ βββ β β β β β β β β ββ βββ ββ ββ βββ β βββ ββββββββ
ββ ββββββ ββ βββββ β ββββ β ββββββββ β βββββ βββββββ ββββ β ββββ ββ ββ ββββββββββ ββββββββββββ ββ
β ββββ βββ ββ ββ ββ ββββ βββββ ββββββββββ βββββββββββββββββββββ βββ βββ βββ βββββββββββββ βββ ββ ββ β βββ ββββ βββββ
ββ β βββ ββ ββββ βββ βββ β ββββ βββ β β ββββ β β ββββ β βββ ββββββββββββββ ββββββββ β
β ββ ββββ βββββββ ββββββ βββ βββββββββ ββ ββββββ ββββββββββββ ββ βββββββ ββ ββββ βββ βββββββ ββ ββ
ββββ βββ ββ βββ ββββββ ββ βββ βββββββββ ββββ βββ βββββββββββββ β ββββββ β ββ βββ βββββ ββ βββββββββββ βββββββββ ββ
βββββββ βββ β ββ ββ ββββββββββ ββββββββββββββββββββββββββββββββββββββββββββββββββββ βββββ ββββ ββββββββββ βββ βββββββββ
β ββ β βββ βββ βββββ ββββββββββββββββββββββ β β β β ββββββββ β βββ βββββββββββββββββββ βββββ βββββ
βββ ββββββββββββ ββββββ βββββββ βββ β β βββββββββββββββββββββββββββββββββββββββββββ ββββββββββββββββββββββββββββββ ββββββββ βββββββββββββββ
ββββββ βββ ββββ ββββββββββββββ ββββββββ β ββ β βββ βββββββββββββ ββββ β βββββ ββββββββββ
ββββββ βββββββββ β βββββ ββββ ββββββββ β ββ ββββββββββ β β β β βββ
ββ β ββ β ββββ ββ βββ βββ βββββ βββ βββ ββ βββββββββ ββββ ββββ βββ βββββββββββββββββββββ βββββ βββββββββ β βββββββ ββ ββ ββββ βββββ βββββ ββββ β β
ββ βββ ββ ββ β ββ ββββββ βββββ βββββ βββββββ ββββ ββββββββββββββββββββββββββ βββββββββ ββββ βββββββββββ βββ ββ
βββ βββ βββββ ββ ββ ββ β βββ ββ βββ ββββ βββββββββ βββββββ ββββββ βββββββββββββ β ββββββββ ββ β ββββββ
βββββ ββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββ ββ βββββββββββββ βββ
β βββββββββ β ββ β β β ββ ββ βββββββββββββββββββββββββ ββ βββββββββββ β ββββ βββ βββ
ββ ββ ββ ββββ ββ ββββ βββββββ ββββββββββ ββ ββββββ ββββββββββββ βββββββββββββββββββββββββββββββ ββ ββββ ββ βββββββββ ββ β βββββββ
ββ β ββ ββ βββ ββ ββ ββββ β ββββ ββ β βββ ββ ββ ββββββββββββββ ββ βββββ ββ ββ βββββββ β ββ β β ββββββ ββββ
β ββ β ββ β ββββ β ββ ββ ββ ββ ββ ββββββ ββ βββ βββββ β β β ββ ββ ββ βββββ βββββββ βββ
ββββ ββββ ββ ββββ ββββ β βββ ββββ βββββ β βββ ββ ββ ββ ββ ββββ ββββββββ βββ ββββ ββ
ββββ ββ ββ βββ ββ ββ β βββ ββ βββββββββββββββ βββ ββββββββββββ ββββββββββ βββ ββ ββββββ ββ ββ β ββ
ββ ββ ββββββββββββ βββ ββ ββ βββ ββ βββ β βββββββββββββββββ ββ βββββ ββββββ βββ βββ ββββββββββββββββββββββββββββββββ
β βββ βββ βββ ββββ ββββ βββ ββ ββββ βββββββ ββββββββββββ βββ ββ βββ βββ ββββββββ
β β β β βββ β βββββ ββ βββββββ ββ ββ βββββββββββββββββββββββ β β βββββββββ βββββ
ββ β βββ βββββ βββ ββββ ββββ βββββ β ββ ββ ββββββ ββ βββ βββ βββββ ββ
ββ ββββ βββββββββββββ βββ βββ ββ βββ ββββββββ ββββ βββ ββββββββ β ββ ββ ββ
βββ βββ βββββ ββ ββ βββ ββ β ββ β βββ βββββ βββ ββββ βββ βββ βββ βββ β βββββ
ββββ βββββββββ βββββββ ββββ ββ βββ ββ βββββ βββββ βββββββββββββ ββββ βββ βββββββββββββββ
ββ ββββ βββ βββ β ββββ ββββ βββββββββββββββββββββββββ ββββ β
ββββ βββ ββ βββ ββββ ββ βββ ββ β βββ βββ ββββββ βββββββββββββββββββ βββββ ββββββββββββ βββ ββ βββ β
βββ β ββ β ββ βββββ β ββββββ β ββ βββββββ ββββββββ ββ ββββββ ββββ β βββββ ββββ
βββ ββ βββββ β ββ βββ β ββ ββββ ββββββββ ββββββββββββββββββββ βββββ βββββ βββββ βββ βββββββ
ββ ββββ β β β βββ β βββ ββββββββββ ββββββββββββββββββββ ββββ β β βββββ
βββ βββ ββ ββββ β βββ β βββββ ββ ββ ββββββ ββββββββββ βββββββ ββββ ββββ ββββββ ββββββββ ββββββββββββββββββββββ
β ββββ ββ ββ ββ ββ βββ ββββ ββ ββββ βββ βββ ββββββ ββ ββββββββββ ββ ββ βββββ
ββ ββ ββ βββ ββββ βββ βββ ββββ ββ β ββ ββ ββββββββββββββββ βββ ββ βββ ββββ ββββ βββββ βββββββββββ βββββββ β
ββ βββ ββ ββ βββ ββββ ββββββ ββββββ βββββββββββββββββββββββ βββ ββββββββββββ ββββββββββββββββββββββββββββ ββββββββββ βββββ β
β ββ β βββ ββ β β ββββ ββ ββββββ ββββββββ βββββββββββββββββ ββββ βββββββββ ββββββββββ ββββββββ ββββββββββββββββββββββββββ β
β βββββββ βββ βββββ βββ βββββββββ βββ ββββββββββββββββββββ ββ ββ βββββ ββββ βββ ββββββ ββββββββββββββββββββββββββββ βββββββ β
βββ βββββ ββββ β ββ ββ βββββ ββ ββββ ββββββββββββ ββββββββββββββββββ βββ βββββ
βββ ββ ββ ββββ ββ ββββββ ββββ ββββββββββββββ ββ βββ βββ ββββ ββ ββββ βββ βββββββββββββββ
ββββ ββββ ββ ββ β ββββ ββ βββ ββ βββββ βββββ ββββββββββββββββ ββββ ββββ βββ βββ βββββ ββ βββββββββββββ βββββββββββββββββ βββ ββββ
β β βββββββββ ββββββ βββ ββββ β ββββββ ββββ ββββββββββββββββββββββ
0.5 1.0 1.5 2.0 2.5
What characteristics separate sex-errors from dual-sex names?
Thursday, 7 October 2010
Your turn
Compute the mean and range of lratio for each name.
Plot and come up with cutoffs that you think separate the two groups.
Thursday, 7 October 2010
rng <- ddply(selected, "name", summarise, diff = diff(range(lratio, na.rm = T)), mean = mean(lratio, na.rm = T))
qplot(diff, abs(mean), data = rng)qplot(diff, abs(mean), data = rng, geom = "text", label = name)
rng$dual <- abs(rng$mean) < 2arrange(rng, mean, dual)
selected <- join(selected, rng[c("name", "dual")])
Thursday, 7 October 2010
diff
abs(mean)
0.5
1.0
1.5
2.0
Angel
Bernice
Billie
Bonnie
Carol
Cecil
Charles
CharlieClyde
Connie
Dale
Dana
David
Eddie
Elizabeth
Frances
Francis
Frank
Gail
Gene
George
Hazel
HelenHenry
Ira
Jackie
James
Jamie
Jean
Jerry
Jesse
Jessie
Jimmie
Joe
John
Johnnie
Joseph
June
KellyLee
LeslieLynn
Margaret
Marion
MaryMichael
Ollie
OraPatsy
PearlRay
RichardRobert
Robin
Ruby
Shannon
Shirley
Sidney
Terry
Thomas
Tracy
William
Willie
0.5 1.0 1.5 2.0 2.5
Thursday, 7 October 2010
diff
abs(mean)
0.5
1.0
1.5
2.0
Angel
Bernice
Billie
Bonnie
Carol
Cecil
Charles
CharlieClyde
Connie
Dale
Dana
David
Eddie
Elizabeth
Frances
Francis
Frank
Gail
Gene
George
Hazel
HelenHenry
Ira
Jackie
James
Jamie
Jean
Jerry
Jesse
Jessie
Jimmie
Joe
John
Johnnie
Joseph
June
KellyLee
LeslieLynn
Margaret
Marion
MaryMichael
Ollie
OraPatsy
PearlRay
RichardRobert
Robin
Ruby
Shannon
Shirley
Sidney
Terry
Thomas
Tracy
William
Willie
0.5 1.0 1.5 2.0 2.5
Why does this pattern give us confidence that those dual-sex names are errors?
Thursday, 7 October 2010
qplot(year, lratio, data = selected, geom = "line", group = name) + facet_wrap(~ dual)
qplot(year, lratio, data = subset(selected, dual), geom = "line") + facet_wrap(~ name)
qplot(year, boy / (boy + girl), data = subset(selected, dual), geom = "line") + facet_wrap(~ name)
Thursday, 7 October 2010
Apply this threshold to all names, not just the few we focussed in on. Does it still seem like a good classification?
What can you say about trends in errors over time?
Your turn
Thursday, 7 October 2010
both$lratio <- with(both, log10(boy / girl))rng <- ddply(both, "name", summarise, diff = diff(range(lratio, na.rm = T)), mean = mean(lratio, na.rm = T))rng$dual <- abs(rng$mean) < 2arrange(rng, mean, dual)both <- join(both, rng[c("name", "dual")])
qplot(year, lratio, data = subset(both, !dual)) qplot(year, abs(lratio), data = subset(both, !dual), colour = factor(boy > girl)) + geom_smooth(size = 3)
Thursday, 7 October 2010
Math on the computer
Thursday, 7 October 2010
Your turn
Perform the following calculations in R. Are the answers what you expect?
seq(0.1, 0.9, by = 0.1) - 1:9 / 10
sqrt(2)^2 - 2
What is the property of these numbers that might cause the problem?
Thursday, 7 October 2010
# Each number must be stored in a finite amount of space
# => each number can only have a finite number of digits
# => floating point math does not work like normal math
(1e-16 + 1) == 1
(1e-16 + 1) * 10 == 1e-16 * 10 + 1 * 10
1e9 + 2 - 0.1 - 1e9
1e10 + 2 - 0.1 - 1e10
1e11 + 2 - 0.1 - 1e11
1e12 + 2 - 0.1 - 1e12
1e13 + 2 - 0.1 - 1e13
1e14 + 2 - 0.1 - 1e14
Thursday, 7 October 2010
aβ (b + c) = aβ b + aβ ca + (b + c) = (a + b) + c
a + b - b = a
Thursday, 7 October 2010
# By default R only shows 7 significant digits
# If the trailing digits are zero, the number will be rounded
(1 / 237)
(1 / 237) * 237
(1 / 237) * 237 - 1
seq(0.1, 0.9, by = 0.1)
seq(0.1, 0.9, by = 0.1) - 1:9 / 10
# Tricky to get to print exactly:
formatC((1 / 237) * 237, digits = 20)
formatC(seq(0.1, 0.9, by = 0.1), digits = 20)
Thursday, 7 October 2010
# When working with floating point numbers (numeric)
# (but not integers, this is the one place where the
# difference is important) never test for equality with ==
a <- seq(0.1, 0.9, by = 0.1)
b <- 1:9 / 10
all(a == b)
all.equal(a, b)
all(abs(a - b) < 1e-6)
# Similarly, need to be careful with < and > etc
Thursday, 7 October 2010
# Places where this matters:# # * sums# * calculating the standard deviation# * inverting a matrix (condition)# * linear models!# * maximum likelihood estimation
Thursday, 7 October 2010
Reflection on project teams.
Plyr drills.
Plyr practice with basketball data (what weβll be using for the next project).
Homework
Thursday, 7 October 2010