1

PSYC 355Unit 1.2

Hypothesis testing & inferential statistics

• Test if mean of group is different– Goal: _____________________behavior based on prior observations

• Why need statistics?  Common errors– Naive belief if _____________, _______________– Believe difference exists, but it really does not– People believe the difference is ________________________________

• Unit examines t tests: determine if a group mean is _____________different from a comparison value

Special definition

t tests & hypothesis testing

How determine if one group is different?

Compare to known 

population value

One‐sample or single‐sample t 

test

Compare to matched group or themselves

Paired‐samples ttest

Compare to independent 

group

Independent‐samples t test

Initial focus

2

Tests based on t distribution• Distribution of means• SD of means (sM ) = 

Standard error of mean (SEM) • Empirical estimate w/ 

multiple sample• ___________estimate

• Works! 19.38 ≈ 19.48

SD = 106.16

SD = SEM=19.48

Individual

Section means

What is the SEM for ALL Y12‐13 sectionsM = 823.66, SD = 106.16 & N = 143

A. 2.16

B. 8.88

C. 19.38

D. 106.16

Different NSame M & SD

Tests based on t distribution

• Symmetric, bell shaped distribution of ______

• Shape depends on _____________________ df = N – 1 for one sample t

• Sample size increases → ________shape

3

Table B.2   The t distributions (page B‐4)

2

1 1

1. t scores (absolute values) marking extreme area2. df = N ‐1 3. +2.262 & ‐2.262 mark off extreme p = .05 if df = 9

We will not need to use this portion of 

Table B.23. Critical values

Group mean will differ next time95% Confidence Interval of mean

1. Calculate summary statisticsM = 823.66, SD = 106.16, N = 143

2. Look up 2‐tailed t statistics define middle 95% = extreme 100 – 95%

– Use largest table df ≤ problem df

– This problem df = 142, use table df = 120 → 1.980

ALL 2012‐3 sections

Group mean will differ next time95% Confidence Interval of mean

3. Calculate SEM 

– Previous slide: SEM = 8.88

4. Convert t statistics into raw means

5. There is a 95% chance that M of an entire year of 355 scores will fall between 806.08 & 841.24  (∆ 35.2)

4

95% CI of M for one 30 person section?M = 823.66, SD = 106.16, N = 30

Accuracy predicting future average ________ with smaller sample sizes

A. MLOWER = 806, MUPPER = 841

B. MLOWER = 816, MUPPER = 831

C. MLOWER = 784, MUPPER = 863

_________________________________

Tests based on t distribution

• z score: score of one person vs. mean (size of individual difference in SD units)

• t score: M of one group vs. comparison mean (size of mean difference in SEM units)

SEM is much ______unit!

Simple sample t: Six steps using SPSS

1. Identify population, distribution, assumptions

– Sample: 2012‐13 PSYC 355 students

• Data set used in prior lectures!

– Comparison: Students all PSYC courses (S 2010)

5

Simple sample t: Six steps using SPSS

2. State null & research hypothesis

– Null: MSAMPLE = MCOMPARE

– Research: MSAMPLE ≠ MCOMPARE

– This is a non‐directional, 2‐tailed hypothesis

MSA

MPLE

MCOMPA

RE

MSA

MPLE

Extreme areas

Reject Null, Accept Research if MSAMPLE in extreme area

Simple sample t: Six steps using SPSS

3. Determine statistics for sample and comparison

– SPSS to calculate sample statistics (already done)

– Prior information for MCOMPARE = 826

4. Select critical (alpha) value

1. Select α level (proportion in extreme areas)

2. Common values are α = .01 or α = .05

5. Calculate test statistic with SPSS

6. Make a decision

Do it with SPSS3. Calculate sample statistics 

• Results from prior lecture

• Technically, t test valid only if symmetric data, but this datanegatively skewed

• In practice, _________stat OKwith ___________________data if N ≥ ______

• Okay with N = 143

Optional SPSS will redo later

Study it

6

Do it with SPSS5. Calculate test statistic

1.  Open data set used in prior lectures

4. One‐Sample T test2. 

3

Do it with SPSS5. Calculate test statistic

1. Move variable

2. Enter comparison mean(826 this problem)

3. OK

Do it with SPSS5. Calculate test statistic

Summary statistics  (redo)Comparison M

Check IT!

df N‐1

t

p in extreme area

7

Make a decision

• SPSS calculates _____  extreme area for sample mean 

• Accept null if _________> α (.05 for this problem)

• Reject null & accept research hypothesis if____________≤ α

MCOMPA

RE

UpperExtreme

LowerExtreme

Should you reject null & accept research hypothesis

A. Yes

B. No

C. Can’t tell

Calculate the SIZE of difference

• t statistic uses SEM as unit of comparison, but

• d statistic uses _________ of individual scores as unit

– Why:  matches way people think about scores!

• Sample & comparison means are only ‐.02 SD’s apart

8

What does Cohen d tell us?

Effect size

d

Small 0.2

Medium .5

Large .8

‐3

+3

‐2

‐1

+1

+2

Table 8‐1Cohen’s convention for effect sizes: d

‐3

+3

‐2

‐1

+1

+2

Population

Sample

Overlap of distributions = 85%__________________________________________

What does Cohen d tell us?

Effect size

d

Small 0.2

Medium .5

Large .8

‐3

+3

‐2

‐1

+1

+2

Table 8‐1Cohen’s convention for effect sizes: d

‐3

+3

‐2

‐1

+1

+2

Population

Sample

Overlap of distributions = 67%

What does Cohen d tell us?

Effect size

d

Small 0.2

Medium .5

Large .8

‐3

+3

‐2

‐1

+1

+2

Table 8‐1Cohen’s convention for effect sizes: d

‐3

+3

‐2

‐1

+1

+2

Population

Sample

Overlap of distributions = 53%____________________________________________________________________________________________

9

Make a decisionDocument: Statistical statement

• t(142) = ‐.264, ns, d= ‐.02

• Note italics for t, ns, p, & d … allstatistical symbols

Sig You write

> α ns

≤ α p = Sig value

.000 p < .001

Make a decisionDocument: English statement

• The mean final score of the 2012‐13 PSYC 355 students (M = 823.66, SD = 106.16, N = 143) is not significantly different from the mean score of 826 in all psychology classes

English statement must include!

• The mean final score of the 2012‐13 PSYC 355 students (M = 823.66, SD = 106.16, N = 143) is not significantly different from the mean score of 826  in all psychology classes

• Must include– Describe what score/variable measures– Describe the sample– Include summary statistics– State if or if not significantly different– Describe comparison value– Describe the comparison group

10

You do it!

• Redo this analysis comparing entire sample to ONLY upper level PSYC courses, MCOMPARE = 839

– Higher because Internship grades & no Freshmen

– Note that sample statistics do not change

• Do following

– Use 2‐tailed test with α = .05

– Calculate Cohen d

– Calculate t statistic

– Write statistical

– Write English 

What is the value of Cohen’s d?

A. ‐.08

B. ‐.14

C. ‐.23

D. ‐.51

Is the difference significant?Did you reject the null hypothesis?

A. Yes

B. No

C. I don’t know

11

What is correct statistical statement?

A. t(142) = ‐1.728, p=.086

B. t(142) = ‐1.728, ns

C. t(142) = ‐1.728, ns, d = ‐.14

D. t(142) = ‐1.728, ns, d = ‐.14

A. Summary statistics

B. Description of sample

C. Description comparison group

D. Statement if significant

What is missing?

Mean final PSYC 355 score (M = 823.66, SD = 106.16, N = 143) is not significantly different from the mean score of 839 in all upper level psychology classes

Must check homework against list on previous slide

2‐tailed formats for reporting results• Statistical  (Underlined items copied from SPSS or calculated)– Significant:  t(df) = t statistic, p = Sig, d = effect size

• Replace p = Sig with p <.001 if Sig = .000– Not significant:  t(df) = t statistic, ns, d = effect size

• English– Describe what score/variable measures– Describe the sample– Include summary statistics– State if or if not significantly different

• Optional: mention direction– Describe the comparison value– Describe the comparison group

12

Homework #4‐520 points

• Practice doing two‐tailed one sample t tests

• 2 separate problems, for each read instructions carefully to avoid omitting key information

• Data will be in an excel file, copy data values to SPSS

• Submit paper copy of Word document– Copy and paste to Word

• 50% penalty if turned after start of next class

Can statistical decisions be wrong?Truth ≠ Statistical Decisions

Truth

Statistical Decision

NullHypothesis

ResearchHypothesis

Accept Null (not sig.)

Accept Research (Sig. diff.)

HIT

HIT

_____p = ___

_____p = ___

Type I: set α to low value (e.g., .05, .01) to minimize

Type II: increase power of test to minimize

____

Increase statistical power of test

• Two good approaches– Increase size of ______________

• Increase impact of IV (e.g., larger drug dosage)– Decrease size of _____________

• Increase N• Increase reliability of DV → decrease SD

• One bad approach– ____________________

pages 186‐189

13

Dangerous allure of one‐tailed tests

• Two‐tailed

– NullMSAMPLE = MCOMPARE

– Research

MSAMPLE  __ MCOMPARE

Predict scores of 355 students are _______ _______scores of students in all upper level PSYC courses 

• One‐tailed

– NullMSAMPLE = MCOMPARE

– Research

MSAMPLE __ MCOMPARE

Predict scores of 355 students are _____ ____scores of students in all upper level PSYC courses

Dangerous allure of one‐tailed tests

• Test if sample mean is– A: Sample mean ____________μ– B: Sample mean ____________μ

• Keywords: ________________________________________________________________________

• Significant if and only if– Predicted direction happens, &– M falls in area α of distribution farther away from sample mean• Entire area α is either above orbelow comparison mean

How do you do 1‐tailed test?

1. Make research hypothesis directional!

2. Do SPSS analysis exactly same as for 2‐tailed

3. Change decision rule.  Reject null & accept research hypothesis if and only if

A. Result is in predicted direction

B. One‐half of Sig. value ≤ α

4. In statistical statement

A. Use ½ value of Sig 

B. Add (one‐tailed)

5. In English, add direction of result

14

Decision Rules: 1 vs. 2 tailed

1. Sig ≤ α?

Yes

p=Sig. orp<.001

No

ns

1. Predicted Direction?

Yes

2. Sig/2 ≤ α?

Yes

p=Sig/2 (one‐tailed) orp<.001 (one‐tailed)

No

ns (one‐tailed)

No

ns (one‐tailed)

Two‐tailed Rule One‐tailed Rule

1‐tailed test with last in‐class problemPredict MSample < MCompare

• t(142) = ‐1.728, ________________________d = ‐.14

• The mean final score of the 2012‐13 PSYC 355 students (M = 823.66, SD = 106.16, N = 143) is _______________________from the mean score of 839 in all psychology classes

• ___________________________________________

Statistical formats: 1 vs. 2‐tailed• 2‐tailed

– Significant:  t(df) = t statistic, p = Sig, d = effect size

• Replace p = Sig w/ p <.001 if Sig = .000

– Not significant:  t(df) = t statistic, ns, d = effect size

• 1‐tailed

– Significant:  

• t(df) = t statistic, p = Sig/2 (one‐tailed) d = effect size

–Replace p = Sig/2 w/ p <.001 if Sig = .000 

– Not significant 

• t(df) = t statistic, ns (one‐tailed) , d = effect sizeUnderlined items copied from SPSS or calculated

15

Is this a 2‐tailed or 1‐tailed test?

A. 2‐tailed

B. 1‐tailed

t(142) = 3.791, p <.001, d=.32

English formats: 1 vs. 2‐tailed

• 2‐tailed– Describe what score/variable measures

– Describe the sample

– Include summary statistics

– State if or if not significantly different

• Optional: mention direction

– Describe the comparison value

– Describe comparison group

• 1‐tailed: same as 2‐tailed except…– State if or if not significantly different <include predicted direction>

Homework #610 points

• You will do a one‐sample 1‐tailed test with new data

• Remember to use a 2‐step decision rule!