A F

ully

Para

llel LIS

P2 C

om

pacto

r w

ith

pre

serv

ation o

f th

e S

lidin

g P

ropert

ies

Xia

o-F

en

g L

i, L

igan

g W

ang,

Che

n Y

ang

Inte

l C

hin

a R

esearc

h C

ente

r

200

8-0

8-0

1

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i2

Agenda

•LIS

P2 S

lidin

g C

om

pacto

r

•P

ara

llel LIS

P2 C

om

pacto

r

•W

ork

ing in A

pache H

arm

ony

•E

valu

ations

•S

um

mary

and O

n-g

oin

g w

ork

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i3

Agenda

•LIS

P2 S

lidin

g C

om

pacto

r

•P

ara

llel LIS

P2 C

om

pacto

r

•W

ork

ing in A

pache H

arm

ony

•E

valu

ations

•S

um

mary

and O

n-g

oin

g w

ork

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i4

One S

lide o

n G

arb

age C

olle

ction

•G

C is u

niv

ers

ally

availa

ble

in m

odern

runtim

e s

yste

ms

Heap

Reachable Objects

Garbage

Thread 1

Thread 2

Thread 3

•R

eachabili

tyanaly

sis

–T

rave

rse

ob

ject

co

nn

ectio

n g

rap

h

fro

m a

pp

lica

tio

n’s

co

nte

xt

–C

om

mo

nly

use

d

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i5

Slid

ing C

om

pacto

r

•P

ropert

ies

–In

-pla

ce

co

llectio

n: lit

tle

extr

a s

pa

ce

req

uir

ed

–H

ea

p d

e-f

rag

me

nta

tio

n:

hig

h h

ea

p u

tiliz

atio

n

–S

lidin

g c

om

pa

ctio

n:

Ob

ject

ord

er

pre

se

rva

tio

n

–C

on

tig

uo

us f

ree

sp

ace

: B

um

p-p

oin

ter

allo

c

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i6

Is S

lidin

g C

om

pacto

r G

ood?

•C

rite

ria for

sto

p-t

he-w

orld G

C

–A

lloca

tio

n p

erf

orm

an

ce

–M

uta

tio

n p

erf

orm

an

ce

–C

olle

ctio

n p

erf

orm

an

ce

•P

ause t

ime

–M

em

ory

re

qu

ire

me

nt

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i7

Slid

ing C

om

pacto

r: P

ros

•A

llocation p

erf

orm

ance

–B

um

p-p

oin

ter

allo

ca

tio

n �

Fa

st

•M

uta

tion p

erf

orm

ance

–O

bje

ct

ord

er

pre

se

rva

tio

n &

Bu

mp

-po

inte

r a

lloca

tio

n

�g

oo

d lo

ca

lity &

pre

fetc

ho

pp

ort

un

ity

•M

em

ory

requirem

ent

–In

-pla

ce

co

llectio

n &

he

ap

de

-de

fra

gm

en

tatio

n

�S

ma

ll fo

otp

rin

t

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i8

Slid

ing C

om

pacto

r: C

ons

•C

olle

ction p

erf

orm

ance

–T

rad

e t

ime

fo

r th

e a

dva

nta

ge

s …

–E

ve

n t

ho

ug

h,

slid

ing

co

mp

acto

r is

wid

ely

use

d

•F

or

entire

heap c

olle

ction

•C

olle

ction p

erf

orm

ance c

an b

e im

pro

ved

–P

ara

lleliz

atio

n is o

ne

of

the

ap

pro

ach

es

•T

his

work

–P

ara

lleliz

atio

n o

f LIS

P2

Co

mp

acto

r

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i9

LIS

P2 S

lidin

g C

om

pacto

r

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i10

Difficultie

s in P

ara

lleliz

ation

•T

o k

eep the s

lidin

g p

ropert

ies

–T

wo

co

llecto

rs m

ay c

om

pe

te f

or

sa

me

ta

rge

t

loca

tio

n

–O

ne

co

llecto

r m

ay o

ve

rwri

te a

no

the

r

co

llecto

r’s d

ata

34

78

910

11

12

13

14

15

56

12

16

34

78

910

11

12

13

14

15

56

12

16

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i11

More

Difficultie

s for

Scala

bili

ty

•Ir

regula

r pro

gra

m, ord

ere

d lis

t of blo

cks

–L

oa

d b

ala

nce

•O

ne c

olle

cto

r should

not

sta

y idle

wh

en t

here

are

still

tasks r

em

ain

ing

–P

ara

lleliz

atio

n e

ffic

ien

cy

•O

ne c

olle

cto

r should

not

repeat

any w

ork

do

ne b

y

anoth

er

co

llecto

r

–S

yn

ch

ron

iza

tio

n o

ve

rhe

ad

•S

ho

uld

avo

id lon

g t

ime in c

ritica

l section o

r spin

nin

g

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i12

Prior

Para

llel LIS

P2 C

om

pacto

r

•[F

lood-D

etlefs

-Shavit-Z

hang

2001]

–Id

ea

: H

ea

p is d

ivid

ed

to

n r

eg

ion

s,

an

d e

ach

reg

ion

is c

om

pa

cte

d in

de

pe

nd

en

tly

47

11

14

61

34

78

910

11

12

13

14

15

56

12

Be

fore

co

mpa

ctio

n

Afte

r com

pactio

n

Or

47

14

61

16

11

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i13

Our

Para

llel LIS

P2 C

om

pacto

r

•P

ara

llel gra

nula

rity

: heap b

lock

–S

ou

rce

blo

ck / t

arg

et

blo

ck

–O

ne

blo

ck h

as th

e tw

o r

ole

s•

Ord

ere

d lis

t of sourc

e b

lock o

r ta

rget

blo

ck?

•K

ey idea

–R

elo

ca

tin

g p

ha

se

: o

rde

red

lis

t o

f so

urc

e

blo

cks

–M

ovin

g p

ha

se

: o

rde

red

lis

t o

f ta

rge

t b

locks

–C

on

ne

cte

d t

hro

ug

h a

de

pe

nd

en

ce

lis

t

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i14

Agenda

•LIS

P2 S

lidin

g C

om

pacto

r

•P

ara

llel LIS

P2 C

om

pacto

r

•W

ork

ing in A

pache H

arm

ony

•E

valu

ations

•S

um

mary

and O

n-g

oin

g w

ork

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i15

1. P

ara

llel Liv

e O

bje

ct M

ark

ing

•T

ravers

e o

bje

ct connect. g

raph in p

ara

llel

–D

ep

th-f

irst

tra

ve

rsal

–F

or

loa

d b

ala

nce

, a

co

llecto

r p

ush

es its

extr

a t

asks t

o o

the

r

co

llecto

rs

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i16

2. P

ara

llel O

bje

ct R

elo

cating

•In

any tim

e, a c

olle

cto

r alw

ays h

old

s a

sourc

e b

lock a

nd a

targ

et in

hands

–F

or

ea

ch

liv

e o

bje

ct

in s

ou

rce

blo

ck,

co

mp

ute

s its

ta

rge

t a

dd

ress

34

78

910

11

12

13

14

15

56

12

16

targ

et b

lock

so

urc

e b

lock

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i17

Meta

data

Main

tain

ed

•C

olle

cto

rs m

ain

tain

a s

ourc

e-b

lock lis

t fo

r

each targ

et-

blo

ck (

dependence lis

t)

–R

eco

rdin

g its

da

ta s

ou

rce

s

so

urc

e b

lock lis

t

47

89

10

11

12

13

14

15

56

12

16

47

89

10

11

12

13

14

15

56

12

16

47

89

10

11

12

13

15

56

12

16

314

mo

ve

7 to

3

mo

ve

11 to

3

3 3

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i18

Exam

ple

: S

ourc

e-B

lock L

ist

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i19

3. P

ara

llel R

efe

rence F

ixin

g

•F

or

each o

bje

ct, r

efe

rence fix

ing is a

local

opera

tion

–T

he

co

llecto

rs g

rab

blo

cks a

tom

ica

lly f

rom

the

he

ap

an

d f

ix t

he

refe

ren

ce

s lo

ca

lly

–In

he

ren

tly h

igh

ly p

ara

llel

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i20

4. P

ara

llel O

bje

ct M

ovin

g

•T

he c

olle

cto

rs g

rab targ

et blo

cks in

addre

ss o

rder

–M

ove

in

th

e liv

e o

bje

cts

fro

m t

he

blo

cks in

so

urc

e b

lock lis

t

34

78

910

11

12

13

14

15

56

12

16

targ

et b

lock

so

urc

e b

lock lis

t

so

urc

e b

lock

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i21

Meta

data

Main

tain

ed

•T

o a

void

a s

ourc

e b

lock is o

verw

ritten

befo

re its

data

are

moved a

way

–A

fla

g in

so

urc

e b

lock

•In

dic

ating if

its d

ata

are

moved o

ut

•Im

ple

mente

d b

y target-count, r

ecord

ing t

he

num

ber

of ta

rget

blo

cks o

f a s

ourc

e b

lock

–P

ossib

le v

alu

es o

f target-count

: 0

,1,2

•0 : n

o u

sefu

l data

(all

dea

d o

r m

oved)

•D

ecre

me

nte

d o

nce c

opie

d t

o a

targ

et

blo

ck

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i22

Exam

ple

: O

bje

ct M

ovin

g

1

12

8

8

5

63 10

42 11

697

41 32 4 5 6

Collector1

Target block

Source-block list

Next src block

mn

Collector2

Collector3

Src grabbing order

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i23

Synchro

niz

ation C

ontr

ol

•In

obje

ct re

locating p

hase

–C

olle

cto

rs a

tom

ica

lly g

rab

so

urc

eb

locks fro

m

the

he

ap

in

ad

dre

ss o

rde

r

•In

obje

ct m

ovin

g p

hase

–C

olle

cto

rs a

tom

ica

lly g

rab

ta

rge

tb

locks f

rom

the

he

ap

in

ad

dre

ss o

rde

r

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i24

Agenda

•LIS

P2 S

lidin

g C

om

pacto

r

•P

ara

llel LIS

P2 C

om

pacto

r

•W

ork

ing in A

pache H

arm

ony

•E

valu

ations

•S

um

mary

and O

n-g

oin

g w

ork

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i25

GC

in R

eal JV

M

•G

C toolk

it in A

pache H

arm

ony

–G

en

era

tio

na

l, p

ara

llel, c

on

cu

rre

nt

•H

eap c

onfigura

tions

LO

SM

OS

NO

S

nos_

boundary

los_

boundary

MO

SN

OS

sin

gle

space

3.

2.

1.

NO

Snurs

ery

ob

jsp

ace

MO

Sm

atu

re o

bjsp

ace

LO

Sla

rge o

bjspace

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i26

NO

S +

MO

S

•H

igh-e

nd o

f M

OS

should

be a

dju

sta

ble

–C

an

be

sa

tisfie

d t

rivia

lly d

ue

to

slid

ing

co

mp

actio

n n

atu

re

MO

SN

OS

adju

sta

ble

nos_

boundary

reserv

ed s

pace

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i27

Fallb

ack C

om

paction

•C

opy r

eserv

e is inadequate

to

accom

modate

NO

S s

urv

ivors

–F

all

ba

ck t

o e

ntire

-he

ap

co

mp

actio

n

MO

S

ne

w c

op

yorigin

al co

py

Inte

rmedia

te in

consis

tent

he

ap

MO

S

ne

w c

op

yorigin

al co

py (

dead)

Aft

er

live o

bje

ct

mark

ing p

hase

forw

ard

ing p

oin

ter

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i28

NO

S+

MO

S+

LO

S

uncom

mitte

d s

pace

LO

SM

OS

NO

S

adju

sta

ble

los_

boundary

LO

SM

OS

NOS

New los_boundary

nos_boundary

LO

SM

OS

NOS

New los_boundary

nos_boundary

compact

compact

los_boundary

los_boundary

LO

S e

xte

nsio

n

LO

S s

hrink

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i29

Harm

ony G

C D

efa

ult S

ettin

g

•S

witch b

ack to a

dju

sta

ble

los_boundary

when v

irtu

al addre

ss s

pace is n

ot enough

LO

SM

OS

NO

S

fixed los_

boundary

uncom

mitte

d s

pace

adju

sta

ble

nos_

boundary

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i30

Agenda

•LIS

P2 S

lidin

g C

om

pacto

r

•P

ara

llel LIS

P2 C

om

pacto

r

•W

ork

ing in A

pache H

arm

ony

•E

valu

ations

•S

um

mary

and O

n-g

oin

g w

ork

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i31

GC

Tim

e w

ith S

PE

CJB

B2005

SPECjbb2005 GC Time (Tulsa 8

cores, 512M heap)

0

500

1000

1500

2000

Warehouses

ms

seq

par 2 collectors

par

4 collectors

par 8 collectors

seq

751

814

880

944

1012

1082

1152

1227

1307

1392

1483

1569

1663

1752

1848

1941

par 2 collectors

316

367

415

467

516

565

615

664

721

773

823

881

933

989

1038

1103

par 4 collectors

211

242

279

306

341

371

405

445

483

521

563

595

637

671

711

749

par 8 collectors

186

215

242

272

301

329

358

384

410

439

469

497

528

556

589

619

12

34

56

78

910

11

12

13

14

15

16

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i32

Phase T

ime w

ith S

PE

CJB

B2005

Each

Pha

se's

Tim

e (T

ulsa

8 c

ores

, 51

2M,

8 wa

reho

uses

)

050100

150

200

250

300

350

400

mark

ing

relo

cati

ngfi

xing

movi

ng

msse

qpa

r 2

coll

ecto

rspa

r 4

coll

ecto

rspa

r 8

coll

ecto

rs

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i33

Perf

. w

ith D

iffe

rent N

OS

Siz

e

Note: no minor collection is used in the measurement

01234567

12

34

56

78

910

11

12

13

14

15

16

#w

are

houses

Normalized scores

8M

B16M

B32M

B64M

BA

daptive

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i34

Rela

ted W

ork

•P

ara

llel LIS

P2 c

om

pacto

r

–F

loo

d e

t a

l, J

VM

20

01

•T

hre

e-p

hase c

om

pacto

r

–A

bu

aia

dh

et

al, O

OP

SL

A2

00

4

•C

om

pre

ssor

–K

erm

an

ya

nd

Pe

tra

nk,

PL

DI2

00

6

•M

appin

g c

olle

cto

r

–W

eg

iela

nd

Kri

ntz

, A

SP

LO

S2

00

8

2008-8

-1LC

PC

2008, P

ara

llel LIS

P2 C

om

pacto

r, X

iao-F

eng L

i35

Sum

mary

•A

para

llel LIS

P2 c

om

pacto

r is

pro

posed

–M

eth

od

olo

gy o

f ir

reg

ula

r p

rog

ram

pa

ralle

liza

tio

n

–D

em

on

str

ate

d t

he

pe

rfo

rma

nce

–In

teg

rate

d in

to A

pa

ch

e H

arm

on

y G

C t

oo

lkit