http://academy.hanb.co.kr

쉽게쉽게 배우는배우는 알고리즘알고리즘

88장장. . 동적동적 프로그래밍프로그래밍Dynamic Programming (DP)Dynamic Programming (DP)

- 2 -

IT COOKBOOKIT COOKBOOK

한빛미디어㈜

88장장. . 동적동적 프로그래밍프로그래밍Dynamic Programming (DP)

계시란 바깥 어딘가에서 우리한테 갑자기 주어지는객관적 지식이 아니다. 만물의 근원에 대한 본질적

인 귀속감,우리가 거기에 아주 밀접하게 닿아 있다는

관계성을 스스로가 발견해내는 것이 계시다.

-데이빗 스타인들-라스트

- 3 -

IT COOKBOOKIT COOKBOOK

한빛미디어㈜

학습목표

• 동적 프로그래밍이 무엇인가를 이해한다.

• 어떤 특성을 가진 문제가 동적 프로그래밍의적용 대상인지를 감지할 수 있도록 한다.

• 기본적인 몇 가지 문제를 동적 프로그래밍으로 해결할 수 있도록 한다.

- 4 - 한빛미디어㈜

배경

• 재귀적 해법– 큰 문제에 닮음꼴의 작은 문제가 깃든다

– 잘쓰면 보약, 못쓰면 맹독• 관계중심으로 파악함으로써 문제를 간명하게 볼

수 있다

• 재귀적 해법을 사용하면 심한 중복 호출이일어나는 경우가 있다

- 5 - 한빛미디어㈜

재귀적 해법의 빛과 그림자

• 재귀적 해법이 바람직한 예

– 퀵정렬, 병합정렬 등의 정렬 알고리즘

– 계승(factorial) 구하기

– 그래프의 DFS– …

• 재귀적 해법이 치명적인 예

– 피보나치수 구하기

– 행렬곱셈 최적순서 구하기

– …

- 6 - 한빛미디어㈜

도입문제: 피보나치수 구하기

• fn = fn-1 + fn-2

• 아주 간단한 문제지만

– Dynamic programming의 동기와 구현이 다포함되어 있다

- 7 - 한빛미디어㈜

피보나치수를 구하는 Recursive Algorithm

fib(n) {

if (n = 1 or n = 2) then return 1; else return (fib(n-1) +fib(n-2));

}

üü 엄청난엄청난 중복중복 호출이호출이 존재한다존재한다

- 8 - 한빛미디어㈜

fib(5)

fib(3)

fib(4)

fib(2)

fib(3)

fib(1)

fib(2)

fib (1)

fib (2)

fib(4)

fib(2)

fib(3)

fib (1)

fib (2)

fib(6)

fib(5)

fib(3)

fib(4)

fib(2)

fib(3)

fib(1)

fib(2)

fib (1)

fib (2)

fib(7)

중복 호출의 예

피보나치 수열의 Call Tree

- 9 - 한빛미디어㈜

피보나치수를 구하는 DP Algorithm

fibonacci(n) {

f[1] ← f[2] ← 1; for i ← 3 to n

f[i] ← f[i-1] +f[i-2]; return f[n];

}

üü ΘΘ((nn) ) 시간에시간에 끝난다끝난다

- 10 - 한빛미디어㈜

DP의 적용 요건

• Optimal substructure– 큰 문제의 최적 솔루션에 작은 문제의 최적

솔루션이 포함됨

• Overlapping recursive calls– 재귀적 해법으로 풀면 같은 문제에 대한

재귀호출이 심하게 중복됨

DPDP가가 그그 해결책해결책!!

- 11 - 한빛미디어㈜

문제예 1: 조약돌 놓기

• 3×N 테이블의 각 칸에 양 또는 음의 정수가 기록되어있다

• 조약돌을 놓는 방법 (제약조건)– 각 열에는 적어도 하나의 조약돌을 놓아야 한다

– 가로나 세로로 인접한 두 칸에 동시에 조약돌을 놓을 수 없다

• 목표: 돌이 놓인 자리에 있는 수의 합을 최대가 되도록

조약돌 놓기

- 12 - 한빛미디어㈜

6 7 12 -5 5 3 11 3

-8 10 14 9 7 13 8 5

11 12 7 4 8 -2 9 4

테이블의 예

- 13 - 한빛미디어㈜

6 7 12 -5 5 3 11 3

-8 10 14 9 7 13 8 5

11 12 7 4 8 -2 9 4

합법적인 예

합법적이지 않은 예

6 7 12 -5 5 3 11 3

-8 10 14 9 7 13 8 5

11 12 7 4 8 -2 9 4

Violation!Violation!

- 14 - 한빛미디어㈜

6 7 12 -5 5 3 11 3

-8 10 14 9 7 13 8 5

11 12 7 4 8 -2 9 4

6 7 12 -5 5 3 11 3

-8 10 14 9 7 13 8 5

11 12 7 4 8 -2 9 4

6 7 12 -5 5 3 11 3

-8 10 14 9 7 13 8 5

11 12 7 4 8 -2 9 4패턴 1:

패턴 2:

패턴 3:

6 7 12 -5 5 3 11 3

-8 10 14 9 7 13 8 5

11 12 7 4 8 -2 9 4패턴 4:

가능한 패턴

임의의임의의 열을열을 채울채울 수수 있는있는패턴은패턴은 44가지뿐이다가지뿐이다

- 15 - 한빛미디어㈜

패턴 1:

패턴 2:

패턴 3:

패턴 4:

2 3

21

1 3 4

2

1 1

33

2 2 2

4

서로 양립할 수 있는패턴들

패턴패턴 11은은 패턴패턴 2, 32, 3과과패턴패턴 22는는 패턴패턴 1, 3, 41, 3, 4와와패턴패턴 33은은 패턴패턴 1, 21, 2와와패턴패턴 44는는 패턴패턴 22와와 양립할양립할 수수 있다있다

- 16 - 한빛미디어㈜

66 77 1212 --55 55 33 1111 33

--88 1010 1414 99 77 1313 88 55

1111 1212 77 44 88 --22 99 44

……--55

……44

--55

……44

iiii--11

i i 열과열과 ii--11열의열의 관계를관계를 파악해파악해 보자보자

- 17 - 한빛미디어㈜

Recursive Algorithmpebble(i, p)▷ i 열이 패턴 p로 놓일 때의 i 열까지의 최대 점수 합 구하기▷ w[i, p] : i 열이 패턴 p로 놓일 때 i 열에 돌이 놓인 곳의 점수 합. p {1, 2, 3, 4}{

if (i = 1) then return w[1, p] ;else {

max ← ―∞ ;for q ← 1 to 4 {

if (패턴 q가 패턴 p와 양립)then {

tmp ← pebble(i―1, q) ;if (tmp > max) then max ← tmp ;

}}return (w[i, p] + max) ;

}}

- 18 - 한빛미디어㈜

pebbleSum(n)▷ n 열까지 조약돌을 놓은 방법 중 최대 점수 합 구하기

{return max { pebble(n, p) } ;

}

ü pebble(i, 1), …, pebble(i, 4) 중 최대값이 최종적인 답

p =1,2,3,4

- 19 - 한빛미디어㈜

peb(4,3)

peb (3,1) peb(3,2)

peb(2,3) peb(2,1)

peb(1,1)peb(1,3) peb(1,4) peb(1,1) peb(1,2) peb(1,2) peb(1,3)

peb(5,1)

peb(1,1)

peb(4,2)

peb (3,1) peb(3,3) peb(3,4)

peb(2,3) peb(2,1)

peb(1,1)peb(1,3) peb(1,4) peb(1,1) peb(1,2) peb(1,3) peb(1,4)peb(1,2) peb(1,3)

peb(2,2)

peb(2,2) peb(2,2) peb(2,2)

peb(1,1) peb(1,3) peb(1,4)

peb(2,3)

peb(1,1) peb(1,2)

peb(2,4)

peb(1,2)

Call Tree

- 20 - 한빛미디어㈜

DP 적용

• DP의 요건 만족– Optimal substructure

• pebble(i, .)에 pebble(i-1, .)이 포함됨

• 즉, 큰 문제의 최적 솔루션에 작은 문제의 최적 솔루션이포함됨

– Overlapping recursive calls• 재귀적 알고리즘에 중복 호출 심함

- 21 - 한빛미디어㈜

DP

pebbleSum(n){

for p ← 1 to 4 peb[1, p] ← w[1, p] ;

for i ← 2 to n { for p ← 1 to 4 {

peb[i, p] ← w[i, p] + max {peb[i-1, q]} ;}return max { peb[n, p] } ;

}

패턴 q는 패턴 p와 양립

p =1,2,3,4

üü복잡도복잡도 :: OO((nn))

- 22 - 한빛미디어㈜

기껏기껏 3 3 가지가지

기껏기껏 nn 바퀴바퀴

기껏기껏 4 4 바퀴바퀴

무시무시

Complexity

pebbleSum(n){

for p ← 1 to 4 peb[1, p] ← w[1, p] ;

for i ← 2 to n { for p ← 1 to 4 {

peb[i, p] ← w[i, p] + max {peb[i-1, q]} ;}return max { peb[n, p] } ;

}

패턴 q는 패턴 p와 양립

p =1,2,3,4

üüComplexity:Complexity: OO((nn)) n * 4 * 3 = n * 4 * 3 = OO((nn))

- 23 - 한빛미디어㈜

문제예 2: 행렬 경로 문제

• 양 또는 음의 정수 원소들로 구성된 n×n 행렬이주어지고, 행렬의 좌상단에서 시작하여 우하단까지이동한다

• 이동 방법 (제약조건)– 오른쪽이나 아래쪽으로만 이동할 수 있다

– 왼쪽, 위쪽, 대각선 이동은 허용하지 않는다

• 목표: 행렬의 좌상단에서 시작하여 우하단까지이동하되, 방문한 칸에 있는 수들을 더한 값이최소화되도록 한다

- 24 - 한빛미디어㈜

6 7 12 5

5 3 11 18

7 17 3 3

8 10 14 9

6 7 12 5

5 3 11 18

7 17 3 3

8 10 14 9

불법 이동 (상향) 불법 이동 (좌향)

불법 이동의 예

- 25 - 한빛미디어㈜

6 7 12 5

5 3 11 18

7 17 3 3

8 10 14 9

6 7 12 5

5 3 11 18

7 17 3 3

8 10 14 9

유효한 이동의 예

- 26 - 한빛미디어㈜

Recursive Algorithm

matrixPath(i, j) ▷ (i, j)에 이르는 최저점수

{ if (i = 1 and j = 1) then return mij; else if (i = 1) then return (matrixPath(1, j-1) + mij); else if (j = 1) then return (matrixPath(i-1, 1) + mij); else return ((min(matrixPath(i-1, j), matrixPath(i, j-1)) + mij);

}

- 27 - 한빛미디어㈜

mat(4,3)

mat (4,2) mat(3,3)

mat(3,2)mat(4,1)

mat(2,1)

mat(3,1)

mat(1,1)

mat(3,1) mat(2,2)

mat(4,4)

mat(2,3)

mat(1,2)mat(2,1)

mat(1,1)mat(2,1) mat(1,2)

mat(1,1) mat(1,1)

mat(1,1)

mat(3,4)

mat(2,4)

mat(2,3)mat(1,4)

mat(1,2)

mat(1,3)

mat(1,1)

mat(1,3) mat(2,2)

mat(1,2)

mat(1,1)mat(1,2) mat(2,1)

mat(1,1) mat(1,1)

mat(1,3)

mat(3,2)

mat(3,1) mat(2,2)

mat(2,1)

mat(1,1)mat(2,1) mat(1,2)

mat(1,1) mat(1,1)

mat(2,2)

mat(2,1) mat(1,2)

mat(1,1) mat(1,1)

mat(3,3)

mat(2,3)

mat(1,2)

mat(1,1)

mat(1,3)

mat(3,2)

mat(3,1) mat(2,2)

mat(2,1)

mat(1,1)mat(2,1) mat(1,2)

mat(1,1) mat(1,1)

mat(2,2)

mat(2,1) mat(1,2)

mat(1,1) mat(1,1)

Call Tree

- 28 - 한빛미디어㈜

DPmatrixPath(i, j) ▷ (i, j)에 이르는 최저점수

{ c[1,1] ← m11 ; for i ← 2 to n

c[i,1] ← mi1 + c[i-1,1]; for j ← 2 to n

c[1, j] ← m1j + c[1, j-1]; for i ← 2 to n

for j ← 2 to nc[i, j] ← mij + min(c[i-1, j], c[i, j-1]);

return c[n, n]; }

üüComplexity:Complexity: OO((nn22))

- 29 - 한빛미디어㈜

문제 예 3: Matrix-Chain Multiplication

• Matrices A, B, C– (AB)C = A(BC)

• 예: A:10ⅹ100, B:100ⅹ5, C:5ⅹ50– (AB)C: 7500번의 곱셈 필요

– A(BC): 75000번의 곱셈 필요

• A1, A2, A3, …, An을 곱하는 최적의 순서는?

- 30 - 한빛미디어㈜

Recursive Relation

• 마지막으로 matrix multiplication이 수행되는 상황

– n-1 가지 가능성• (A1 … An-1)An

• (A1 … An-2) (An-1An)• ∙ ∙ ∙

• (A1A2)(A3 … An)• A1(A2 … An )

– 어느 경우가 가장 매력적인가?

- 31 - 한빛미디어㈜

ü m[i, j]: Ai, Ai+1, …, Aj를 곱하는 최소 비용

ü Ak의 차원: pk-1pk

0 , i=jmin {m[i, k] + m[k+1, j] + pi-1pkpj} , i<j

i ≤ k ≤ j-1

m[i, j] =

- 32 - 한빛미디어㈜

Recursive Algorithm

rMatrixChain(i, j) ▷ 행렬곱 을 구하는 최소 비용 구하기

{if (i = j) then return 0; ▷ 행렬이 하나뿐인 경우의 비용은 0min ← ∞; for k ← i to j-1 {

q ← rMatrixChain(i, k) + rMatrixChain(k+1, j) + pi-1pkpj;

if (q < min) then min ← q; } return min;

}

üü 엄청난엄청난 중복중복 호출이호출이 발생한다발생한다!!

- 33 - 한빛미디어㈜

DP

matrixChain(i, j) {

for i ← 1 to nm[i, i] ← 0; ▷ 행렬이 하나뿐인 경우의 비용은 0

for r ← 1 to n-1 ▷ 문제의 크기 = r+1for i ← 1 to n-r {

j ← i+r;m[i, j] ← min {m[i, k] + m[k+1, j] + pi-1pkpj};

} return m[1, n];

}

i ≤ k ≤ j-1

üü Complexity:Complexity: ΘΘ((nn33))

- 34 - 한빛미디어㈜

문제 예 4: Longest Common Subsequence(LCS)

• 두 string에 공통적으로 들어있는 common subsequence들 중 가장 긴 것을 찾는다

• Subsequence의 예– <bcdb>는 문자열 <abcbdab>의 subsequence이다

• Common subsequence의 예– <bca>는 문자열 <abcbdab>와 <bdcaba>의 common

subsequence이다

• Longest common subsequence(LCS)– Common subsequence들 중 가장 긴 것– 예: <bcba>는 string <abcbdab>와 <bdcaba>의 LCS이다

- 35 - 한빛미디어㈜

Optimal Substructure

• 두 string Xm = <x1x2 … xm>과 Yn = <y1y2 … yn>에 대해– xm= yn이면 Xm과 Yn의 LCS의 길이는 Xm-1과 Yn-1의 LCS의 길이보다

1이 크다

– xm≠ yn이면 Xm과 Yn의 LCS의 길이는 Xm과 Yn-1의 LCS의 길이와 Xm-1과 Yn의 LCS의 길이 중 큰 것과 같다

• cij = 0 if i = 0 or j = 0

ci-1, j-1 + 1 if i, j > 0 and xi= yj

max{ci-1, j, ci, j-1} if i, j > 0 and xi ≠ yj

ü cij : 두 문자열 Xi = <x1x2 … xi>과 Yj = <y1y2 … yj>의 LCS 길이

- 36 - 한빛미디어㈜

Recursive Algorithm

LCS(m, n) ▷ 두 문자열 Xm과 Yn의 LCS 길이 구하기{

if (m = 0 or n = 0) then return 0; else if (xm= yn) then return LCS(m-1, n-1) + 1; else return max(LCS(m-1, n), LCS(m, n-1));

}

üü 엄청난엄청난 중복중복 호출이호출이 발생한다발생한다!!

- 37 - 한빛미디어㈜

LCS(3,4)

LCS(3,3)

LCS(2,4)

LCS(1,4)

LCS(1,3)LCS(0,4)

LCS(1,2)LCS(0,3)

LCS(1,1)LCS(0,2)

LCS(0,1) LCS(1,0)

LCS(2,3)

LCS(2,2)

LCS(2,1)

LCS(1,3)

LCS(1,2)LCS(0,3)

LCS(1,1)LCS(0,2)

LCS(0,1) LCS(1,0)

LCS(1,2)

LCS(1,1)LCS(0,2)

LCS(0,1) LCS(1,0)

LCS(1,1)LCS(2,0)

LCS(0,1) LCS(1,0)

LCS(3,2)

LCS(2,2)

LCS(2,1)

LCS(3,1)

LCS(2,1)LCS(3,0)

LCS(1,1)LCS(2,0)

LCS(1,0) LCS(0,1)

LCS(1,2)

LCS(1,1)LCS(0,2)

LCS(0,1) LCS(1,0)

LCS(1,1)LCS(2,0)

LCS(0,1) LCS(1,0)

LCS(2,3)

LCS(2,2)

LCS(2,1)

LCS(1,3)

LCS(1,2)LCS(0,3)

LCS(1,1)LCS(0,2)

LCS(0,1) LCS(1,0)

LCS(1,2)

LCS(1,1)LCS(0,2)

LCS(0,1) LCS(1,0)

LCS(1,1)LCS(2,0)

LCS(0,1) LCS(1,0)

Call Tree

- 38 - 한빛미디어㈜

DP

LCS(m, n) ▷ 두 문자열 Xm과 Yn의 LCS 길이 구하기{

for i ← 0 to mC[i, 0] ← 0;

for j ← 0 to nC[0, j] ← 0;

for i ← 1 to mfor j ← 1 to n

if (xm= yn) then C[i, j] ← C[i-1, j-1] + 1;else C[i, j] ← max(C[i-1, j], C[i, j-1]);

return C[m, n]; }

üü Complexity:Complexity: ΘΘ((mnmn))

- 39 - 한빛미디어㈜

문제 예 5: Shortest Path

• Weighted digraph G=(V, E)– wi,j : vertex i에서 vertex j에 이르는 edge의 길이

• Edge가 없으면 ∞

• 목표

– 시작점 s에서 다른 각 vertex에 이르는 최단거리를모두 구한다

Optional!Optional!

- 40 - 한빛미디어㈜

• dtk : 중간에 최대 k 개의 edge를 거쳐

s로부터 vertex t에 이르는 최단거리

• 목표: dtn-1

• Note! For i≠s,– dt

0 = ∞– dt

1 = ws,t

다음다음 페이지로페이지로 넘어가기넘어가기 전에전에무엇을무엇을 중심으로중심으로 관계를관계를 파악할파악할 지지스스로스스로 생각해보자생각해보자

- 41 - 한빛미디어㈜

Recursive Relation

dtk = min {dr

k-1+ wr, t}

ds0 = 0;

dt0 = ∞;

for all edges (r, t)for all edges (r, t)

- 42 - 한빛미디어㈜

DP

Ballman-Ford(G, s){

ds ← 0;for all vertices i ≠ s

di ← ∞;for k ← 1 to n-1 {

for all edges (a, b) {if (da + wa,b < db ) then db ← da + wa,b ;

}}

}

üü Propagation Propagation 되는되는 모습이모습이 떠오르면떠오르면 잘잘 이해한이해한 것것!!

bbaa

- 43 - 한빛미디어㈜

8

9

8

10

1

3 -12

-7

11

8

2

4

5

-150

∞

∞

∞

∞

∞

∞

∞

(a) 8

9

8

10

1

3 -12

-7

11

8

2

4

5

-150

∞

11

9

∞

∞

8

∞

(b) i =1 8

9

8

10

1

3 -12

-7

11

8

2

4

5

-150

19

11

9

19

10

-6

∞

(c) i =2

8

9

8

10

1

3 -12

-7

11

8

2

4

5

-150

19

11

7

12

4

-6

12

(d) i =38

9

8

10

1

3 -12

-7

11

8

2

4

5

-150

16

11

0

12

4

-8

6

(e) i =48

9

8

10

1

3 -12

-7

11

8

2

4

5

-150

10

11

0

9

1

-15

6

(f) i =5

- 44 - 한빛미디어㈜

8

9

8

10

1

3 -12

-7

11

8

2

4

5

-150

10

11

0

9

1

-15

6

(f) i =5

8

9

8

10

1

3 -12

-7

11

8

2

4

5

-150

7

11

9

3

-5

-18

6

(i)(h) i =78

9

8

10

1

3 -12

-7

11

8

2

4

5

-150

7

11

9

3

-5

-18

6

8

9

8

10

1

3 -12

-7

11

8

2

4

5

-150

10

11

-3

3

1

-15

3

(g) i =6

나중에나중에 그래프그래프 알고리즘알고리즘 부분에서부분에서다시다시 한한 번번 생각할생각할 기회가기회가 있음있음

- 45 -

IT COOKBOOKIT COOKBOOK

한빛미디어㈜

Thank you