A Combinatorial Characterization of the Testable Graph Properties:

It’s All About Regularity

Alon, Fischer, Newman, Shapira 2007

Introdução

Decision Problems: Distinguir entradas que satisfazem alguma propriedade P e entradas que não satisfazem

Testing Problems: Distinguir entradas que satisfazem alguma propriedade P e entradas que estão longe de satisfazer

Uma estrutura E é -far(P) se uma fração da representação de E deve ser modificada para que E satisfaça a propriedade P

Exemplo: String x {0,1}n é -far(P) se n símbolos precisam ser mudados para x satisfazer P

[Goldreich-Goldwasser-Ron 96]: Propriedades de grafos densos.Representação por Matriz de adjacência: n2

Uma grafo G é -far(P) se é preciso adicionar ou remover pelo menos n2 arestas para que G satisfaça a propriedade P

Introdução

Testador para P: Algoritmo aleatório T que realiza consultas do tipo “(u,v) é uma aresta?” e distingue, com alta probabilidade, se grafos satisfazem P ou são -far(P)

G satisfaz P Prob [ T aceitar G ] > 2/3 G é -far(P) Prob [ T rejeitar G ] > 2/3

Definição: Uma propriedade P é Testável se existe um Testador para P, que realiza f() consultas nas arestas (independe da entrada).

[Goldreich-Trevisan 99]: Toda propriedade Testável P possui um Testador canônico (não adaptativo):

Conjunto aleatório Q com q() vértices, consulta todas arestas em G[Q], aceita (deterministicamente) se e só se G[Q] satisfaz certa propriedade P’ (não necessariamente P).

Alguns Resultados

[Rodl-Duke 86]:k-colorabilidade é testávelAmostra aleatória S com polin(1/) vértices e verifica se é k-colorível

[Goldreich-Goldwasser-Ron 96]:-CUT é testável (possui corte de tamanho n2 ?)

Amostra aleat. S com polin(1/) vértices e verifica se tem corte de tam. ( - )|S|2

[Alon-Duke-Leffman-Rodl-Yuster 92]:Para todo grafo H fixo, a propriedade H-free é testável.

[Goldreich-Goldwasser-Ron 96]:Todo “problema de partição” é testável

(k-colorabilidade, max-clique, max-cut...)

Caracterização

[Goldreich-Goldwasser-Ron 96]: Quais propriedades são testáveis?

Caracterização de propriedades testáveis de grafos(Testável se e só se ???)

Fechada sob remoção de arestas? [Goldreich-Trevisan 01] Não

Monótonas (remoção de vértices e arestas: k-colorabilidade)? [Alon-Shapira 05] Toda prop. monótona é testável

Hereditárias (remoção de vértices: grafos perfeitos)? [Alon-Shapira 05] Toda prop. hereditária é testável

Downscaling (hereditária downscaling)? q(): G -close(P), Q V(G) aleatório, |Q| q

G[Q] é (+)-close(P) com probabilidade 2/3 [Alon-Fischer-Newman-Shapira 07] Não

Ferramentaprincipal:

Lemada

Regularidadede

Szemerédi

Pares Regulares

Par (A,B) é –regular se todo par (A’,B’), A’ A, B’ B, onde |A’| |A| e |B’| |B| satisfaz d(A’,B’) = d(A,B)

A d(A,B) = d B

|A’| |A|

|B’| |B|

d(A’,B’) = d d(A,B) = e(A,B) / |A||B|

Obs: 0 par -regular “próximo” de grafo bipartido aleatório

Lema da Regularidade

[Szemerédi 78]: Para todo k, , todo grafo pode ser particionado em k t LR(k,) subconjuntos V1,…,Vt de tamanhos “iguais”, tais que todos, exceto t2, pares (Vi, Vj) são –regulares

Todo grafo pode ser quebrado em um número constante() de partes, tais que quase-todos() os pares (Vi,Vj) são pseudo-aleatórios()

Todo grafo pode ser descrito aproximadamente() com complexidade constante()

Em muitas aplicações: k = 1 /

Lema da Regularidade - Aplicação

Remover arestas: Dentro das partes Entre pares não -regulares Entre pares esparsos (densidade , por exemplo)

Removendo n2 arestas, obtemos um grafo onde todos os pares são vazios ou –regulares e “densos”

Descrição aproximada() do grafo em termos de um número constante() de conjuntos e as densidades entre eles

0.3

0.15

0.2

0.07

Lema da Regularidade - Aplicação

Esboço: 0: se (V1,V2,V3) formam pares ( 0)-regular e “densos”, então contém “muitos” triângulos

Intuição: A propriedade de um grafo ser livre de triângulo é testável.

Estratégia geral: Seja G um grafo qualquer

Suponha que G é -far(livre ’s)

Lema da regularidade com min(0, )

Remoção de n2 arestas

Algum sobrevive as remoções

(V1,V2,V3) regulares e densos

f() n3 ’s

Sorteia 3 vértices: Prob. f() de ser Repete 1/f() vezes

V1

V3

V2

Instâncias de Regularidade

Definição: Uma instância de regularidade consiste de 4 elementos: ordem k erro conjunto de densidades 0 ij 1, para todo 1 i < j k

conjunto de pares não regulares (i,j) de tamanho

Um grafo satisfaz essa instância de regularidade se ele possui uma partição V1,…,Vk de tamanhos “iguais” tal que, para todo (i,j) , o par (Vi, Vj) é –regular e d(Vi, Vj) = ij

Lema da Regularidade: Para todo k, , todo grafo satisfaz alguma instância de regularidade de ordem k t LR(k,), com erro

2

k

2

k

R

R

Instâncias de Regularidade (testável)

Um grafo é livre de triângulo se e só se todas as instâncias de regularidade que ele satisfaz são livres de triângulos

Um grafo é k-colorível se e só se todas as instâncias de regularidade que ele satisfaz são k-coloríveis

Porque não testar diretamente a propriedade de satisfazer alguma instância de regularidade?

Teorema 1: Para toda instância de regularidade R, a propriedade de satisfazer R é testável.

Se pudermos “expressar” a propriedade P em termos de instâncias de regularidade, então P é testável

TODAS?Infinitas

Discretizar

Caracterização (Regular-Redutível)

Definição: Uma propriedade P é regular-redutível se para todo >0 existe conjunto de r() instâncias de regularidade () ={R1,…,Rr}:

G satisfaz P G é –close(Ri), para algum Ri

G é –far(P) G é (-)-far(Ri), para todo Ri

Teorema 2: Uma propriedade de grafos é testável se e só se é regular-redutível

A propriedade de satisfazer uma instância de regularidade é a propriedade mais difícil de se testar

algumas demonstrações

1. Discretização (mantém densidade, piora regularidade)

2. Discretização (mantém densidade, melhora regularidade)

3. Discretização (aplicação)

4. Contagem de subgrafos

5. Testável Regular-Redutível

Discretização – Lema 3.2

Lema 3.2: (A,B) (+)-regular (A,B) (+2)-regular

d(A,B) = d(A,B) = |A| = |B| = m m3.2(, ) 2m2 alterações nas arestas

Prova:

d(A,B) = +p, onde |p| . Suponha p > 0.

(A’, B’) tamanho (+2)m d(A’, B’) = +p (+)

Remove pm2 arestas + p – – – (pm2 / |A’||B’|) d1(A’, B’) +p++

Se p (+2)2 – – – ( ) d1(A’, B’) ++2

d1(A’, B’) = (+2)

Lema Ok

Discretização – Lema 3.2

Lema 3.2: (A,B) (+)-regular (A,B) (+2)-regular

d(A,B) = d(A,B) = |A| = |B| = m m3.2(, ) 2m2 alterações nas arestas

Prova:

d(A,B) = +p, onde |p| . Suponha p > (+2)2

(Passo 1) Remove com prob. p/(+p) cada aresta entre A e B.

Número esperado de remoções: p/(+p) d(A,B)m2 = pm2 m2

Valor esperado para d(A,B): d1(A,B) =

Desigualdade de Chernoff:

Prob [ |X-E(X)| n ] 2exp{-2 2n},

onde X é a soma de n variáveis 0–1 aleatórias

n grande erro pequeno

n é o número de arestas entre A e B ( +p)m2 > (+2)2m2

Tomando m m3.2(, )

Prob [d1(A,B) = m-0.5] 3/4Prob [N remoções 1.5m2] 3/4

Discretização – Lema 3.2

Lema 3.2: (A,B) (+)-regular (A,B) (+2)-regular

d(A,B) = d(A,B) = |A| = |B| = m m3.2(, ) 2m2 alterações nas arestas

Prova:

d(A,B) = +p, onde |p| . Suponha p > (+2)2

(Passo 1) Remove com prob. p/(+p) cada aresta entre A e B.

(Passo 2) Remove ou Adiciona m-0.5m2 = m1.5 arestas d2(A,B) = (prob. 3/4)

Alterações nas arestas: m1.5 + 1.5m2 2m2

(A’, B’) tamanho (+2)m d(A’, B’) = +p (+)

Após passo 1: E[ d1(A’, B’) ] = (+p (+)) (1–p/(+p)) = (+)

Prova-se: d1(A’, B’) desvia /2 com prob. 3/4, (A’,B’)

Como d2(A’, B’) muda m1.5/( +2)2m2 /2 para m m3.2(, )

Logo (A,B) é (+2)-regular com prob. 1/2

Prob [d1(A,B) = m-0.5] 3/4Prob [N remoções 1.5m2] 3/4

Ok

Ok

Ok

Discretização – Lema 3.2

Lema 3.2: (A,B) (+)-regular (A,B) (+2)-regular

d(A,B) = d(A,B) = |A| = |B| = m m3.2(, ) 2m2 alterações nas arestas

Prova:

d(A,B) = +p, onde |p| . Suponha p > (+2)2

Se p < 0: (Passo 1) Adiciona (ao invés de remover) com prob. p/(1-+p) … Ok

(Passo 1) Remove com prob. p/(+p) cada aresta entre A e B.

Provar: d1(A’, B’) desvia /2 ?

SE d(A’, B’) /2 d1(A’, B’) muda /2 Ok

SE d(A’, B’) > /2 > (/2) (+2)2m2 arestas em (A’, B’)

Chernoff d1(A’, B’) desvia > /2 com prob. ≤ 2 exp{–2(/2)2 (/2) (+2)2m2}

Menos de 2m2m possíveis pares (A’, B’) + m m3.2(, )

d1(A’, B’) desvia /2 com prob. 3/4, (A’,B’) Ok

Ok

Ok

Ok

Discretização – Lema 3.3

Lema 3.3: (A,B) (+)-regular(m) (A,B) -regular

d(A,B) = d(A,B) = |A| = |B| = m m3.3(, ) (3/)m2 alterações nas arestas

Prova:(Passo 1) Selecionar com prob. p = 2/(+) os pares de vértices que serão alterados

(Passo 2) Entre esses, “ligar” com prob. , senão, “desligar”

N alterações N pares selecionados = Bi(m2, 2/(+))

Chernoff N alterações desvia > (/2)m2 com prob. 2 exp{–2(/2)2 m2}

m m3.3(, ) pm2 + (/2)m2 (2.5/)m2 alterações com prob. 5/6 Ok

E[ e1(A, B) ] = (1–)m2 [p] + m2 [1– p + p] = m2

Chernoff e1(A, B) desvia m1.5 prob. 5/6, para m m3.3(, ) d1(A, B) = m-0.5 prob. 5/6 Remove ou Adiciona m-0.5m2 = m1.5 arestas

Ok

Ok

Discretização – Lema 3.3

Lema 3.3: (A,B) (+)-regular(m) (A,B) -regular

d(A,B) = d(A,B) = Ok

|A| = |B| = m m3.3(, ) (3/)m2 alterações nas arestas Ok

Prova:(Passo 1) Selecionar com prob. p = 2/(+) os pares de vértices que serão alterados

(Passo 2) Entre esses, “ligar” com prob. , senão, “desligar”

(Passo 3) Remove ou Adiciona m-0.5m2 = m1.5 arestas

(A’, B’) tamanho m Seja d’ = d(A’, B’) = (+)E[ e1(A’,B’) ] = (1– d’)|A’||B’| [p] + d’|A’||B’| [1– p + p]

= |A’||B’| [p] + ( (+)) |A’||B’| [1– p]

= [ + – p(+)] |A’||B’| = [ ( – )] |A’||B’|

Chernoff e1(A’, B’) desvia ≥ (/2) |A’||B’| prob. 2exp{-2(/2)2(m)2}

m m3.3(, ) + 2m2m (A’,B’) d1(A’, B’) = (-/2) (A’,B’) prob. 5/6

m m3.3(, ) m1.5/ (m)2 /2 d1(A’, B’) = Ok

Ok

Discretização – Final

Lema 3.1: (A,B) (+)-regular (A,B) -regular

d(A,B) = d(A,B) = |A| = |B| = m m3.1(, ) (50 /2)m2 alterações nas arestas

Prova:

Lema 3.2 (A,B) (+2)-regular, d(A,B) = , (2)m2 alterações

(A’, B’) tamanho m

d(A’, B’) = [ (+2)] (+2)2m2 / (m)2

d(A’, B’) = [ (+2)] (1+2/)2

d(A’, B’) = (+14/)

(A,B) é (+14/)-regular(m)

Lema 3.3 (A,B) -regular, d(A,B)=, [(2.5)(14/)/]m2 = (42 /2)m2 alterações

Discretização – Aplicação

Lema 3.5: Seja R uma instância de regularidade de ordem k, erro , densidades ij e conjunto de pares não regulares. Se um grafo G possui uma partição V1,…,Vk de tamanhos “iguais” tal que:

1. d(Vi, Vj) = ij 2/50, i<j

2. (Vi, Vj) é ( + 2/50)–regular, (i,j)

Então G é –close(R)

Lema da Regularidade: Para todo k, , todo grafo satisfaz alguma instância de regularidade de ordem k t LR(k,), com erro

Tome todas as instâncias de regularidade com erro , ordem k t LR(k,) e densidades ij em {0, , 2, 3,…,1}, para = 2/50.

Todo grafo é –close de algumas delas

R

R

Contagem de Subgrafos Induzidos

Instância de regularidade Rh: ordem h, erro , densidades ij e conjunto .

Grafo G: Satisfaz Rh com partição (V1,…,Vh), tamanhos m

Grafo H com h vértices Permutação :[h][h]

IC(H,G, ): número de cópias induzidas de H em G, segundo

Lema 4.4: : = 4.4(,h): IC(H,G, ) = (ICd(H,Rh, ) ) mh

IC1(H,G): número de cópias induzidas de H em G com 1 vértice em cada Vi

Lema 4.6: : = 4.6(,h): IC1(H,G) = (ICd(H,Rh) ) mh

0R

),,()(

1),( hh RHICd

HAutRHICd

)(),(

)(),()(),(

)(),( )1(),,(HEji

jiHEji

jihRHICd

V1 V2 V3 Vh

…Grafo G

Grafo H

Contagem de Subgrafos Induzidos

Instância de regularidade Rk: ordem k, erro , densidades ij e conjunto

Grafo G: Satisfaz Rk com n vértices

Grafo H com h k vértices

IC(H,G): número de cópias induzidas de H em G

Lema 4.8: , q: = 4.8(,q), k = k4.8(,q): h q:

Idéia: Sorteia h vértices 2 vértices no mesmo conjunto: Par de vértices em par não regular:

h

nRHICdGHIC k ),(),(

khRR

hk RHICdRHICd ),(),(

V1 V2 V3 Vk-2 Vk-1Vk

…

31

21

2

k

q

k

h

322

qh

Depois AplicaLema 4.6 com / 3

2

kR

Testável Regular Redutível

Lema 4.1: Toda propriedade testável de grafos é regular-redutível

Prova: Fixe < 0.1 e n. testador canônico T para P, complexidade q = q() Gn satisfaz P Prob [ T aceitar Gn ] > 2/3

Gn é -far(P) Prob [ T rejeitar Gn ] > 2/3

Seja A := { grafos Hq tais que T aceita Hq}

Lema 4.8, Hq A, com q e A = k = k4.8( A , q), = 4.8(A , q)

Se G satisfaz uma instância de regularidade Rk,

Lema da regularidade para k, LR (k, )

Seja I := Todas as Instâncias de regularidade de ordem k t LR(k,), erro e densidades ij em {0, 2/50q2, 2 2/50q2, 3 2/50q2, ... , 1}

Instâncias usadas na redução:

q

n

q

nRHICd

q

nARHICdGHIC

AHAHAH qqq

qqq ),(),(),(

2

1),(:

AHq

RHICdIR q

22/

q

Testável Regular Redutível

Lema 4.1: Toda propriedade testável de grafos é regular-redutível

Prova: . ordem k t LR(k,), erro ij {0, 2/50q2, 2 2/50q2, ... , 1}

Se G satisfaz P T aceita G prob. 2/3 q-conjuntos de G induzem HA

Regularidade G satisfaz instância de regularidade de ordem k t LR(k,), erro

Lema 3.4 G é / q2-close(R), para R I

Remove/Adiciona ≤( /q2) n2 arestas de G Remove H A

G possuirá H A R

Se G é –far(P), > : Suponha G (- )-close(R), para algum R

G é (- )-close(G*), onde q-conjuntos de G* induzem HA

T aceita G* com prob. 1/3+ G* não é –far(P), senão T rejeitaria com prob. 2/3

G não é –far(P) Contradição

21

),(:AHq

RHICdIR q

q

n

32

q

n

q

n

q

n 2

22

2

q

n

q

n

21

32

q

n

q

n

31

21

algumas

aplicações

1. Livre de Triângulo é Testável

2. k-colorabilidade é Testável

3. Isomorfismo NÃO é testável

Livre de Triângulo é Testável

Provar que Livre de Triângulo (LT) é Regular-Redutível

Fixe e = min{, 4.6(,3)}

: instâncias de regularidade R com erro , ordem 1/ t LR( 1/ , ): densidades ij {0, , 2, 3, ... , 1}, para = 2 / 100

não existe Vi, Vj, Vk com densidades ij, ik, jk, todas positivas

Se G é –far(LT), > : Suponha G (-)-close(R), para algum R G satisfaz R com (-)n2 modificações nas arestas

Remove as arestas internas

G está Livre de Triângulo (LT) com n2 modificações. Contradição

Suponha que G é Livre de Triângulo (LT)

LReg: G satisfaz instância de regularidade com erro e ordem 1/ t LR( 1/ , )

Lema 4.6: não existe Vi, Vj, Vk com densidades todas (senão teria muitos s)

Remove as arestas dos pares com densidade < (/2)n2 remoções

Lema 3.5: ij {0, , 2, ...,1}, para = 2 / 100 G* é (/2)-close( )

G é ( )-close( )

222

222

/nn

tntn

t

k-colorabilidade é Testável

Provar que k-colorabilidade (kCor) é Regular-Redutível. Fixe : instâncias de regularidade R com erro , ordem 1/ t LR( 2k/, ): densidades ij {0, , 2, 3, ... , 1}, para = 3 / 100

O grafo reduzido T(R) de R é k-colorível: (i,j) é aresta ij > 0

Se G é –far(kCor), > : Suponha G (-)-close(R), para algum R G satisfaz R com (-)n2 modificações nas arestas

Remove as arestas internas

G está k-colorível (kCor) com n2 modificações. Contradição

Suponha que G é k-colorível (kCor)

Tome uma k-coloração V1,…,Vk de G

Quebre Vi em Uij’s de tam (/2k)n “resto” vai p/ conjunto Lixo de tam (/2)n

LReg: G satisfaz instância de regularidade R com erro e ordem 1/ t LR(2k/,), que “refina” a partição dos Uij’s (ou seja, também não tem arestas internas)

Remove arestas do Lixo (/2)n2 remoções T(R*) é k-colorível

Lema 3.5: ij {0, , 2, ...,1}, para = 3 / 100 G* é (/2)-close( )

G é ( )-close( )

22

22

/n

tntn

t

Isomorfismo NÃO é Testável

Caso particular: Propriedade PJ := Isomorfismo p/ grafo J G(n,0.5)

Provar que PJ não é testável, com prob. 1-o(1)

Chernoff: subgrafo bipartido o(n) vértices tem densidade 0.5, com prob. 1-o(1)

Suponha que J satisfaz essa propriedade e PJ é regular-redutível

Tome suf. pequeno e seja () o conjunto de instâncias de regularidade

Tome G isomórfico a J G é -close(R), para R com ordem k e densidades ij 0.5

Seja B um grafo aleatório k-partido V1,…,Vk, tamanhos n/k, onde d(Vi,Vj)= ij

B é -close(R) com prob. 1-o(1)

ij 0.5 B é –far(PJ), para algum >2 fixo, com prob. 1-o(1)

Como PJ é regular-redutível, B deveria ser (- > )-far(R) Contradição

PJ não é regular-redutível

PJ não é testável

outras

demonstrações

1. Amostras em Partições Regulares

2. Satisfazer Instância de Regularidade é Testável

3. Regular Redutível Testável

Amostras em Partições Regulares

Grafo G, Amostra Q com O(1) vértices

Com alta prob., G e G[Q] satisfazem as mesmas instâncias de regularidade

Lema 5.2: k, : q=q5.2(k, ) : Grafo G e amostra Q com q vértices: com probabilidade 2/3

Se G satisfaz instância de regularidade R de ordem k, então,

G[Q] satisfaz instância de regularidade RQ de ordem k igual,

–similar a R

E vice-versa

ijQ = ij

(Vi,Vj) -regular (ViQ,Vj

Q) (+)-regular

Instâncias de Regularidade (testável)

Teorema 1: Para toda instância de regularidade R, a propriedade de satisfazer R é testável.

Prova: Grafo G + Instância R (ordem k, erro , densidades ij)

Algoritmo toma amostra Q com q vértices, q=q(,,k, ) suf. grande (independe de G),

e aceita se e só se G[Q] é (4/200k2)-close(R)

Se G satisfaz R:

Lema 5.2 com q > q5.2(k, 6/104k2), com prob. 2/3

G[Q] satisfaz RQ com densidades ij 6/104k2 e erro + 6/104k2

Lema 3.4 G[Q] é (4/200k2)-close(R)

OK

Se G é –far(R) : Suponha G[Q] (4/200k2)-close(R)(4/200k2)q2 modificações G[Q]* satisfaz R com uma equipartição (U1,…,Uk): Ui’ Ui, Uj’ Uj, |Ui’| |Ui|, |Uj’| |Uj| d*(Ui, Uj ) = ij d*(Ui’,Uj’) = ij

Lema 5.2 com q > q5.2(k, 4/200k2), com prob. 2/3G satisfaz inst.reg. com densidades [ij (4/200)] 4/200k2

e pares (Vi, Vj) (+2/100 +4/200k2)-regular

Lema 3.5: G é –close(R) Contradição G[Q] (4/200k2)-far(R) OK

d(Ui, Uj ) = ij (4/200) d(Ui’,Uj’) = ij ( + 2/200)

(Ui,Uj) em G[Q] é origin. (+2/100)-regular

ij (2/50) (+2/50)-regular

Testa tudo em O(1)

Regular Redutível Testável

Fixe e uma propriedade P regular-redutível

Tome =/4 e () o conjunto de r=r() instâncias de regularidade para =/4

Teorema 1 R , “satisfazer R” é testável

[FN05] R , Alg1 que distingue grafos

(/4)-close(R) e (3/4)-far(R), com probab. 2/3,

realizando q() consultas

Repete Alg1 várias vezes Alg2 com prob. 1-1/3r

escolhendo a resposta mais dada

Testador Alg3 para P: Roda Alg2 R

Alg3 aceita, se Alg2 aceita para algum R. Caso contrário, Alg3 rejeita.

P regular-redutível: Tome =/4 e ()Se G satisfaz P RR G é ( = /4)-close(R), para algum R Alg3 aceita com prob. 2/3

Se G é -far(P) RR G é (- = 3/4)-far(R), para todo R Alg3 rejeita com prob. 2/3

Fischer, Newman [FN05](Testável Estimável): 1<2 Algoritmo aleatórioque distingue grafos que são1-close(P) e 2-far(P),realizando q(1,2) consultas,com probabilidade 2/3

Erro de Alg3 : r (1/3r) = 1/3

Alg3 é mesmo um Testador para P ?

FIM