Date post: | 03-Jun-2018 |
Category: |
Documents |
Upload: | vanessaolivatto |
View: | 229 times |
Download: | 0 times |
of 3
8/13/2019 Low-Density Parity Check Codes Over GF(q)REF6
1/3
1
L o w D e n s i t y P a r i t y C h e c k C o d e s o v e r G F( q )
M a t t h e w C . D a v e y , D a v i d J . C . M a c K a y
A b s t r a c t | G a l l a g e r ' s l o w d e n s i t y b i n a r y p a r i t y c h e c k c o d e s
h a v e b e e n s h o w n t o h a v e n e a r S h a n n o n l i m i t p e r f o r m a n c e
w h e n d e c o d e d u s i n g a p r o b a b i l i s t i c d e c o d i n g a l g o r i t h m . W e
r e p o r t t h e e m p i r i c a l r e s u l t s o f e r r o r - c o r r e c t i o n u s i n g t h e
a n a l o g o u s c o d e s o v e r G F ( q ) f o r q > 2 , w i t h B i n a r y S y m -
m e t r i c c h a n n e l s a n d B i n a r y G a u s s i a n C h a n n e l s . W e n d a
s i g n i c a n t i m p r o v e m e n t o v e r t h e p e r f o r m a n c e o f t h e b i n a r y
c o d e s , i n c l u d i n g a r a t e 1 / 4 c o d e w i t h b i t e r r o r p r o b a b i l i t y
8/13/2019 Low-Density Parity Check Codes Over GF(q)REF6
2/3
2
t h e p r o b a b i l i t y o f c h e c k m b e i n g s a t i s e d i f s y m b o l n o f
x i s c o n s i d e r e d x e d a t a a n d t h e o t h e r n o i s e s y m b o l s
h a v e a s e p a r a b l e d i s t r i b u t i o n g i v e n b y t h e p r o b a b i l i t i e s
f q
a
m n
0
: n
0
2 N ( m ) n n ; a 2 G F ( q ) g .
A . I n i t i a l i s a t i o n
W e i n i t i a l i s e t h e v a l u e s o f q
a
m n
t o f
a
n
, t h e l i k e l i h o o d t h a t
x
n
= a a c c o r d i n g t o t h e c h a n n e l m o d e l a s o u t l i n e d i n s e c -
t i o n I I I .
B . U p d a t i n g r
a
m n
W e c o m p u t e t h e n e w v a l u e o f r
a
m n
:
r
a
m n
=
X
x
0
: x
0
n
= a
P r o b z
m
j x
0
]
Y
j 2 N ( m ) n n
q
x
0
j
m j
( 1 )
w h e r e P r o b z
m
j x
0
] 2 f 0 ; 1 g a c c o r d i n g t o w h e t h e r o r n o t x
0
s a t i s e s c h e c k m .
W e c a n c a l c u l a t e r
a
m n
e c i e n t l y b y d e n i n g t h e p a r t i a l
s u m s
m k
: =
P
j : j k
H
m j
x
0
j
a n d
m k
: =
P
j : j k
H
m j
x
0
j
a n d c a l c u l a t i n g P r o b
m k
= a ] f o r e a c h a 2 G F ( q ) a n d
e a c h k 2 N ( m ) a c c o r d i n g t o t h e p r o b a b i l i t i e s g i v e n b y t h e
q . I f i ; j a r e s u c c e s s i v e i n d i c e s i n N ( m ) w i t h j > i t h e n
P r o b
m j
= a ] =
X
f s ; t : H
m j
t + s = a g
P r o b
m i
= s ] q
t
m j
( 2 )
S i m i l a r l y w e c a n c a l c u l a t e t h e d i s t r i b u t i o n o f e a c h
m k
.
N o w w e c a n u p d a t e t h e v a l u e s o f r
a
m n
u s i n g
r
a
m n
= P r o b
(
m ( n ? 1 )
+
m ( n + 1 )
) = z
m
? H
m n
a
( 3 )
=
X
f s ; t : s + t = z
m
? H
m n
a g
P r o b
m ( n ? 1 )
= s
P r o b
m ( n + 1 )
= t
( 4 )
C . U p d a t i n g q
a
m n
F o r e a c h m a n d n a n d f o r a 2 G F ( q ) w e u p d a t e :
q
a
m n
=
m n
f
a
n
Y
j 2 M ( n ) n m
r
a
j n
( 5 )
w h e r e
m n
i s c h o s e n s u c h t h a t
P
q
a = 1
q
a
m n
= 1 .
W e t h e n m a k e a t e n t a t i v e d e c o d i n g
x :
x
n
= a r g m a x
a
f
a
n
Y
j 2 M ( n )
r
a
j n
( 6 )
I f H
x = z t h e n t h e d e c o d i n g a l g o r i t h m h a l t s h a v i n g i d e n -
t i e d a v a l i d d e c o d i n g o f t h e s y n d r o m e , o t h e r w i s e t h e a l -
g o r i t h m r e p e a t s . A f a i l u r e i s d e c l a r e d i f s o m e m a x i m u m
n u m b e r o f i t e r a t i o n s ( e . g . 5 0 0 ) o c c u r s w i t h o u t a v a l i d d e -
c o d i n g .
V . R e s u l t s
W e c o m p a r e c o d e s o f b l o c k l e n g t h N s y m b o l s o v e r
G F ( 2
b
) w i t h b i n a r y c o d e s o f l e n g t h N b , i . e . c o d e s o f l e n g t h
1 0 0 0 o v e r G F ( 8 ) w i t h b i n a r y c o d e s o f l e n g t h 3 0 0 0 .
F i g u r e 1 c o m p a r e s t h e p e r f o r m a n c e o f L D P C c o d e s w i t h
a x e d c o l u m n w e i g h t o f 3 o v e r a B S C u s i n g c o d e s o v e r
e l d s G F ( 2 ) ; G F ( 4 ) ; a n d G F ( 8 ) . T h e v e r t i c a l a x i s s h o w s
t h e e m p i r i c a l b i t - e r r o r p r o b a b i l i t y . I t s h o u l d b e p o i n t e d
o u t t h a t a l l t h e e r r o r s w e r e d e t e c t e d e r r o r s : t h e d e c o d e r
r e p o r t e d t h a t i t h a d f a i l e d . T h e B S C r e s u l t s s h o w a m o n o -
t o n i c i m p r o v e m e n t a s w e i n c r e a s e t h e o r d e r o f t h e e l d s o n
w h i c h t h e c o d e s a r e b a s e d .
1e-06
1e-05
0.0001
0.001
0.01
0.1
0.07 0.075 0.08 0.085
EmpiricalBit-ErrorProbability
Noise Level
q=2, N=2000q=4, N=1000
q=2, N=6000q=8, N=2000
F i g . 1 . C o m p a r i s o n o f p e r f o r m a n c e o f L D P C c o d e s f o r a B S C o v e r
G F ( 2 ) ; G F ( 4 ) , a n d G F ( 8 ) . T h e s e c o d e s h a d c o l u m n w e i g h t 3
a n d r a t e 1 / 2 . F r o m t o p t o b o t t o m : ( N ; q ) = ( 2 0 0 0 , 2 ) ; ( 1 0 0 0 , 4 ) ;
( 6 0 0 0 , 2 ) ; ( 2 0 0 0 , 8 ) .
F i g u r e 2 s h o w s t h e p e r f o r m a n c e o f L D P C c o d e s o v e r
a B i n a r y G a u s s i a n C h a n n e l . T h r e e c o d e s o f r a t e 1 / 3
w i t h a v e r a g e c o l u m n w e i g h t 2 . 5 a r e s h o w n , o v e r e l d s
G F ( 2 ) ; G F ( 4 ) ; a n d G F ( 8 ) . A l s o s h o w n i s a c o d e o f r a t e
0 . 2 6 w i t h c o l u m n w e i g h t 2 . 3 o v e r G F ( 1 6 ) . W e c o m p a r e t h e
p e r f o r m a n c e o f t h e s e L D P C c o d e s w i t h r e c e n t T u r b o c o d e
r e s u l t s 8 ] .
1e-06
1e-05
0.0001
0.001
0.01
0.1
-0.2 0 0.2 0.4 0.6 0.8 1
EmpiricalBit-ErrorProbability
SNR/dB
Turbo,Rate 1/4
Turbo,Rate 1/3
GF(16)
GF(2)
GF(4)
GF(8)
F i g . 2 . C o m p a r i s o n o f p e r f o r m a n c e o f L D P C c o d e s o v e r a B i n a r y
G a u s s i a n C h a n n e l o v e r G F ( 2 ) ; G F ( 4 ) , a n d G F ( 8 ) . F r o m l e f t t o
r i g h t : J P L T u r b o c o d e , r a t e 1 / 4 , b l o c k l e n g t h 6 5 5 3 6 ; L D P C C o d e
w i t h r a t e 0 . 2 6 , a v e r a g e c o l u m n w e i g h t 2 . 3 , ( N ; q ) = ( 6 0 0 0 , 1 6 ) ;
J P L T u r b o c o d e , r a t e 1 / 3 , b l o c k l e n g t h 4 9 1 5 2 ; L D P C c o d e s w i t h
r a t e 1 / 3 , a v e r a g e c o l u m n w e i g h t 2 . 5 : ( N ; q ) = ( 6 0 0 0 , 8 ) , ( 9 0 0 0 , 4 ) ,
( 1 8 0 0 0 , 2 ) .
T h e B i n a r y G a u s s i a n C h a n n e l r e s u l t s s h o w t h a t L D P C
8/13/2019 Low-Density Parity Check Codes Over GF(q)REF6
3/3
3
c o d e s o v e r h i g h e r o r d e r e l d s c a n s i g n i c a n t l y o u t p e r f o r m
t h e e q u i v a l e n t b i n a r y c o d e s . A n i m p r o v e m e n t o f 0 . 3 d B i s
s h o w n f o r t h e r a t e 1 / 3 c o d e m o v i n g f r o m b i n a r y t o G F ( 8 )
c o n s t r u c t i o n . O u r M o n t e C a r l o s i m u l a t i o n s o f i n n i t e
L D P C c o d e s 9 ] m o t i v a t e d t h e c o n s t r u c t i o n o f a r a t e 0 . 2 6
c o d e o n G F ( 1 6 ) w i t h a v e r a g e c o l u m n w e i g h t 2 . 3 , w h o s e
p e r f o r m a n c e a p p r o a c h e s t h a t o f t h e b e s t k n o w n T u r b o
c o d e s .
I t i s w o r t h n o t i n g t h a t i n v e s t i g a t i o n s o f h i g h e r w e i g h t
c o d e s o v e r t h e B i n a r y G a u s s i a n C h a n n e l s u g g e s t t h a t t h e r e
i s n o t a l w a y s a m o n o t o n i c i m p r o v e m e n t w i t h i n c r e a s e d e l d
o r d e r . F o r e x a m p l e w i t h c o l u m n w e i g h t 3 , r a t e 1 / 2 c o d e s ,
t h e G F ( 4 ) c o d e s o u t p e r f o r m e d G F ( 8 ) c o d e s . I t r e m a i n s
a n i n t e r e s t i n g t o p i c f o r f u r t h e r r e s e a r c h t o u n d e r s t a n d t h e
o b s e r v e d d e p e n d e n c i e s o f t h e d e c o d i n g a l g o r i t h m o n t h e
p a r a m e t e r s o f t h e c o d e .
T h i s w o r k c o n r m s t h a t t h e n e a r S h a n n o n l i m i t p e r f o r -
m a n c e o f G a l l a g e r ' s b i n a r y l o w d e n s i t y p a r i t y c h e c k c o d e s
c a n b e s i g n i c a n t l y e n h a n c e d b y a m o v e t o e l d s o f h i g h e r
o r d e r .
R e f e r e n c e s
1 ] R . G . G a l l a g e r , \ L o w d e n s i t y p a r i t y c h e c k c o d e s " , I R E T r a n s .
I n f o . T h e o r y , v o l . I T - 8 , p p . 2 1 { 2 8 , J a n 1 9 6 2 .
2 ] R . G . G a l l a g e r , L o w D e n s i t y P a r i t y C h e c k C o d e s , N u m b e r 2 1 i n
R e s e a r c h m o n o g r a p h s e r i e s . M I T P r e s s , C a m b r i d g e , M a s s . , 1 9 6 3 .
3 ] D . J . C . M a c K a y a n d R . M . N e a l , \ G o o d c o d e s b a s e d o n v e r y
s p a r s e m a t r i c e s " , i n C r y p t o g r a p h y a n d C o d i n g . 5 t h I M A C o n f e r -
e n c e , C o l i n B o y d , E d . , n u m b e r 1 0 2 5 i n L e c t u r e N o t e s i n C o m p u t e r
S c i e n c e , p p . 1 0 0 { 1 1 1 . S p r i n g e r , B e r l i n , 1 9 9 5 .
4 ] D . J . C . M a c K a y a n d R . M . N e a l , \ N e a r S h a n n o n l i m i t p e r f o r -
m a n c e o f l o w d e n s i t y p a r i t y c h e c k c o d e s " , E l e c t r o n i c s L e t t e r s ,
v o l . 3 2 , n o . 1 8 , p p . 1 6 4 5 { 1 6 4 6 , A u g u s t 1 9 9 6 , R e p r i n t e d E l e c t r o n -
i c s L e t t e r s , v o l 3 3 , n o 6 , 1 3 t h M a r c h 1 9 9 7 , p . 4 5 7 { 4 5 8 .
5 ] D . J . C . M a c K a y , \ G o o d e r r o r c o r r e c t i n g c o d e s b a s e d o n v e r y
s p a r s e m a t r i c e s " , s u b m i t t e d t o I E E E t r a n s a c t i o n s o n I n f o r m a t i o n
T h e o r y . A v a i l a b l e f r o m h t t p : / / w o l . r a . p h y . c a m . a c . u k / , 1 9 9 7 .
6 ] M . C . D a v e y a n d D . J . C . M a c K a y , \ G o o d c o d e s o v e r G F ( q )
b a s e d o n v e r y s p a r s e m a t r i c e s " , I n p r e p a r a t i o n , 1 9 9 7 .
7 ] J . P e a r l , P r o b a b i l i s t i c R e a s o n i n g i n I n t e l l i g e n t S y s t e m s : N e t -
w o r k s o f P l a u s i b l e I n f e r e n c e , M o r g a n K a u f m a n n , S a n M a t e o ,
1 9 8 8 .
8 ] J P L , \ T u r b o c o d e s p e r f o r m a n c e " , A v a i l a b l e f r o m
h t t p : / / w w w 3 3 1 . j p l . n a s a . g o v / p u b l i c / T u r b o P e r f . h t m l , A u g u s t
1 9 9 6 .
9 ] M . C . D a v e y a n d D . J . C . M a c K a y , \ M o n t e C a r l o s i m u l a t i o n s
o f i n n i t e l o w d e n s i t y p a r i t y c h e c k c o d e s o v e r G F ( q ) " , A v a i l a b l e
f r o m h t t p : / / w o l . r a . p h y . c a m . a c . u k / i s / p a p e r s / , 1 9 9 7 .