Question on Conditional Entropy

Q u e s ti on on C ond iti on a l E n t r o py W A N G Y on g ( S c h oo l o f C o m p u t e r a n d C o n t r o l , G u i L i n U n i v er s i t y O f E l ec t r o n i c T ec hn o l ogy , G u i l i n C i t y , G u a n g x i P r ov i n ce , C h i n a, 541004 ) A b s t r a ct — T h e p r o b l e m s o f c o nd i t i o n a l e n t r o py ’ s d e f i n i t i o n a n d t h e f o r m u l a t o c o m pu t e c o n d i t i o n a l e n t r o p y a r e a n a l y z e d f r om v a r i o u s p er s p e c t i v e s , a n d t h e c o rr e c t ed c o m pu t i n g f o r m u l a i s p r e s e n t e d . E xa m p l e s a re g i v e n t o p r ov e t h e c o n c l u s i o n t h a t c o nd i t i o n a l e n t r o p y n e v er b e i n cr e a s e d i s n o t a b s o l u t e , t hu s t h e re p r e s e n t a t i o n t h a t i n f o r m a t i o n i s t o d e cr e a s e un c e r t a i n t y i n t h e d e f i n i t i o n o f i n f o r m a t i o n i s n o t a b s o l u t e l y c o rre c t . I nd e x T e r ms — i n f o r m a t i o n t h e o r y , c o nd i t i o n a l e n t r o p y , p r o b a b i l i t y , un c e r t a i n t y I . I n t rodu c t i on S h a n n on ’ s i n fo r m ati o n t h e o r y h a s f a r - r e a c h i n g e ff e c t s o n t h e d e v e l o p m e n t of t e l e c o mm un i c a t i o n t ec h n o l o gy [ 1] . B u t h i s t h e o r y i s n o t a d a p ta b l e i n m a n y a s p e ct s of o u r d a il y li f e . A l o t of s c h o l a r s , e v e n S h a n n o n h i m s e l f , r e al i z e d t h e l i m i t a ti o n s of S h a n n on ’ s i nf o r m ati o n t h e o r y . L o t s o f p r ob l e m s w e r e p o i n t e d o ut [ 2 - 4] . I h a v e p o i n t e d o u t i n o t h e r p a p e r s t h a t t h e d e f i n i t i o n of i n fo r m a t i o n d o e s n o t ta k e t h e r e l i a b il i t y of i n fo r ma t i o n i n t o c o n s i d e r a t i o n a n d g i v e n a n e w d e f i n i t i o n t o i n fo r m a ti o n [ 5] . T h i s p a p e r ma k e s f ur t h e r a t t e m p t s t o e xp l ai n w h y S h a n n on ’ s i n fo r m a t i o n t h e o r y d o e s n o t s u i t r e a l it y f r o m ce r t ai n a n g l e s . S h a n n o n i n t r o du ce d t h e c o n ce p t of e n t r o p y i n t o i n fo r m a ti o n t h e o r y , w h i c h o r i g i n a ll y c am e f r o m t h e r m o d y n a mi c s . I n t h e r m o d y n a m i c s , e n t r o p y w ill n e v e r b e d ec r e a s e d i n a n y k n o w n p h y s i c al e v o l u ti o n o f t h e i s o l a t e d s y s t e m . H o w e v e r , i n S h a n n o n ' s i n fo r m a t i o n t h e o r y , c o n d i t i o n a l e n t r o p y i s n e v e r i n c r e a s e d . T h e a u t h o r fo u n d t h at t h e c o n d i ti o n a l e n t r o p y m a y b e i n c r e a s e d w h e n s t ud y i n g t h e p e r f ec t s ec u r it y o f t h e o n e - t i m e -p ad [ 6] . T h i s p a p e r a i m s t o s ee k o u t t h e s o u r ce of t h e mi s ta k e s a b o u t c o n d iti o n a l e n t r o p y t h r o u g h e x am p l e s a n d a n a l y s e s o n t h e l i mi t a t i o n s of S h a n n on ’ s p r oof . II . L i te r at ur e r ev i e w o n c o nd i t i on a l e n t ro p y I n t h e l i t e r a t u r e [1] , S h a n n o n p r ov i d e d t h e d e f i n i t i o n t o e n t r o p y o f t h e j o i n t e v e n t s a n d c o n d i t i o n al e n t r o p y , p r o du ce d t h e fo r m u l a , a n d ma d e s o m e s t at e m e n t s a nd r e a s o n i ng a s fo ll o w s : S upp o s e t h e r e a r e t w o e v e n t s , x a n d y , i n qu e s ti o n w i t h m po ss i b iliti e s fo r t h e f i r s t a n d n fo r t h e s e c o n d . Le t p( i; j ) b e t h e p r ob a b ilit y o f t h e j o i n t o cc u rr e n ce of i fo r t h e f i r s t a nd j fo r t h e s ec o n d . T h e e n t r o p y of t h e j o i n t e v e n t i s ∑ − = j i j i p j i p y x H , ) , ( l og ) , ( ) , ( P D F c r ea t ed w i t h pd f F a c t o r y t r i a l v e r s i on www.pdffactory.com ∑ ∑ − = j i j j i p j i p x H , ) , ( l og ) , ( ) ( ∑ ∑ − = j i i j i p j i p y H , ) , ( l og ) , ( ) ( I t i s e a s i l y s h o w n t h a t ) ( ) ( ) , ( y H x H y x H + ≤ W i t h e q u al i t y o n l y i f t h e e v e n t s a r e i n d e p e nd e n t ( i . e ., p( i ; j ) = p ( i )p ( j )) . T h e u n c e r t a i n t y of a j o i n t e v e n t i s l e ss t h a n o r e qu a l t o t h e s u m of t h e i nd i v i d u a l u n ce r t a i n ti e s . F o r a n y p a r t i c u l a r v al u e i t h a t x ca n a ss u m e t h e r e i s a c o n d it i o n a l p r ob a b ilit y p i ( j ) t h at y h a s t h e v al u e j . T h i s i s g i v e n b y ∑ = j i j i p j i p j p ) , ( ) , ( ) ( We d e f i n e t h e c o n d i ti o n a l e n t r o p y o f y , H x ( y ) a s t h e a v e r a g e of t h e e n t r o p y o f y f o r e a c h v al u e of x , w e i gh t e d a cc o r d i ng t o t h e p r ob a b ilit y o f g e tt i n g t h a t p a r ti c u la r x . T h a t i s H x ( y) ＝－ ∑ j i i j p j i p , ) ( l og ) , ( (1) T h i s q u a n t it y m e a s u r e s h o w u n ce r t a i n w e a r e of y o n t h e a v e r a g e w h e n w e k n o w x . S u b s tit u t i n g t h e v al u e of p i ( j ) w e o b tai n H x ( y) ＝－ ∑ j i i j i p j i p , ) , ( l og ) , ( ＋ ∑ ∑ j i j j i p j i p , ) , ( l og ) , ( ＝ H (x , y) － H (x) o r H (x , y) ＝ H (x) ＋ H x ( y ) T h e u n ce r t a i n t y ( o r e n t r o p y ) o f t h e j o i n t e v e n t x ; y i s t h e u n ce r ta i n t y o f x p l u s t h e u n ce r t a i n t y o f y w h e n x i s k n o w n . F o r ) ( ) ( ) , ( y H x H y x H + ≤ H (x) ＋ H ( y) ≥ H (x , y) ＝ H (x) ＋ H x ( y ) H e n ce H ( y) ≥ H x ( y ) . S h a n n o n m a d e t h e c o n c l u s i o n t h a t t h e u n ce r t a i n t y o f y w o u l d b e n e v e r i n c r e a s e d b y k n o w l e dg e of x . a n d i t w o u l d b e d ec r e a s e d u n l e ss x a n d y w e r e i n d e p e nd e n t e v e n t s , i n w h i c h c a s e i t w a s n o t c h a ng e d . II I. L i m i tat i o n s A n a l y s es on t h e p roo f o f c o n d i t i on a l e n t ro p y A c c o r d i n g t o t h e a b o v e d e s c r i p ti o n t h at t h e u n c e r t a i n t y o f y i s n e v e r i n c r e a s e d b y k n o w l e dg e o f x , H x ( y ) s h o u l d b e e qu al t o t h e e n t r o p y o f y w h e n x o cc u r s . P D F c r ea t ed w i t h pd f F a c t o r y t r i a l v e r s i on www.pdffactory.com T o g et t h e e n t r o p y o f y w h e n x o cc u r s , w e ca n c o m pu t e t h e p ro b a b ilit y t h a t y h a s t h e v a l u e j w h e n x o c c u r s . T h a t i s p x ( j) ＝ ) ) ( ) ( ( ∑ i i i p j p Then we have H x ( y) ＝－ ∑ j x x j p j p ) ( l og ) ( ＝－ ∑ ∑ ∑ j i i i i i p j p i p j p ) ) ( ) ( ( l og )) ) ( ) ( ( ( (2) A c c o r d i n g t o fo r m u l a (2 ) , i t ca n b e s ee n t h a t t h e i m p a ct o f x o n t h e p r ob a b ilit y o f y i s r a nd o m , w h i c h m ea n s t h e u n c e r t ai n t y o f y c a n e i t h e r b e d ec r e a s e d o r i n c r e a s e d . B u t a cc o r d i n g t o fo r m u l a ( 1 ) , w e can inf e r tha t H ( y) ≥ H x ( y ) . T h e fo ll o w i n g ta b l e w h i c h s h o w s t h e j o i n t p r ob a b ilit y d i s t r i b u ti o n s of x a n d y i s t o ill u s t r at e t h e i n c r e a s e of c o n d iti o n a l e n t r o p y . Ta b l e 1 t h e j o i n t p r ob a b ilit y d i s t r i b u ti o n s of x a n d y x y y ＝ 0 y ＝ 1 x ＝ 0 0 ． 2 0 ． 3 x ＝ 1 0 ． 1 0 ． 4 T h e p r i o r p r ob a b ilit y o f y i s t h a t p( y = 0) = 0 . 3 a n d p( y = 1) = 0 . 7 . Ass u m e d t h a t p( x = 0 ) = 1 a n d p ( x = 1 ) = 0 , T h e n t h e p o s t e r i o r p ro b a b ilit y o f y i s t h at p ( y = 0 | x) = 0 . 4 a n d p ( y = 1 | x) = 0 . 6 . I t ca n b e i n f e r r e d t h a t t h e u n ce r t a i n t y o f y i s i n c r e a s e d b y k n o w l e dg e o f x . T h e p r ob l e m w it h fo r m u l a ( 1) i s t h a t i t c o m pu t e s t h e a v e r a g e of t h e e n t r o p y o f y fo r e a c h v a l u e o f x , w e i gh t e d a cc o r d i n g t o t h e p r ob a b ilit y o f g e tti ng t h a t p a r t i c u l a r x . W i t h t h i s m et h o d , w h a t i s g o t i s n o t t h e e n t r o p y of y w h e n x o cc u r s , b u t t h e w e i g h t e d a v e r a g e o f t h e e n t r o p i e s . F u r t h e r m o r e , t h a t t h e v al u e o b ta i n e d f r o m fo r m u la ( 1) i s n o m o r e t h a n H ( y ) c a n n o t e du ce t h at e v e r y e n t r o p y o f y f o r e a c h v al u e o f x i s n o m o r e t h a n H ( y ) . M o r e o v e r , t h e v al u e g o t f r o m fo r m u l a (1 ) i s n o t t h e e n t r o p y o f y w h e n x o cc u r s , b u t t h e w e i gh t e d a v e r a g e of c o n d iti o n a l e n t r o p i e s fo r t h e v a r i o u s p o ss i b l e v al u e s o f x . I V . C oun te r exa m p l es f o r n o n - i n c r e as i ng o f t h e e n t ro p y In a dd i ti o n t o t h e a bo v e a n a l y s i s , t h e c o un t e r e x am p l e s b e l o w a r e l i s t e d t o s h o w t h a t t h e c o n d iti o n a l e n t r o p y ma y b e i n c r e a s e d . E x a m p l e 1 : As t h e d i s c i p li n e s a r e s t r i ct i n a ce r t ai n s c h oo l , t h e s t ud e n t s ca n g o t o s c h oo l b e fo r e t h e d e s i gn at e d t im e , w i t h p r ob a b ilit y o f 0 . 0 1 fo r t h e m t o b e l ate fo r s c h oo l . B u t A l i ce ob tai n e d t h e n e w s f r o m B o b t h a t Ro s e w h o i s i n t h e s c h oo l r a r e l y c o m p li e d w it h t h e d i s c i p l i n e ( i n c l u d i n g b e l a t e fo r s c h oo l ) . T h e u n ce r t a i n t y o f w h a t Bob t o l d A li ce i s e l i m i n at e d w h e n t h e n e w s i s k n o w n , b u t t h e u n ce r t ai n t y o f R o se ’ s b e i n g l a t e fo r s c h oo l o r n o t i s i n c r e a s e d . F o r i t c o u l d b ee n s p ec u lat e d t h a t Ro s e mi g h t of t e n g o t o s c h oo l i n t im e , a nd t h e p r i o r p r ob a b ilit y t h at s h e h a s n o t b ee n l at e fo r s c h oo l mi g h t b e 0 . 9 9 a s t h e p r ob a b ilit y o f b e i n g l at e i s o n l y 0 . 01 w h e n w e k n o w n n o t h i n g a bo u t Ro s e a n d t h e s t r i ct d i s c i p l i n e s i n t h i s s c h oo l s t a t e d a b o v e . W h e n w e g o t t h e me ss a g e t h a t Ro s e r a r e l y c o m p li e d w i t h t h e d i s c i p l i n e , i t c o u l d b e s p e c u lat e d t h at t h e p o s t e r i o r p r ob a b ilit y f o r Ro s e t o b e lat e f o r s c h oo l w o u l d b e i n c r e a s e d . I f t h e p o s t e r i o r p r ob a b ilit y f o r Ro s e t o b e lat e fo r s c h oo l i s l e ss t h a n 0 . 9 9 , i t ca n b e fo u n d t h a t t h e u n ce r t ai n t y o f R o se ’ s b e i n g l a t e fo r s c h oo l o r n o t w o u l d b e i n c r e a s e d a cc o r d i n g t o S h a n n on ’ s P D F c r ea t ed w i t h pd f F a c t o r y t r i a l v e r s i on www.pdffactory.com t h e o r y . W e c a n s ee t h a t t h e p o s t e r i o r ( c o n d i ti o n a l ) e n t r o p y w o u l d b e m o r e t h a n t h e p r i o r e n t r o py [ 7] . E x a m p l e 2 : T h e p l ai n t e x t s p a ce i s M = (0 , 1) . A cc o r d i n g t o t h e c o mm u n i ca ti o n c o n t e x t , i t i s f i r s t k n o w n t h a t t h e p r i o r p r ob a b ilit y o f p la i n t e x t b e i n g 0 i s 0 . 9 , w h il e t h e p r i o r p r ob a b ilit y o f p la i n t e x t b e i n g 1 i s 0 . 1 . T h e ci p h e r t e x t s p a ce i s C = ( 0 , 1 ) a n d t h e k e y s p a ce i s K = ( 0 , 1 ) a n d t h e k e y s a r e e qu a ll y li k e l y . T h e c r y p t o al g o r i t h m i s o n e t im e p a d . La t e r t h e i n fo r m a ti o n i s ob ta i n e d t h a t t h e c i p h e r t e x t i s 0 . W h e n t h e l a t e r i n fo r m a ti o n i s c o n s i d e r e d , fo r t h e f i x e d c i p h e r t e x t , t h e r e i s a o n e - t o - o n e c o r r e s p o n d e n ce b e t w e e n a ll t h e p l a i n t e x t s a n d k e y s , s o it ca n b e c o n c l ud e d t h at t h e p la i n t e x t s a r e e qu a ll y li k e l y , t h at i s , t h e p r ob a b ilit y of p la i n t e x t b e i n g 1 i s 0 . 5 . A s t h e p r ob a b ili t y o b ta i n e d a bo v e i sn ’ t c o n s i s t e n t w i t h t h e pr i o r p r ob a b ilit y , t h e c o m p r o mi s e i s n ee d e d . T h e c o m p r o m i s e d p o s t e r i o r p r ob a b ilit y o f t h e p l a i n t e x t w o u l d b e n o m o r e t h a n t h e l a rg e r a n d n o l e ss t h a n t h e s m a l l e r of t h e t w o c o rr e s p o n d i n g p r ob a b iliti e s of t h e t w o c o n d iti o n s . T h e u n ce r t ai n t y o f t h e p o s t e r i o r p r ob a b il i t y i s l a r g e r t h a n u n ce r t ai n t y o f t h e p r i o r p r ob a b ilit y a nd t h e p o s t e r i o r e n t r o p y i s i n c r e a s e d , t h a t i s , t h e c o n d iti o n a l e n t r o p y i s i n c r e a s e d . V . C on c l u s i on T h e p a p e r a n a l y z e s t h e p r ob l e m s of d e f i n i ti o n a n d c al c u l a t i o n of c o n d i ti o n a l e n t r o p y f r o m v a r i o u s a n g l e s , a n d r ec ti f i e s t h e c al c u l ati o n fo r m u la of c o n d i ti o n al e n t r o p y . T h e i n c r e a s i n g of c o n d iti o n al e n t r o p y i s p r ov e d t o b e p o ss i b l e t h r o ugh i l l u s t r ati o n s . T h a t i n d i c at e s i n fo r m a ti o n i s n o t f i t t o b e d e f i n e d a s t h e t h i n g w h i c h r e du ce s u n ce r t a i n t y . I g a v e a n e w d e f i n i ti o n of i n fo r m a ti o n b a s e d o n r el ia b i l it y of i n fo r m a ti o n a f t e r t h e a n a l y s e s o f t h e r el ia b i l it y a n d r e l a ti v it y of i n fo r ma t i on [ 5 , 8] . T h e n e w d e f i n i ti o n s h o w s m u c h m o r e c o n ce rn t o t h e r e l i a b il i t y , w h i c h w il l ma k e t h e i n fo r m a ti o n t h e o r y m o r e c o n s i s t e n t w it h t h e r e al i t y a nd a d a p ta b l e t o s o c ial n ee d s . T h a t w il l e xp a n d t h e a p p li ca ti o n a r e a s of i n fo r m a ti on t h e o r y a n d p r o m o t e t h e f u s i o n of i n fo r m a ti o n , k n o w l e dg e a nd i n t e l l i g e n ce [ 9] . • R efe r e n ce ［ 1 ］ S h a nn on C E . A m a t h e m a t i c a l t h e o r y o f c o m m un i c a ti o n , B e ll S y s t e m T e c h n i c a l J ou r n a l ,27 ( 1948 ) , 379 - 4 29,62 3 - 656 ［ 2 ］ L U C h e n g u a ng , A G e n e r a li z e d I n f o r m a t i on T h e o r y ( i n C h i n e s e ) , H e f e i: C h i n a Sc i e n ce a nd T e c hn o l og y U n i v e r s it y P r e ss , 1993 ［ 3 ］ Z HO N G Y i x i n . I n f o r m a t i o n s c i e n c e p r i n c i p l e ( T h i r d E d it i o n ) [ M ] . B e ij i n g : B e i j i n g U n i v e r s i t y o f P o s t s a n d T e l e c o m m un i c a t i o n s P r e ss ,2002 ( i n C h i n e s e ) . ［ 4 ］ G e og r e J K . A n up d a t e o n g e n e r a li z e d i n f o r m a t i o n t h e o r y [ A ] . I S I P T A [ C ] .2003.321 ～ 3 3 4. ［ 5 ］ W A NG Y o n g , O n t h e Pe r v e r s i on o f i n f o r m a t i on ’ s D e f i n it i o n , p r e s e n t e d a t F i r s t N a ti o n a l C o n f e r e n c e o n S o c i a l I n f o r m a t i on Sc i e n ce i n 2007, W u h a n , C h i n a , 2007. ［ 6 ］ W A NG Y o n g , Z HU F a n g l a i , S e c u r i t y A n a l y s i s o f O n e - t i m e S y s t e m a n d I t s B e tt e r m e n t , J ou r n a l o f S i c h u a n U n i v e r s i t y ( E n g i n e e r i n g S c i e n c e E d it i o n ) ,2007, s u pp . 39 ( 5 ) : 222 - 225 ［ 7 ］ W AN G Y ong . L i m i t a ti o n s A n a l y s i s e s o f S h a nno n ' s I n f o r m a t i on T h e o r y . [ O n l i n e ] . A v a il a b l e : h t t p : / / w w w . p a p e r . e d u . cn . J u l y , 18, 2007. P D F c r ea t ed w i t h pd f F a c t o r y t r i a l v e r s i on www.pdffactory.com ［ 8 ］ W A NG Y o n g , O n R e l a t i v i t y o f I n f o r m a t i o n , p r e s e n t e d a t F i r s t N a ti o n a l C on f e r e n ce o n S o c i a l I n f o r m a t i o n S c i e n c e i n 2007, W u h a n , C h i n a , 2007. ［ 9 ］ Z HONG Y i x i n . O n t h e L a w s o f I n f o r m a t i o n - K n o w l e d g e -I n t e ll i g e n ce T r a n s f o r m s [ J ] . J ou r n a l o f B e ij i n g U n i v e r s i t y o f P o s t s a n d T e l ec o m m un i c a t i o n s , 2007,30 ( 0 1 ) : 1 - 8 . T h e P r o j e c t S u p p o r t e d b y G u a n g x i S c i e n ce F oun d a ti on ( 06401 7 1 ) a nd m od e r n c o m m un i c a ti on n a ti o n a l k e y l a b o r a t o r y F ou nd a t i o n ( N o . 9140 C 1 101050706 ) b i o g r a p hy ： W A N G Y o ng ( － 1977 ) , H u b e i p r o v i n c e ti a n m e n c i t y , m a l e , m a s t e r o f c r yp t o g r a p h y , r e s e a r c h f i e ld ： s c r y p t o g r a ph y , i n f o r m a t i o n s e c u r i t y , G e n e r a l i ze d I n f o r m a ti o n T h e o r y , q u a n t u m i n f o r m a t i o n t e c hn o l o g y . G u i L i n U n i v e r s i t y O f E l e c t r o n i c T e c h n o l o g y , G u a n g x i, G u i li n , 541004 E - m a il : h e l l o w y @ 126 . c om w a n g 197733 yo n g @ s o h u . c om M o b i l e ( 86 ) 139 7 83 5 72 17 ： t el ( 86 ) 773 5 60 3 917 ( ho m e ) ： f ax ( 86 ) 7735 6 0 1 330 ( o f f i c e ) S c h o o l o f C o m p u t e r a n d C o n t r o l , G u iL i n U n i v e r s i t y O f E l e c t r o n i c T ec h n o l o g y , G u i l i n C i t y , G u a n g x i P r o v i n c e , C h i n a , 541004 P D F c r ea t ed w i t h pd f F a c t o r y t r i a l v e r s i on www.pdffactory.com