A New Noise-Assistant LMS Algorithm for Preventing the Stalling Effect

A N e w N o is e - A s sist a n t L M S A l gor i t h m f or P r e ven t i n g t h e S t a lli ng E ffe c t Ha m i d R e z a S h a h d oo s t i , D e p a r t m e nt o f E l e c t r i c al E n g i n e e r i n g , Ha m e d a n U n iv e r s i t y o f T e c hn olog y E m ail : h . d oo s t i @hut . a c . i r A b s t r a c t I n t hi s p a p e r , w e int r o d u c e a n e w a l g o r i t hm t o d e a l with th e s t a l l in g e ff ec t i n t h e LM S a l g o r i t hm u s e d i n a d a p ti v e f ilt e r s. W e mod i f y t h e upd a t e r ul e o f t h e t a p w e i g ht v ec t o r s b y a ddin g no i s e , g e n e r a t e d b y a noi s e g e n e r a t o r . T h e p r o p e r t i e s o f th e p r opo s e d m e tho d a r e i n v e s ti g a t e d b y two no v e l t h e o r e m s . A s i t i s s h own , th e r e s u l tin g a l g o r ith m , ca ll e d Ad d e d Noi s e LM S ( AN -L M S ) , imp r o v e s t h e r e s i s t a n ce ca p a bilit y o f t h e c on v e nt i on a l LM S a l g o r i t hm a g a in s t t h e s t a l lin g e f f e c t . T h e p r ob a b i lit y o f up d a t e wit h a dd i ti v e whi t e G a u s s i a n no i s e i s ca l c ul a t e d i n t h e p a p e r . C on v e r g e n ce o f t h e p r opo s e d m e t ho d i s inv e s t i g a t e d a n d it i s p r o v e d th a t t h e r a t e o f c on v e r g e n c e o f t h e in t r odu c e d m e tho d i s e q u a l t o t h a t o f L M S a l g o r i t h m i n t h e e x p e c t e d v a l u e s e n s e , p r o v id e d th a t th e di s t r i bu t io n o f t h e a dd e d noi s e i s un i f o r m . F in a lly , i t i s s h own th a t t h e o r d e r o f c o mpl e xit y o f t h e p r opo s e d a l g o r i thm i s l in ea r a s t h e c on v e ntio n a l LM S a l g o r i thm. K ey w o r ds : Ad a p tiv e f i lt e r, LM S a l g o r i t h m , s t a ll i n g e f f e c t , f i n i t e p r e c i s io n e ff e c t. 2 1 . B a c k g r o u n d A d a pti v e f ilt e r a l g o r ith m s a r e wid e l y u s e d f o r c h a nn e l e s tim a t i o n a n d e q u a li za t i o n i n di g i t a l c om m un i ca tio n s y s t e m s a n d digit a l s i g n a l p r o ce ss i n g [ 1 - 2 ] . P a r ti c u l a r l y , I m a g e f u s io n [ 3 - 6 ] a nd i m a g e d e noi s in g [ 7 - 10 ] a r e two d i f f e r e nt t a s k s w hi c h ca n b e p e r f o r m e d b y a d a pti v e f ilt e r s. T h e p e r f o r m a n c e a n a ly s i s o f a d a pti v e f i l t e r a l g o r i thm s i s u s u a l l y d o n e b a s e d o n a n a l og a s s u m ption s i n in f in i t e p r e c i s io n e n v i r on m e nt s. I n p r a c t i c e , d i g it a l s i g n a l p r o c e s s o r s a r e u s e d to i mpl e m e n t t h e s e a l g o r i thm s . U s i n g t h e s e p r o ce ss o r s up d a t i n g t h e f ilt e r t a p w e i g h t s , ca l c u l a tio n o f t h e e s t i m a tio n e rr o r a n d d a t a s a mpl i n g a r e don e i n a f i ni t e p r e c i s i on e n v i r on m e n t . T hi s f i n i t e p r e c i s i o n a s s umptio n b r in g s a bou t s o m e p h e n o m e n a . O n e o f t h e s e ph e nom e n a i s th e qu a n ti z a t io n e rr o r whi c h t a k e s p l ac e i n c on v e r t in g a n a l o g d a t a to d i g i t a l on e s . I n ca n b e s how n th a t i t i s po ss i b l e t o c o n s id e r th e q u a nti za t i on n o i s e a s a n a dditi v e ind e p e n d e n t s ou r ce o f whi t e no i s e p r o v id e d t h a t t h e qu a n t i z a t io n i s p e r f o r m e d w it h h i g h r e s olution ( u s i n g 6 bi t s o r l a r g e r) a nd a l s o t h e s i g n a l s p e c t r a i s s u f f i c i e n t l y r i c h [ 11 - 12 ] . On e o f t h e c h a l l e n g e s i n t h e i mp l e m e n t a t i o n o f a d a pt i v e f i l t e r a l g o r i t hm s i n f init e p r e c i s i o n e n v i r on m e nt s i s t h e s t a l l in g e ff ec t . I n a f init e p r e c i s i o n e n v i r onm e n t e . g . , a p r o c e s s o r , w h e n e v e r t h e c o rr e c tio n t e r m f o r a s p e c i f i c t a p we i g ht i s s m a ll e r i n m a g nitud e th a n t h e h a l f o f th e l e a s t s i g ni f i c a nt b it ( L S B ) o f t hi s t a p we i g ht , t h e c o rr e s pon d i n g t a p w e i g ht i n t h e a l g o r i thm i s no t up d a t e d ( acc o r din g to th e r u l e o f r oundin g to t h e n ea r e s t mod e ) a n d t hu s, t h i s f ilt e r t a p w e i g h t s t a l l s [ 13 ] . I n o r d e r t o p r e v e nt th e s t a l l in g e ff e c t i n a f init e p r e c i s i o n e n v i r on m e nt f r om h a p p e nin g , t h e r e s id u a l e rr o r s hou l d b e m a d e a s s m a ll a s po ss ib l e . F o r t hi s pu r po s e , o n e o f th e f o l l ow i n g t w o m e t hod s i s u s u a l l y u s e d [ 1 2 ] : 1) U s in g a l a r g e nu m b e r o f bit s f o r r e p r e s e n t i n g t h e f i l t e r t a p w e i g h t a n d ot h e r d a t a b y wh i c h t h e L S B c a n b e r e du ce d . 2) T h e s t e p - s i z e p a r a m e t e r m a y b e m a d e a s l a r g e a s po s s i b l e in s u c h a w a y t h a t t h e c on v e r g e n c e o f th e a l g o r i t hm i s s til l gu a r a nt ee d . A no t h e r m e t ho d f o r c o m b a t i n g t h e s t a l l in g e ff e c t , i s u s i n g d i t h er i n th e q u a n t i z e r i np ut by w h i c h th e t a p w e i g ht ac c umu l a to r i s f e d [ 14 ] . T h e a utho r s i n [ 1 5 ] mo d e l e d th e c o e f f i c i e n t s o f a d a pti v e f i l t e r a s a M a r k o v c h a i n a n d t h e m a t r i x o f t r a n s it i o n p r ob a biliti e s o f th e c h a i n w a s d e t e r m in e d f o r t h e on e - d i m e n s io n a l ca s e i n thi s mod e l . I n a dd i tio n , t h e c ondit i on s i n wh i c h s t a llin g ph e no m e non o c c u r s , w a s d e t e r m i n e d i n [ 1 5 ] . I n [ 16 ] a mod i f i ca tion o f t h e L M S a l g o r i th m w a s p r opo s e d t h a t a ll e v i a t e s th e e f f e c t o f qu a nti z a tio n a t v i r t u a l l y n o e xt r a c omput a t i o n a l c o s t . I n th i s a l g o r ith m , s t a l lin g s it u a tion s a r e d e t ec t e d a n d a s ec on d a r y a d a pti v e f i l t e r i s u s e d t o i n c r e a s e th e p r e c i s i o n in s u c h s itu a tion s . A m e thod s howin g a 3 p e r f o r m a n ce t h a t i s c o m p a r a b l e t o th a t o f f u l l p r e c i s io n a d a pt i v e f i l t e r s h a s b ee n p r opo s e d i n [ 17 ] , wh i c h u s e s a c om p a nd e d d e l t a modu l a tio n s t r u c tu r e . I n [ 1 8 ] th e q u a n t i z a tio n e ff e c t s o n th e s t e a d y - s t a t e p e rf o r m a n ce o f a f i x e d - po i n t i m p l e m e n t a t io n o f t h e L M S a d a p t i v e a l g o r ithm w a s s tudi e d , a n d th e s t a l l mod e w a s r e v i e w e d . F u r th e r mo r e , t h e v a l u e o f s t e p - s i z e c o rr e s pondin g t o th e o n s e t o f t h e s t a l l mo d e h a s b e e n p r e d i c t e d i n [ 18 ] , s u c h t h a t o n e c a n a v oid t h e s t a l lin g p h e n o m e no n b y j ud i c iou s l y c h oo s in g t h e s t e p s i ze v a lu e . I n thi s p a p e r w e p r opo s e a n e w m e thod wh i c h i s c a p a b l e o f p r e v e n t in g t h e s t a l lin g e ff ec t b y u s i n g a l i m i t e d num b e r o f b i t s . T h e m a i n c o n t r ibut i on o f t h i s p a p e r i s th a t th e a lgo r ith m d o e s not s to p upd a tin g e v e n wh e n t h e c o rr ec t i o n t e r m i s s m a l l e r i n m a gnitud e th a n t h e h a l f o f t h e L S B . T h e p r opo s e d a l g o r i t hm h a s a r a t e o f c on v e r g e n c e a l m o s t e qu a l t o t h a t o f L M S a l g o r i thm . T h e r e s t o f t h e p a p e r i s o r g a ni z e d a s f o l low s . I n s e c t io n 2 th e p r opo s e d a l g o r i th m i s p r e s e n t e d i n d e t a il s . Al s o , we a n a l y ze th e r a t e o f c on v e r g e n ce o f t h e p r opo s e d a lgo r ithm i n thi s s e c t io n . S ec tion 3 p r e s e nt s t h e s imul a tio n r e s u l t s a n d c om p a r i s on s f o r th e p r opo s e d m e t ho d a nd c on v e ntio n a l L M S a l g o r ith m i n f i nit e a n d in f i ni t e p r ec i s io n e n v i r onm e n t s . S e c t i o n 4 c on c l u d e s t h e e s s a y. 2 . A l g o r i th m St a t e m e n t 2 . 1 . P r e l i m i n a r i e s T h e c on v e n t io n a l LM S a l g o r i t hm upd a t e s t h e t a p w e i g h t s a s : ( ! +1 ) = " ( # ) + $% ( & ) ' ( ( ) ( 1 ) w h e r e ) ( * ) =[ + ( , ) , …, - ( . / 0 + 1)] 1 a nd 2 ( 3 ) =[ 4 5 ( 6 ) , …, 7 8 9: ( ; ) ] < a r e t h e inpu t d a t a v ec t o r a n d t a p w e i g ht v ec to r , r e s p ec t i v e l y . Al s o = ( > ) = ? ( @ ) / A B ( C ) = D ( E ) F G ( H ) / I ( J ) i s th e e s tim a t i o n e rr o r . F i g . 1 s how s t h e b lo c k d i a g r a m f o r a g e n e r a l a d a pt i v e f i l t e r i n g a l g o r ithm . I n t h e a bo v e a l g o r i thm , i f t h e v a l u e s o f ea c h e l e m e n t o f t h e v e c t o r KL ( M ) N ( O ) i n th e f init e p r ec i s i o n e n v i r on m e n t i s l e s s t h a n 0 .5 F P QR , t h e s t a ll i n g e f f e c t h a p p e n s a n d th e v a l u e o f t h a t e l e m e n t i s F ig . 1 . B lo c k d i a g r a m o f a n a d a p t i v e t r a n s v e r s a l f ilt e r S ( T ) A d a p t iv e w e igh t - c on tr ol m ec h a nis m U ( V ) W ( X ) Y Z ( [ ) \ ( ] ) + / + 4 c on s i d e r e d a s z e r o . T h e r e f o r e , t h a t t a p w e i g ht i s no t upd a t e d . A s s u m e t h a t ou r a l g o r ith m r ound s a n y nu m b e r t o t h e n ea r e s t L S B . W e c on s i d e r t h e t a p w e i g h t c o rr e s pondin g t o t h e input ^ ( _ ) . D e f i n e th r e s ho l d e rr o r ` a ( b ) a s t h e m inimum a cce p t a b l e v a lu e o f e s tim a t i o n e r r o r a bo v e w h i c h n o s t a l lin g e f f e c t h a p p e n s f o r th e t a p w e i g ht c o rr e s pondin g to i n put c ( d ) . W e h a v e e f ( g ) = h ij k lm ( n ) . If o ( p )< q r ( s ) t h e n tu ( v ) w ( x ) i s c on s i d e r e d a s z e r o . F o r e x a mp l e s u p po s e t h a t 1 2 b i t s a r e a l l o ca t e d f o r d a t a r e p r e s e nt a t i o n in th e d e c i m a l p a r t . I n th i s c a s e y z{ = 2 . 4 4× 10 |} . A ss umin g t h e no r m a l i z e d inpu t d a t a e q u a l s t o 0 .5 a nd ~ = 0 . 01 , t h e th r e s ho l d e rr o r is e qu a l to • ( ! ) = 0 . 0 2 44 . S o th e v a l u e o f e s t i m a t io n e rr o r ca nno t e x c e e d th i s th r e s hol d v a l u e . F i g . 2 d e mon s t r a t e s ho w t h e s t a l l ing e f f e c t h a p p e n s i n th i s f i n i t e p r e c i s i o n e n v i r onm e nt . T h e s y s t e m mo d e l i s a n A R mo d e l d e s c r i b e d a s " ( # ) = 0 .1 $ ( % / 1 ) + 0 .1 & ( ' / 2 ) …+ 0 .1 ( ( ) / 10 ) . T h e ini t i a l i npu t d a t a i s c on s i d e r e d a s * (1 : 1 0 ) = [0 .2 FF 0 .3 FF 0 . 28 FF 0 . 26 FF 0 .4 FF 0 . 24 FF 0 . 46 FF 0 .6 FF 0 . 56 FF 0 . 4 8] . A l s o w e s e t t h e in i t i a l t a p w e i g ht e l e m e n t s a s 0 . 01 . A s it c a n b e s e e n f r o m t h e f i g u r e , t h e f init e p r e c i s i on LM S s top s upd a t i n g i t s t a p w e i g h t v ec t o r w h e n t h e v a lu e o f e rr o r i s l e s s t h a n 0 . 0 244 . T h i s b e g in s a t it e r a t i o n num b e r 134 . I s i t po s s i b l e t o r ea c h l e s s e rr o r v a l u e s wit h t h e s a m e num b e r o f bit s a l l o ca t e d f o r di g i t a l qu a nt i z a tio n ? We a n s w e r t h i s qu e s tio n i n t h e f o l l o win g s e c t i o n. F i g . 2 . S t a lling e ff e c t i n f ini t e p r e c i s io n LM S . 0 50 100 1 50 2 00 2 50 0 0 . 05 0 .1 0 . 15 0 .2 0 . 25 0 .3 0 . 35 0 .4 I t e r a t i on M e a n s qu a r e E rr or I n f i n i t e P r e c i s i on L MS F i n i t e P r e c i s i o n L MS 5 F i g . 3 . D e t a i l s o f th e a d a p t iv e w e i ght - c o n t r o l m ec h a n i s m i n th e A N - L M S a l g o r i t h m ( + i s a f un c t i o n d e f i n e d a s , ( - )= ./ ( 0 ) 1 ). 2 . 2 . P r o p o s e d A l g o r i thm I n thi s s e c tio n w e p r e s e n t t h e p r opo s e d a l g o r i t hm d e a lin g w i t h t h e s t a ll i n g e f f ec t . F i g . 3 d e pi c t s t h e s t r u c tu r e o f Ad a p t i v e w e i g ht - c on t r ol m e c h a ni s m in t h e A N - L M S a l g o r i thm . S p e c i f i c a l l y how n e w w e i g h t s a r e ca l c ul a t e d f r o m p r e v iou s o n e s . F un c tion 2 i s d e f i n e d a s 3 ( 4 )= 56 ( 7 ) 8 . T h e upd a t e e qu a tio n f o r f i l t e r w e i g h t s c a n b e w r i t t e n a s : 9 ( : +1 ) = ; ( < ) + => ( ? ) @A ( B ) + C ( D ) E / FG ( H ) I ( J ) ( 2 ) w h e r e K ( L ) i s a whi t e noi s e in t h i s f o r m ul a . T h e a lgo r ithm i s c ompo s e d o f t w o up d a t e t e r m s i . e . , MN ( O ) PQ ( R ) + S ( T ) U a n d VW ( X ) Y ( Z ) . No t e th a t i f th e e nvi r onm e nt i s not a f i nit e p r e c i s i on on e , t h e n th i s a l g o r i t hm i s e x ac tl y t h e s a m e a s t h e L M S a l g o r i thm . T h i s s impl e a lgo r ithm h a s s o m e i n t e r e s tin g p r op e r t i e s . A s w e p r o v e l a t e r , thi s a l g o r ith m p r e v e nt s t h e s t a l l in g e f f e c t f r om h a pp e n i n g . I f t h e e rr o r v a l u e i s bi gg e r t h a n t h e t h r e s hol d v a lu e , i . e . , [ ( \ ) ] ^ _ ( ` ) , t h e n r a t e s o f c on v e r g e n ce o f t hi s a lgo r ith m a n d t h e L M S a l g o r i th m a r e a lmo s t e qu a l . T hi s i s t r u e b e c a u s e t h e qu a n t i z e d v e r s io n o f modi f i c a t io n t e r m s ab ( c ) d ( e ) i n t h e LM S a l g o r i t h m a n d fg ( h ) ij ( k ) + l ( m ) n / op ( q ) r ( s ) i n t h e p r opo s e d a lgo r ith m d i f f e r a t mo s t in 1 F u vw w hi c h 1 F y z{ a n d / 1 F } ~• t a k e p l a ce wi t h e qu a l p r ob a b i l i t y . If ( ! ) < " # ( $ ) A N -L M S a l g o r ith m p r e v e n t s t h e s t a l l in g e f f ec t . A ss um e t h a t % ( & ) < ' ( ( ) ) = * +, - ./ ( 0 ) in whi c h t h e s t a l ling o c c u r s f o r th e LM S a l g o r i th m . S uppo s e t h a t th e noi s e 1 ( 2 ) h a s a n a r bi t r a r y di s t r ibu t ion ( e . g . G a u s s i a n ) . Al s o a s s um e t h a t t h e e rr o r v a lu e 3 ( 4 ) a n d th e i nput s i g n a l 5 ( 6 ) a r e bo t h po s i t i v e . S i n c e t h e v a l u e o f e rr o r i s l e s s t h a n 7 89 : ;< ( = ) a n d e rr o r v a l u e i s po s it i v e , > ?@ A BC ( D ) / E ( F ) i s po s i t i v e . If t h e a dd e d noi s e v a l u e f a ll s wi t h i n th e i n t e r v a l whi c h i s s how n i n F i g . 4 , t h e n GH ( I ) JK ( L ) + M ( N ) O i n A N -L M S a l g o r i th m e x cee d s PQ ( R ) S ( T ) b y 1 L SB t h e r e f o r e th e w e i g ht will b e upd a t e d b y +1 U VW i n t h e t r u e d i r ec tion i . e . , i n t h e di r e c tio n o f s i g n LM S a l g o r i th m . T h i s int e r v a l i s not t h e onl y i n t e r v a l with i n w hi c h i f n oi s e v a l u e f a ll s, t h e w e i g ht will b e up d a t e d . X ( Y ) N o ise g en e rat o r F F F Z ( [ ) + + \ ( ] ) + + ^ _ + ` ( a + 1 ) + + + + 6 I n f a c t i f a dd e d noi s e f a ll s w i t h in th e i n t e r v a ls [ ( b c de ) f gh i jk ( l ) / m ( n ) , ( o p qr ) s tu v wx ( y ) ) f o r s om e i n t e g e r z , t h e w e i g ht s w i l l b e up d a t e d i n th e t r u e d i r e c tio n . T h e f ollowin g two th e o r e m s d e f i n e d a nd p r o v e d b y t h e a u t ho r s , in v e s ti g a t e t h e p r op e r ti e s o f th e A N - L M S a l g o r i t h m . T h e o r e m 1 : C on s i d e r th e a l g o r i t hm p r e s e nt e d b y e qu a t io n ( 2 ) . S uppo s e t h a t i n t h e ti m e in s t a nt { w e h a v e | ( } ) < ~• ! "# ( $ ) % , i . e . , th e s t a l lin g ph e no m e no n h a s h a pp e n e d in t h e f init e p r ec i s i o n e n v i r onm e nt f o r t h e LM S a l g o r i t h m , th e n th e t a p w e i g h t & ' ( ( ) i n th e A N - L M S a l g o r i thm i s up d a t e d i n t h e t r u e di r e c t i o n i . e . , i n t h e di r e c tio n o f t h e s i g n L M S a l g o r i t h m . P r oof - A s s u m e t h e a d d e d noi s e ) ( * ) h a s a n a r bi t r a r y d i s t r ibu t ion ( e . g . G a u ss i a n ) . Al s o a s s u m e th a t t h e e rr o r v a l u e a n d input s i g n a l + ( , ) a r e po s iti v e . S in c e t h e v a lu e o f e rr o r i s l e s s th a n - ./ 0 12 ( 3 ) a n d i t i s a l s o po s i ti v e , o n e ca n c on c lu d e t h a t 4 56 7 89 ( : ) / ; ( < ) i s p o s i ti v e . I f t h e noi s e v a lu e f a l l s w i thi n t h e i n t e r v a l ( = > ?@ ) A BC D EF ( G ) / H ( I ) J K ( L )< ( M N OP ) Q RS T UV ( W ) f o r s o m e in t e g e r X th e n YZ ( [ ) \] ( ^ ) + _ ( ` ) a / bc ( d ) e ( f ) w i l l b e e qu a l to 1 F h ij . S o , t h e t a p w e i g ht k l ( m ) wil l b e upd a t e d b y 1 F o pq i n th e t r u e d i r e c t i o n ( li k e s i g n LM S a l g o r ith m ) . I f th e n o i s e v a l u e do e s n o t f a ll i n t h e s e i n t e r v a l s, t h e n no up d a tin g i n th e t a p w e i g h t wi l l h a p p e n . We p r o v e t h i s i n t h e f ollowin g . S uppo s e t h a t: ( 2 r / 1 ) s tu 2 vw ( x ) / y ( z ) J { ( | ) < ( 2 } / 1 ) ~• ! 2 "# ( $ ) ( 3) t h e n , ( % & '( ) ) *+ , -. ( / ) J 0 ( 1 ) + 2 ( 3 ) < ( 4 5 67 ) 8 9: ; <= ( > ) + ? ( @ ) ( 4 ) a n d t hu s , ( A B CD ) E FG H J IJ ( K ) ( L ( M ) + N ( O ) )< ( P Q RS ) T UV W + XY ( Z ) [ ( \ ) ( 5) S i n c e ]^ ( _ ) ` ( a ) < 0 .5 b cd t h e v a lu e o f ef ( g ) ( h ( i ) + j ( k ) ) wi l l b e e q u a l t o l F n op . N ow w e a n a l y z e th e s e c o nd up d a t e t e r m o f e q u a t i on ( 2 ) , i . e . , qr ( s ) t ( u ) . We h a v e ( v w xy ) z {| } ~• ( ) / ! ( " ) J # ( $ )< ( % & '( ) ) *+ , -. ( / ) ( 6 ) w h i c h i s e q u i v a l e n t t o ( 0 1 23 ) 4 56 7 / 89 ( : ) ; ( < ) J => ( ? ) @ ( A ) < ( B C DE ) F GH I ( 7 ) A s i t c a n b e i n f e rr e d f r o m t h i s e q u a t i o n , s in c e JK ( L ) M ( N ) < 0 .5 O PQ th e v a lu e o f RS ( T ) U ( V ) , w h e n r ound e d t o t h e n e a r e s t L S B , w i ll b e e q u a l t o ( W / 1) X YZ a n d thu s t h e di f f e r e n c e 7 F ig . 4 . I n t e r v a l in wh i c h A N - LM S upd a t e s. b e tw e e n tw o upd a t e t e r m s i s e qu a l t o 1 [ \] a n d t h e w e ig h t w i ll b e up d a t e d by +1 ^ _` i n t h e t r u e di r e c tio n ( a ( b ) a n d c ( d ) a r e b oth po s itiv e ) . N ow c on s i d e r t h e c a s e t h a t t h e noi s e v a l u e do e s not f a l l wi t hi n t h e p r e vi o u s in t e r v a l bu t f a l l s in t h e in t e r v a l: ( e f g h ) i jk l mn ( o ) J p ( q ) < ( r s t u ) v wx y z{ ( | ) / } ( ~ ) ( 8 ) W e s ho w t h a t i n th i s c a s e , t h e p r opo s e d a l g o r ith m d o e s no t upd a t e th e t a p w e i g h t . F r o m ( 3 ) w e h a v e : ( • ! "# ) $ %& ' + () ( * ) + ( , ) J -. ( / ) ( 0 ( 1 ) + 2 ( 3 ) )< ( 4 5 67 ) 8 9: ; ( 9 ) S i n c e <= ( > ) ? ( @ ) < 0 .5 A BC th e v a l u e o f DE ( F ) ( G ( H ) + I ( J )) , w h e n r ound e d t o t h e n e a r e s t L S B , w i l l b e e q u a l t o KL MN . M o r e o v e r , f r om ( 3 ) w e c a n w r i t e : ( O P QR ) S TU V J WX ( Y ) Z ( [ ) < ( \ ] ^_ ) ` ab c / de ( f ) g ( h ) ( 10 ) I n s i m i l a r w a y , th e v a l u e o f ij ( k ) l ( m ) , wh e n r ound e d to th e n ea r e s t L S B , w i l l b e e q u a l t o n F p qr . T h e r e f o r e , t h e d i f f e r e n ce b e tw e e n t wo upd a t e t e r m s i s e qu a l t o z e r o a n d t h e t a p w e i g ht i s not up d a t e d b y th e p r opo s e d a l g o r ith m . T hi s r e s u l t c a n b e c o n c l u d e d b y th e s i m i l a r e xp r e ss ion s f o r o t h e r t a p w e i g ht s s t ( u ) t o v w xy ( z ) . I n a ddition , th e p r oo f f o r o t h e r 3 po s s ib l e s t a t e s f o r s i g n s o f { ( | ) a n d } ( ~ ) i s s i m i l a r ( t h e i n t e r v a l s c h a n g e s acc o r din g to s i g n s o f • ( ) a n d ! ( " ) ) . T h e p r oo f i s c o mp l e t e d h e r e . T h e o r e m 2 : C on s i d e r th e a l g o r ith m p r opo s e d i n ( 1 ) a n d a l s o s uppo s e t h a t t h e d i s t r ib u t i o n o f th e a d d e d noi s e # ( $ ) i s uni f o r m . R a t e o f c onv e r g e n ce o f th e p r opo s e d a l g o r ith m a n d th a t o f th e L M S a l g o r ith m i s id e n t i c a l i n th e e xp e c t e d v a lu e s e n s e . 8 P r oof - I n t h e L M S a l g o r ithm t h e upd a t e t e r m i s %& ( ' ) ( ( ) ) . I f *+ ( , ) - ( . ) ] 0 .5 / 01 t h e p r ob a bi l it y t h a t t h e up d a t e t e r m i n t h e AN - L M S a l g o r ith m e x c e e d s t h a t o f t h e L M S a l g o r ithm b y 1 2 34 i s e q u a l t o th e p r ob a bili t y th a t t h e upd a t e t e r m i n t h e L M S a l g o r ith m e x c e e d s t h a t o f th e AN - L M S a lgo r ith m b y 1 5 67 . T h e r e f o r e , th e r a t e s o f c on v e r g e n c e o f A N - L M S a nd L M S a r e e q u a l i n a f in i t e p r ec i s io n e n v i r onm e nt , p r o v id e d th a t t h e s t a l l in g p h e nom e no n h a s not o cc u rr e d a n d c a n b e a p p r oxi m a t e d b y a s in g l e e xpon e nti a l c u r v e . An a v e r a g e e i g e n v a l u e c a n b e d e f i n e d f o r t h e un d e r l y in g c o rr e l a t io n m a t r i x 8 o f t h e t a p input s a s : 9 :; = < = > ? @ A B CD ( 1 1 ) T h e l e a r n i n g c u r v e o f t h e L M S a l g o r i thm ca n b e a pp r ox i m a t e d b y a s i n gl e e xpo n e nti a l wi t h ti m e c on s t a n t E . O n e c a n u s e e q u a t ion s w h i c h a r e d e v e lo p e d f o r t h e m e thod o f s t e e p e s t d e s c e nt , t o d e f in e a v e r a g e tim e c o n s t a n t f o r t h e L M S a l g o r ithm a s th e f o l l owin g [ 12 ] : F = G H IJ KL ( 12 ) O n th e o th e r h a n d , i f MN ( O ) P ( Q ) < 0 .5 R ST , a s i t i s s t a t e d b e f o r e , t h e a lgo r ithm a lw a y s upd a t e s t h e t a p w e i g ht s i n t h e t r u e di r e c t ion . N ow , a ss u m e t h a t t h e di s t r ibutio n o f t h e a d d e d noi s e i s un i f o r m . W e p r o v e t h a t i n th e c a s e UV ( W ) X ( Y ) < 0 .5 Z[ , t h e r a t e s o f c onv e r g e n c e o f th e p r opo s e d m e t ho d a n d t h e L M S a l g o r ithm a r e e q u a l . Ag a i n a s s um e t h a t t h e e rr o r v a lu e \ ( ] ) a n d inpu t s i g n a l ^ ( _ ) m a y b e n e g a t i v e o r po s it i v e . D e f i n e ` a s th e e v e n t t h a t t h e no i s e v a l u e f a l l s w i t hin t h e int e r v a l s : [ ( a b cd ) e fg h ij ( k ) / l ( m ) , ( n o pq ) r st u vw ( x ) ) FF F FFF z { ( / ∞ ,+ ∞ ) ( 13 ) S uppo s e th a t Pr ( | ) = } . A s i t i s p r o v e d i n th e o r e m 1 , t h e A N - L M S a lgo r ithm upd a t e s th e t a p w e i g ht s i f a n d onl y i f ~ F h a pp e n s. T h e n t h e e xp e c t e d v a l u e o f t h e upd a t e t e r m i n t h e p r opo s e d m e t ho d i s e q u a l to: • !" # ( $ + 1) / % & ( ' ) ( = ) ×1 * +, × - . / 0 12 ( 3 ) 4 ( 5 ) 6 + (1 / 7 ) ×0 ( 14 ) w h i c h 8 9 ( : ) i s t a p w e i g h t c o r r e s pondin g t o t h e input ; ( < ) . N ow w e c a l c ul a t e = a s : > = ? @ ( A ) B CD EF ( G ) H ( 15 ) S o th e e xp ec t e d v a l u e o f th e upd a t e t e r m i n t h e p r opo s e d m e t ho d i s : I JK L ( M + 1) / N O ( P ) Q = R S ( T ) U VW XY ( Z ) [ ×1 \ ]^ × _ ` a b cd ( e ) f ( g ) h = ij ( k ) l ( m ) ( 16 ) w h i c h m e a n s t h a t th e a l g o r ith m h a s t h e s a m e r a t e o f c on v e r g e n c e a s th e LM S a l g o r i t hm i n t h e e xp e c t e d v a l u e s e n s e . S o t h e a pp r ox i m a t ion o f l e a r nin g c u r v e with a n e xp o n e nti a l f un c tion i s 9 s t ill v a li d wh e n t h e s t a llin g ph e no m e non o c c u r s . T hi s c omp l e t e s th e p r o o f . T hi s e q u a l i t y i n th e e xp e c t e d v a l u e s e n s e c a n b e ob s e r v e d a l s o i n th e s i m u l a t io n r e s ul t s wh i c h i s p r e s e n t e d i n s e c t i o n 3. 2 . 3 . C o n v e r g e n ce o f th e A N - LM S algo r i thm A s m e ntio n e d , t h i s a lgo r ithm i s t h e s a m e a s L M S a l g o r i thm i n i n f i ni t e p r ec i s i on e n v i r on m e nt s. W e h a v e modi f i e d t h e L M S a l g o r i thm by a ddin g a nd s ub t r ac tin g a no i s e p r odu ce d b y t h e noi s e g e n e r a t o r ( s ee e qu a tion ( 2 )) . S o , th e c on v e r g e n ce o f A N -L M S a l g o r i thm i s t h e s a m e a s t h a t o f LM S a l g o r i thm i n a n in f in i t e p r e c i s i o n e n v i r onm e n t . T h e t r a n s i e nt c o m po n e n t o f th e m e a n s q u a r e d - e rr o r n ( o ) di e s ou t , w hi c h m ea n s t h a t t h e L M S a l g o r i thm a n d A N -L M S a l g o r ith m a r e c on v e r g e nt i n t h e m e a n s q u a r e i f a n d onl y i f t h e s t e p- s i ze p a r a m e t e r p s a t i s f i e s th e f o llowin g c on d i t io n [ 1 9 ] : 0 < q < r s t uv ( 17) w h e r e w x yz i s t h e l a r g e s t e i g e n v a lu e o f t h e c o rr e l a t io n m a t r i x o f inpu t d a t a , i . e . , { . T h e s i m p l e s t c on s i s t e nt e s t i m a t o r f o r | ca n b e obt a i n e d b y u s in g i n s t a n t a n e o u s e s t i m a t e s t h a t a r e b a s e d o n s a mpl e v a l u e s o f t h e t a p inpu t v e c t o r a s t h e f o l l o w i n g : } ~ = • ( ) ! " ( # ) $ ( 18 ) T h e c ondi t i o n f o r t h e LM S a l g o r ith m a n d A N - L M S a l g o r ith m to b e c o nv e r g e n t i n t h e m e a n s qu a r e , w hi c h i s d e s c r ib e d i n E q . ( 17 ) , n e e d s a k n owl e dg e o f t h e l a r g e s t e ig e nv a lu e , % & '( , o f th e d e s c r i b e d c o rr e l a t i o n m a t r i x R . I n th e a ppli c a tio n o f th e s e a l g o r i thm s, kno w l e d g e o f ) * +, i s no t u s u a lly a v a il a b l e . T o d ea l w i t h t hi s p r a c t i ca l di ff i c u l t y , t h e t r a ce o f R m a y b e c o n s id e r e d a s a c on s e r v a t i v e e s tim a t e f o r - . /0 . T h e r e f o r e , t h e c ond i tion d e s c r i b e d in E q . ( 17 ) c a n b e r e f o r mul a t e d a s : 0< 1 < 2 34 [ 5 ] ( 19 ) 2 . 4 . C o m p l e xi t y o f th e AN - LM S Algo r i thm W e c on s i d e r t h e c omp l e xit y a s th e num b e r o f m u l tip l i ca tion s n e e d e d t o c a l c u l a t e t h e up d a t e d t a p w e i g h t v e c to r f r om t h e p r e v iou s o n e . T h e c o m put a t i o n a l c ompl e xi t y f o r th e c on v e n t io n a l L M S i s e qu a l t o 2M a n d t h u s i s li n e a r wi t h th e nu m b e r o f t a p s i . e . 6 ( 7 ) . S in c e 89 ( : ) e xi s t s in bot h upd a t e t e r m s o f t h e A N - L M S a l g o r i thm , th e AN - L M S a l g o r i t h m h a s on e a ddi t io n a l mul t ipli c a t io n . T h e r e f o r e i t s c o m pl e x i t y i s e q u a l t o 3M . T hu s, th e AN -L M S a l g o r ithm 1 0 imp r o v e s t h e r e s i s t a n ce to th e s t a l lin g e ff e c t w h i l e k e e p in g t h e c o mp l e x i t y l i n e a r with t h e numb e r o f t a p s i . e . ; ( < ) . 2 . 5 . P r o b a b il i t y o f U p d a t e w i th A d d i t i v e G a u s s ia n Noi s e I n o r d e r t o ca l c u l a t e th e p r ob a b i li t y o f upd a t e i n t h e AN - L M S a l g o r i thm k nowl e d g e o f t h e F i g . 5 . P r o b a b i l i t y o f th e upd a t e e v e n t a s f u n c ti o n o f = a nd > w h e n ? ( @ ) i s c on s t a n t . F i g . 6 . P r o b a bility o f u pd a t e a s f un c ti o n o f A a nd B wh e n C ( D ) = E F . di s t r ibu t io n o f a dd e d n o i s e i s n ec e s s a r y . A ss u m e t h e a d d e d noi s e h a s a z e r o m ea n G a u ss i a n di s t r ibu t io n wit h v a r i a n c e G H . We p r o v e d t h a t i f th e noi s e v a l u e f a ll s w i t hin t h e i n t e r v a l ( I J KL ) M NO P QR ( S ) / T ( U ) J V ( W )< ( X Y Z[ ) \ ]^ _ `a ( b ) f o r s o m e in t e g e r c th e n A N -L M S upd a t e s t h e t a p w e i g ht s . S uppo s e th a t d = e f gh i jk ( l ) m a nd n ( o ) i s po s i t i v e . T h e p r ob a bi l it y o f upd a t e e v e nt ca n b e w r i t t e n a s : 1 1 p= > [ φ p ( q r st ) u σ v / φ w ( x y z{ ) |} σ ~ ] ∞ • !" ∞ ( 2 0 ) w h e r e φ ( x ) i s th e c umul a t i v e d i s t r ibut i on f u n c t i o n ( C D F ) o f t h e s t a n d a r d no r m a l di s t r i butio n . N ow w e e v a lu a t e t h e v a lu e o f P . I n t h e f i r s t s c e n a r io , w e s uppo s e t h a t # ( $ ) i s c on s t a nt a n d % a n d & a r e v a r i a b l e s. T h e r e s ult o f s imu l a tio n h a s b e e n s how n i n F i g . 5 . A s it i s d e p i c t e d i n F i g . 5 , th e v a l u e o f ' d ec r ea s e s wit h th e i n c r e a s e o f ( a nd i n c r e a s e s wi t h th e i n c r e a s e o f ) . I n t h e s ec on d s c e n a r i o w e a s s u m e t h a t * ( + )= , - a n d . a n d / a r e v a r i a b l e . T h e r e s ul t h a s b e e n s ho w n i n F i g . 6 . W e c a n s e e f r om F i g . 6 t h a t t h e v a l u e o f 0 d e c r ea s e s w i t h th e i n c r e a s e o f 1 a nd in c r ea s e s w i t h th e in c r e a s e o f 2 . Al s o it ca n b e s e e n th a t wi t h in c r e a s e o f 3 t h e v a l u e o f 4 c lo s e s t o a c on s t a nt v a l u e 5 6 ! 7 wh i c h i s e qu a l t o t h e p r ob a b i l it y o f up d a t e e v e n t wh e n t h e a dd e d n o i s e h a s th e uni f o r m d i s t r i butio n . T h i s r e s u l t i s e xp e c t e d b e c a u s e w h e n 8 i n c r e a s e s , t h e G a u s s i a n di s t r ibu t ion c l o s e s to th e uni f o r m d i s t r i butio n . S o w e ca n c on c lud e th a t t h e u n i f o r m di s t r ibu t io n h a s a f a s t e r r a t e o f c on v e r g e n ce t h a n th e G a u ss i a n di s t r i b u tio n . 3 . S i mu l a t i o n R e s u l t s I n th i s s e c t io n w e p r e s e n t t h e s i m u l a tio n r e s u l t s f o r A N - L M S a l g o r i t hm . F i g . 7 s how s th e m ea n a b s olu t e e rr o r f o r t h e s y s t e m c o rr e s pondin g t o F i g . 4 . T h e two u s e d a d a pti v e f i l t e r a l g o r i t hm s a r e L M S a n d A N - L M S . T h e n o i s e g e n e r a to r bl o c k i n F i g . 2 g e n e r a t e s t h e G a u s s i a n n oi s e . F i g . 7 s ho w s t h e m a i n f e a tu r e o f A N - L M S . I n f a c t , t h e i n f i n i t e p r ec i s i o n L M S h a s n o s t a ll i n g e ff e c t p r obl e m . A s i t c a n b e s e e n th e AN -L M S do e s c o n tinu e upd a t i n g it s t a p w e i g h t v e c to r . A l s o t h e r a t e o f c on v e r g e n ce o f ou r m e thod i s a l mo s t e qu a l t o th a t o f i n f i n it e p r e c i s io n L M S a s it c a n b e s ee n f r om th e c oi n c i d e n c e o f t h e tw o c u r v e s . N ot e th a t t h e di s t r ibution o f t h e no i s e i s G a u s s i a n but n o t un i f o r m , thu s t h e r a t e s o f c on v e r g e n c e a r e not c o m pl e t e l y e qu a l i n e xp e c t e d v a l u e s e n s e . I n F i g s . 4 a nd 7 th e c h a n n e l a dd s no noi s e t o th e inpu t s i g n a l i . e . t h e c h a nn e l i mpul s e r e s pon s e i s 9 ( : ) = ; ( < ) . N ow w e p r e s e nt t h e s i mul a t io n r e s ul t s f o r a noi s y c h a n n e l wh i c h i s a r ea l ca s e . C o n s id e r a n A R s i g n a l d e s c r i b e d a s = ( > ) = 0 .1 ? ( @ / 1 ) + 0 .1 A ( B / 2 ) … + 0 .1 C ( D / 11 ) + E ( F ) ( 21 ) w h e r e G ( H ) i s a whi t e noi s e wit h v a r i a n ce 0 . 0 04 . A g a i n t h e n u m b e r o f b i t s u s e d f o r r e p r e s e n t a t i o n o f th e d e c i m a l p a r t i s 12 . F i g . 8 d e mon s t r a t e s t h a t t h e A N - L M S a tt a i n s l o w e r e s tim a t i o n e rr o r s t h a n t h e c on v e n t io n a l f init e p r e c i s io n L M S a l g o r i t hm . U n l i k e t h e f i ni t e p r ec i s i o n L M S t h e AN -L M S d o e s no t s t a l l. 1 2 F i g . 7 . S t a lling e ff e c t i n f ini t e p r e c i s io n LM S . F i g . 8 . C omp a r i s o n b e t w e e n F i ni t e P r e c i s ion LM S a n d P r o po s e d m e t hod i n f o r a n A R s i g n a l ; t h e p r op o s e d m e t ho d c omb a t s t h e s t a l l i n g e f f e c t . F i g . 9 . E qu a li t y o f r a t e s o f c on v e r g e n c e f o r t wo a d a p t i v e f ilt e r a l g o r i thm s . 0 50 100 1 50 200 2 50 0 0. 05 0 .1 0. 15 0 .2 0. 25 0 .3 0. 35 0 .4 I t e r a t i on M e a n A b s o l u t e E r r or I n f i n i t e P r e c i s i on L M S P r opo s e d M e t hod 0 100 2 00 3 00 4 00 500 6 00 7 00 0 0 . 05 0 .1 0 . 15 0 .2 0 . 25 0 .3 0 . 35 0 .4 I t e r a t i on M e a n A b s o l u t e E r r or F i n i t e P r e c i s i o n L MS P r o po s e d M e t h od 1 3 F i n a l l y F i g . 9 c om p a r e s t h e r a t e s o f c on v e r g e n c e s o f th e p r opo s e d m e t ho d ( A N - LM S ) a n d t h e in f init e LM S a l g o r ith m . A g a in t h e s y s t e m u s e d in F i g . 8 , i s ut i l i z e d . T h e c oi n c i d e n c e o f th e two l e a r n i n g c u r v e s s u gg e s t s th a t th e r a t e s o f c o n v e r g e n c e o f t h e A N -L M S a nd th e i n f i ni t e p r ec i s i o n L M S a r e e q u a l in e xp e c t e d v a l u e s e n s e. 4 . C o n c l u d i n g R e m a r k s I n th i s p a p e r w e p r e s e n t e d a n up d a t e d v e r s i o n o f L M S a l g o r ithm , c a l l e d A N - L M S a l g o r i thm . T h e b a s i c d i f f e r e n ce o f A N - LM S a nd L M S i s th a t AN - L M S i n j ec t s a no i s e t o t h e s t r u c tu r e o f L M S . T h i s m a k e s A N - L M S a l g o r i t hm h a v e t w o upd a t e t e r m s. W e p r o v e d t h a t i n t h e s i t u a t i o n th a t t h e s t a l l ing e f f e c t h a pp e n s i n c on v e nt i o n a l L M S , AN - L M S s t i l l up d a t e s i t s t a p w e i g h t s . T h e s im u l a t i o n r e s u l t s c on f i r m th i s a n a l y t i c a l p r oo f . A no t h e r o b s e r v a tio n i s t h a t i f t h e di s t r ibu t io n o f t h e a d d e d no i s e t e nd s t o uni f o r m t h e n th e r a t e o f c on v e r g e o f A N -L M S t e nd s t o th a t o f i n f i ni t e L M S . Ag a i n , t hi s i s ob s e r v e d i n s i m ul a t io n r e s ult s to o . No t e th a t d e s p it e in c r ea s in g t h e c o m p u t a tion a l c o m p l e xit y , t h e A N - LM S a l g o r i t hm h a s t h e s a m e l in e a r c ompl e xi t y o r d e r a s t h e c on v e n t ion a l L M S a l g o r i t hm. R e f e r e n ces [ 1] Hu r , J. , S on g , I . a n d P a r k , P . , “ A v a r i a b l e s t e p - s i ze no r m a li ze d s ub b a n d a d a p t i v e f i l t e r w i th a s t e p - s i ze s c a l e r a g a in s t imp u l s i v e m e a s u r e m e n t noi s e , ” I E E E Tr a n s a c t ion s on C i r c uit s a n d S y s t e m s II : E xp r e s s B r i e f s, v ol . 6 4 , p p . 842 - 846 , 201 7 . [ 2 ] F a r e e d , S . B . S . a nd K h a d e r , S . S . , “ F a s t a d a p ti v e a nd s e l e c t i v e m ea n f i l t e r f o r t h e r e m o v a l o f hi g h - d e n s i t y s a l t a nd p e p p e r noi s e , ” IET I m a g e Pr o ce s s in g , D O I : 1 0 . 1049/i e t- ip r . 201 7 . 019 9 . [ 3 ] S h a hdoo s t i , H . R . a n d M e h r a b i , A . , 201 7 . M R I a nd P ET im a g e f u s ion u s in g s t r u c tu r e t e n s o r a n d du a l r i p p l e t -II t r a n s f o r m . M u l ti m e d i a T oo l s a n d Ap p l i c a tion s, D O I : http s : / /do i . o r g /10 . 1007 / s 11042 - 017 - 5067 -1 , p p . 1 - 22 . [ 4 ] S h a hdoo s t i , H . R . a nd M e h r a b i , A . , 201 8 . M ul t i m od a l i m a g e f u s ion u s in g s p a r s e r e p r e s e n t a t i on c l a s s i f i ca tion i n t e t r ol e t do m a i n . D i g it a l S i g n a l Pr o c e ss in g , V o l . 7 9 , P P . 9 - 2 2 , 2018 . [ 5 ] S h a hdoo s t i , H . R . a n d J a v a h e r i , N ., 201 7 . P a n s h a r p e n i n g o f c lu s t e r e d M S a nd P a n i m a g e s c on s i d e r i n g m i x e d p ix e l s . I E EE G e o s c i e n c e a n d R e mo t e S e n s in g L e t t e r s , 1 4 ( 6 ) , p p . 826 - 83 0 . [ 6 ] K h a y a t , O . , R az j ou y a n , J. , A g h v a m i , M. , S h a h doo s ti , H . R . a nd L on i , B . , 200 9 , M a r c h . A n a utom a t e d GA - b a s e d f u z z y i m a g e e n h a n c e m e n t m e tho d . I n C omput a t i o n a l I nt e l l i g e n c e f o r I m a g e Pr o c e ss in g , 200 9 . C IIP '09 . IEE E S y mpo s ium o n ( pp . 14 - 19 ) . I E EE. [ 7 ] K h a y a t , O ., S h a hdo o s ti , H . R . a n d K ho s r a v i , M. H ., 200 8 , F e b r u a r y . I m a g e c l a ss i f i ca tio n u s i n g p r in c i p a l f e a t u r e a n a l y s i s . I n Pr o cee d i n g s o f t h e 7 t h W S E A S I n t e r n a tio n a l C o n f e r e n c e on A r ti f i c i a l int e l l i g e n c e , knowl e d g e e n g in e e r i n g a n d d a t a b a s e s ( pp . 198 - 203 ) . W o r l d S c i e n t i f i c a n d E n g i n e e r i ng A ca d e m y a n d S o c i e t y ( W S E A S) . [ 8 ] S h a hdo o s ti , H . R . a n d K h a y a t , O . , 201 6 . C o mbin a tio n o f a n i s o t r op i c di f f u s i o n a n d non- s ub s a m p l e d s h e a r l e t t r a n s f o r m f o r i m a g e d e noi s i n g . J ou r n a l o f I n t e l li g e n t & F u z z y S y s t e m s, 30 ( 6 ) , p p . 3087 - 309 8 . 1 4 [ 9 ] S h a hdoo s t i , H . R . a n d H a z a v e i , S . M ., 201 8 . C o m bin e d r ippl e t a nd t o t a l v a r i a tio n im a g e d e noi s in g m e thod s u s in g t w i n s uppo r t v e c to r m ac h i n e s. M ultim e d i a T ool s a nd A pp l i c a tio n s , 77 ( 6 ) , p p . 7013 - 703 1 . [ 10 ] S h a hdoo s ti , H . R . , 201 7 . T w o - s t a g e im a g e d e no i s i n g c on s i d e r in g i n t e r s c a l e a n d int r a s ca l e d e p e n d e n c i e s. J ou r n a l o f E l e c t r oni c I m a g i n g , 26 ( 6 ) , p . 06302 9 . [ 11 ] G r a y , R . M . “ Q u a nti z a tio n noi s e s p e c t r a , ” IEE E Tr a n s . I n f o r m a tio n T h e o r y , v ol . 3 6 , p p . 1220 - 1244 , 199 0 . [ 12 ] H a y kin , S . “ Ad a p t iv e f i l t e r t h e o r y , ” 4 t h E dition , P R E N TI C E H A L L , 2002 . [ 13 ] G i t li n , R . D . , J. E. M az o , a nd M . G . T a y l o r . “ O n t h e D e s i g n o f G r a di e n t Al g o r i t hm s f o r Di g i t a l l y I m p l e m e n t e d A d a p t i v e F ilt e r s , ” I E EE Tr a n s . C i r c uit T h e o r y , v ol . C T- 20 , p p . 125 - 136 , 197 3 . [ 14 ] S h e r w ood , D . T. , a n d N . J . B e r s h a d . “ Q u a n t i z a t io n E ff e c t s i n t h e C omp l e x L M S A d a pti v e Al g o r i thm : L i n e a r i z a t i o n U s in g di t h e r- t h e o r y , ” I EE E T r a n s. C i r c ui t S y s t e m s , v ol . C A S- 34 , p p . 848 - 85 4 , 1 9 87 . [ 15 ] M ont e n e g r o , Y . B e r mud e z , J . C .M . N a s c i m e nt o , V . H . “ M o d e li ng F ini t e Pr ec i s i o n L M S Be h a v i o r U s in g M a r kov C h a i n s ” I C A SS P 2006 . [ 16 ] L i nd s t r ö m , F . , D a hl , M . , C l a e ss o n , I . “ A F i n i t e Pr ec i s io n L M S A l g o r i th m f o r I n c r e a s e d Q u a nti za t i o n R obu s t n e s s ” IEE E I n t e r n a t i o n a l S ympo s iu m o n C i r c ui t s a n d S y s t e m s, 200 3 . [ 17 ] A ld a j a n i , M . A . , “ L o g a r ith m i c q u a nt i za t io n in th e l e a s t m e a n s q u a r e s a l g o r i thm ” Di g i t a l S i g n a l P r o c e s s i n g , 200 8 – E l s e v i e r . [ 18 ] G h a n a s s i , M. , C h a mp a g n e , B . , K a b a l , P . “ O n t h e s t e a d y - s t a t e m ea n s q u a r e d e rr o r o f t h e f i x e d - po i nt LM S a l g o r i t hm ” S i g n a l Pr o c e ss in g , 2007 – E l s e v i e r . P l ea s e u s e th e o r d e r / s t y l e g i v e n i n t h e f ollowin g e x a mp l e s , a s w e l l a s t h e e x a c t pu n c t u a t io n . [ 19 ] Gu r un g , J . B . a n d K h a nn a , R . , “ S e l f - c o n t r ol l in g m e c h a ni s m o v e r n e wl y p r opo s e d v a r i a bl e s t e p s i z e L M S a lg o r i thm , ” I n R e g i on 1 0 C on f e r e n c e , T E N C O N 2 017 - 2017 IEEE p p . 1396 - 1398 , 201 7 .