Improved Performance of Unsupervised Method by Renovated K-Means

I m p r ov e d P er f o r m a n ce o f U n s up er v i se d Me t h o d b y R e n ova t e d K- Me a n s P. A s ho k R e s ea r c h S c h o la r, B h a r at h ia r U n i v e r s i t y , C o i m b at or e T a m i l n a d u , I n d ia . a s h o k c u te e @g m a il . c om D r . G . M K ad h a r N a w az De p a r t m e n t o f C o m p u te r A pp licati o n S o n a C o ll e g e o f T ec hn o l og y , Sal e m , Ta m i l n a d u , I n d i a n a w az s e @ y a h oo . c o . in E . E l a y a r a j a De p a r t m e n t o f C o m p u te r Scie n ce P e r i y a r U n i v e r s i t y , Sal e m -11 T a m i l n a d u , I n d i a el a y a r a j a p h d . e @ g m ail . c om V . V a d i v e l De p a r t m e n t o f C o m p u te r Scie n ce P e r i y a r U n i v e r s i t y , Sal e m -11 T a m i l n a d u , I n d i a v . v a d i v e l m s c @ g m a i l . c om Ab s t r a c t: Cl u s t er i n g i s a se pa r a t i o n o f d a t a i n t o g r o u p s o f s i m il a r o b j ec t s . E very g r o u p c a l l e d c l u s t er c o n s i s t s o f ob j ec t s t h a t a re s i m i l a r t o o n e a n o t h er a n d d i ss i m i l a r t o o b j ec t s o f o t h er g r o u p s . I n t h i s p a p er , t h e K- M e a n s a l go r i th m i s i m p l e m e n t e d b y t h ree d i s t a n ce f un c ti o n s a n d t o i d e n tif y t h e o p t i ma l d i s t a n c e f un c ti o n f o r c l u s t er i n g m e t h o d s . Th e p r o p o se d K- M e a n s a l go r i th m i s c o mpa re d w it h K - M e a n s , S t a ti c W e i g h t e d K- M e a n s ( S W K- M e a n s ) a n d D y n a m i c W e i g h t e d K- M e a n s (D W K- M e a n s ) a l g o r it h m b y u s i n g D a v i s B o u l d i n i n d e x , E x ec u ti o n T i m e a n d I t er a ti o n c o u n t m e t h od s . E x p er i m e n t a l res u lt s s h o w t h a t t h e p r o p o se d K- M e a n s a l go r i th m p er f o r m e d b e tt er o n Ir i s a n d W i n e da t a se t w h e n c o m p a re d wi t h o t h er t h ree c l u s t er i n g m e t h od s. I. I N T R O D UC T I O N A. Clu s t erin g C l u s te r i n g [9] i s a te c h n i q u e t o g ro u p t o g e t h e r a s e t o f it e m s h a v i ng s i m ila r c h a r a cte r i s tic s . C l u s te r i n g c a n b e c o n s i d e r e d t h e m o s t i m p o r ta n t u n s u p e r vi s e d le a r ni ng prob le m . L i k e e v e r y o t h e r prob l e m o f t h i s k i n d , it d ea l s w i t h f i n d i n g a s t r u ct u re i n c o llect i o n o f u n la b ele d d ata . A l oo s e d e f i n i ti o n o f cl u s te r i ng c o u l d b e “ t h e pro ce ss o f or g a n izi ng o b j ect s i n t o g ro u p s w h o s e m e m b e r s a r e s i m ila r i n s o m e w a y ” . A cl u s ter i s t h e r e f or e a c o llecti o n o f ob j ect s w h i c h a r e “ s i m ila r ” b e t w e e n t h e m a n d a r e “ d i s s i m ila r ” t o t h e ob j ect s b el o ng i ng t o o t h e r c l u s te r s . W e ca n s h o w t h i s w i t h a s i mp le g r a p h ical e x a m p le . F i g ure 1 . clu s t er a n a l y s is I n t h i s c a s e , w e ea s i l y i d e n t i f y t h e 4 c l u s te r s i n t o w h i c h t h e d ata ca n b e d i v i d e d . T h e s i m ila r i t y c r ite r i o n i s d i s t a n ce of t w o or m or e ob j ect s b el o n g t o t h e s a m e c l u s te r i f t h e y a r e “ cl o s e” acc ord i n g t o a g i v e n d i s t a n ce ( i n t h e c a s e of g e o m et r ica l d i s t a n ce ). T h i s i s calle d t h e d i s ta n c e - b a s e d cl u s te r i n g . A n o t h e r k i n d o f c l u s te r i n g i s c o n ce p t u al cl u s te r i n g . T w o or m or e ob j e c t s b el on g t o t h e s a m e c l u s te r i f it d e f i n e s a c o n ce p t c o m m o n t o all t h at o b j ect s . I n o t h e r w ord s , ob j ect s a r e g ro u p e d a cc ord i ng t o t h ei r r ele v a n ce t o d e s c r i p ti v e c o n ce p t s , n o t acc ord i ng t o s i m p le s i m ila r it y m ea s u r e s . B. G oa l s of Clu s t erin g T h e g o al o f c l u s te r i n g i s t o d ete r m i n e t h e i n t r i n s i c g ro u p i n g i n a s et o f u n la b el e d d ata . T h e m a i n r e q u i r e m e n t s t h at a cl u s te r i ng a l g or it h m s h o u l d s ati s f y a r e : · s cala b ili t y · Deali n g w i t h d i f f e r e n t t y p e s o f att r i b u t e s . · Di s c o v e r i ng c l u s te r s w i t h a rb it r a r y s h a p e . · A b ili t y t o d eal w it h n o i s e a n d o u tlie r s . · I n s e n s it i v i t y t o ord e r o f i n p u t r ec ord s . · Hi g h d i m e n s i o n ali t y a n d · I n te rpr eta b ili t y a n d u s a b ili t y . C l u s te r i ng h a s nu m b e r o f prob le m s . F e w a m on g t h e m a r e li s te d b el o w . · Cu rr e n t cl u s te r i ng tec h n i q u e s do n o t a ddr e ss all t h e r e q u i r e m e n t s a d e q u ate l y ( a n d c o n c u rr e n t l y ) . · Deali n g w i t h la r g e nu m b e r of d i m e n s i o n s a n d la r g e n u m b e r o f d ata it e m s c a n b e prob le m atic b ec a u s e o f t i m e c o m p l e x i t y . · T h e e ff ec t i v e n e s s o f t h e m e t h od d e p e n d s o n t h e d e f i n i ti o n o f “ d i s t a n ce ” ( f or d i s ta n c e - b a s e d cl u s te r i n g ) a n d · I f a n ob v i o u s d i s t a n ce m e a s u r e do e s n’ t e x i s t w e m u s t “ d e f i n e” it , w h ic h i s n o t a l w a y s ea s y , e s p ecial l y i n mu l t i - d i m e n s i o n al s p ace s . A la r g e n u m b e r o f tec h n i qu e s h a v e b ee n propo s e d f o r f o r m i ng c l u s te r s f r o m d i s ta n ce m at r ic e s . Hie r a r c h ic a l tec h n i q u e s , op t i m izati o n tec h n i q u e s a n d m i x t u r e m od el a r e t h e m o s t i m por t a n t t y p e s . W e d i s c u s s t h e f i r s t t w o t y p e s h e r e . W e w ill d i s c u ss m i x t u r e mod el s i n a s e p a r ate n o te t h at i n c l u d e s t h ei r u s e i n cl a ss i f i c ati o n a n d r e g r e ss i o n a s w ell a s cl u s te r i n g . F ig u r e 2 . T a x o n o m y o f C l u s t e ri n g A pp r o a c h e s A t a h i g h l e v el , w e ca n d i v i d e cl u s te r i n g al g or i t h m s i n t o t w o bro a d cla ss e s a s m e n ti o n e d i n t h e b el o w s ecti o n . C. Clu s t erin g M e t h o d s 1) H ier a rchic a l Clu s t erin g [ 3] W e b e g i n a ss u m i n g t h at ea c h po i n t i s a c l u s te r b y i t s e l f . W e r e p eate d l y m e r g e n ea r b y cl u s te r s , u s i n g s o m e m ea s u r e o f h o w cl o s e t w o c l u s te r s a r e ( e . g ., d i s ta n ce b e t w e e n t h e i r ce n t ro i d s ), or h o w g ood a c l u s te r t h e r e s u l t i n g g ro u p w ou l d b e ( e . g ., t h e a v e r a g e d i s t a n ce o f po i n t s i n t h e c l u s te r f r o m t h e r e s u lt i n g ce n t ro i d s ) . A h ie r a r c h ical a l g or i t h m [ 8] y iel d s a d e n do g r a m , r e pr e s e n ti n g t h e n e s te d g roup i ng o f p atte rn s a n d s i m ila r it y le v el s at w h i c h g ro u p i n g s c h a n g e . T h e d e n do g r a m c a n b e bro k e n at d i f f e r e n t le v e l s t o y iel d d i f f e r e n t cl u s te r i n g o f t h e d ata . M o s t h ie r a r c h ical c l u s t e r i ng a l g or it h m s a r e v a r i a n t s o f t h e s i n g l e - l i nk , c o m p let e - l i nk , a n d m i n i m u m - v a r i a n c e al g or it h m s . T h e s i n g le - l i n k a nd c o m p let e l i n k al g or i t h m s a r e m o s t pop u la r. T h e s e t w o a l gor it h m s d i ff e r i n t h e w a y t h e y c h a r acte r ize t h e s i m i la r i t y b e t w e e n a p ai r o f cl u s te r s . I n t h e s i n g l e - l i nk m e t h od , t h e d i s ta n ce b e t w ee n t w o cl u s te r s i s t h e m i n i m u m o f t h e d i s t a n ce s b e t w e e n all p ai r s o f p atte r n s dr a w n f r o m t h e t w o cl u s te r s (o n e p atte r n f r o m t h e f i r s t c l u s te r, t h e o t h e r f r o m t h e s ec o n d) . I n t h e c o m p lete - l i n k a l g or it h m , t h e d i s ta n ce b e t w e e n t w o c l u s te r s i s t h e m i n i m u m o f all p ai r w i s e d i s ta n ce s b e t w e e n p atte rn s i n t h e t w o cl u s te r s . I n ei t h e r ca s e , t w o cl u s te r s a r e m e r g e d t o for m a la r g e r cl u s te r b a s e d o n m i n i m u m d i s ta n ce c r ite r ia . T h e c o m p let e - l i n k a l g or it h m prod u ce s ti gh t l y bo un d or c o m p a c t cl u s te r s . T h e s i ng l e - l i nk al g or it h m , b y c o n t r a s t , s u ff e r s f r o m a c h ai n i n g e f f ect . I t h a s a te n d e n c y t o prod u ce cl u s te r s t h at a r e s t r a g g l y or el o ng ate d . T h e cl u s te r s ob tai n e d b y t h e c o m p lete li n k a l g or it h m a r e m or e c o m p act t h a n t h o s e ob tai n e d b y t h e s i n g l e - l i n k al g or it h m . 2) P a r t i t i o n a l Clu s t erin g A P a r titi o n al cl u s te r i ng [9 ] al g or it h m ob tai n s a s i n g le p a r titi o n o f t h e d ata i n s tea d o f a cl u s te r i n g s t r u c t u r e , s u c h a s d e n do g r a m prod u ce d b y a h ie r a r c h ical te c h n i qu e . P a r titi o n al m e t h od s h a v e a d v a n t a g e s i n a pp licat i o n s i nv o l v i n g la r g e d ata s e t s f or w h i c h t h e c o n s t r u cti on of a d e n do g r a m i s c o m p u ta t i on al l y pro h i b it i v e . A prob le m acc o m p a n y i n g t h e u s e o f a P a r titi o n al a l g or it h m i s t h e c h o i c e o f t h e nu m b e r o f d e s i r e d o u t p u t c l u s te r s . T h e P a r titi o n al tec h n i q u e u s u al l y prod u ce cl u s te r s b y op t i m iz i n g a c r ite r i o n f u n cti o n d e f i n e d eit h e r l o cal l y (o n a s u b s et o f t h e p atte r n s ) o r g l ob al l y (d e f i n e d o v e r all o f t h e p atte r n s ). C o m b i n at or i al s ea r c h o f t h e s et o f po s s i b le l a b eli n g f or a n op t i m u m v a l u e of a c r ite r i o n i s clea r l y c o m p u ta t i o n al l y pro h i b it i v e . I n pr acti c e , t h e r e f or e , t h e al g or i t h m i s t y p ical l y ru n m u lti p le t i m e s w i t h d i ff e r e n t s ta r ti n g s tat e s , a n d t h e b e s t c o n f i g u r ati on ob tai n e d f r o m all o f t h e r u n s i s s u e d a s t h e o u t p u t c l u s te r i n g . D. Applic at i o n s of Clu s t er i n g C l u s te r i ng a l g or it h m s c a n b e a pp lie d i n m a n y f iel d s , s u c h a s t h e o n e s t h at a r e d e s c r i b e d b el o w · M a r k eti n g : F i n d i ng g ro u p s o f c u s t o m e r s w i t h s i m ila r b e h a v i or g i v e s a la r g e d ata b a s e o f c u s t o m e r d ata c o n tai n i ng t h ei r prop e r tie s a n d p a s t bu y i ng r ec ord s . · B i o l og y : C l a ss i f icati o n o f p la n t s a n d a n i m a l s g i v e n t h ei r f ea t u r e s g i v e n . · L i br a r ie s : Boo k ord e r i n g · I n s u r a n ce: Id e n t i f y i n g g ro u p s o f m o t or i n s u r a n c e po lic y h o l d e r s w i t h a h i gh a v e r a g e cla i m c o s t f r a u d s . · C i t y- p l a n n i n g : Id e n t i f y g ro u p s o f h o u s e s acc ord i ng t o t h ei r h ou s e t y p e , v a l u e a n d g e o g r a p h ical l o cati o n . · E a r t h q u a k e s t u d ie s : C l u s te r i n g ob s e r v e d ea r t h q u a k e e p ice n te r s t o i d e n t i f y d a ng e r o u s z o n e s a n d · WWW : D o c u m e n t c la s s i f ic a t i o n , cl u s te r i n g w e b l og d ata t o d i s c o v e r g ro u p s o f s i m ila r acce ss p atte r n s . T h e r e s t o f t h i s p a p e r i s or g a n ize d a s f o ll o w s : s ecti on II d e s c r i b e s t h r ee d i f f e r e n t D i s t a n ce fu n cti on s , E x e c u ti o n T i m e m e t h od a n d t h e c l u s te r i n g al g or it h m s v iz . f or K - M ea n s , W ei gh te d K - M ea n s a n d P ropo s e d K - M ea n s C l u s te r i ng al g or it h m s h a v e b e e n s t u d ie d a n d i m p l e m e n te d . Sec t i o n I I I pr e s e n t s t h e e x p e r i m e n tal a n a l y s i s c o n d u cte d o n v a r i ou s d ata s et s o f U C I d ata r e po s it or y a n d s ecti o n I V c o n c l u d e s t h e p a p e r . II. P a r t i t i o n a l C l u s ter i n g A l go r i t h m s A. K - M e a n s Al go ri t h m T h e K - M e a n s [2] a l g or it h m i s a n ite r at i v e pro ce d u r e f o r cl u s te r i n g w h i c h r e q u i r e s a n i n itia l cla s s i f icati o n of d ata . I t c o m p u te s t h e ce n te r o f ea c h cl u s te r, a n d t h e n c o m p u te s n e w p a r titi o n s b y a s s i g n i ng e v e r y ob j ect t o t h e cl u s te r w h o s e ce n te r i s t h e cl o s e s t t o t h at o b j ect . T h i s c y cle i s r e p eate d d u r i n g a g i v e n nu m b e r o f it e r ati o n s or u n til t h e a s s i g n m e n t h a s n o t c h a n g e d d u r i ng o n e i t e r ati o n . T h i s al g or it h m i s b a s e d o n a n a ppro ac h w h e r e a r a n d o m s et o f c l u s te r b a s e i s s electe d f r o m t h e or i g i n a l d ata s et , a n d ea c h el e m e n t u pd a t e t h e n ea r e s t e l e m e n t o f t h e b a s e w i t h t h e a v e r a g e o f i t s att r i b u te s . T h e K - M e a n s i s p o ss i b l y t h e m o s t c o m m o n l y -u s e d cl u s te r i n g a l g or it h m . I t i s m o s t e f f ect i v e f or r elat i v e l y s m al l e r d ata s et s . T h e K - M e a n s f i n d s a l o cal l y op t i m al s o l u ti o n b y m i n i m iz i ng a d i s t a n ce m e a s u r e b e t w ee n ea c h d ata a n d i t s n ea r e s t c l u s te r c e n te r. T h e b a s ic K - M e a n s al g or i t hm i s c o mm o n l y m e a s u r e d b y a n y o f i n t r a - c l u s te r or i n te r - c l u s t e r c r ite r i o n . A t y p ical i n t r a - cl u s t e r c r ite r i o n i s t h e s q u a r e d - e r r o r c r ite r i o n . I t i s t h e m o s t c o m mo n l y u s e d a n d a g ood m ea s u r e o f t h e w i t h i n - c l u s te r v a r iati o n ac ro ss all t h e p a r titi on s . T h e pro ce ss ite r ate s t h rou gh t h e f o ll o w i n g s te p s: · A ss i gn m e n t o f d ata t o r e pr e s e n tat i v e ce n te r s u pon m i n i m u m d i s t a n ce a n d · C o m pu tati o n o f t h e n e w cl u s t e r ce n te r s . K - M e a n s c l u s te r i n g i s c o m p u tati o n al l y e f f ici e n t f or la r g e d ata s et s w i t h bo t h nu m e r ic a nd cate g or ical [ 3] att r i b u te s . 1) W o rkin g P rincipl e T h e K - M ea n s [9] al g or it h m w ork s a s f o ll o w s . Fi r s t , i t ite r ati v e l y s elect s k of t h e o b j ect s , eac h of w h ic h i n itial l y r e pr e s e n t s a c l u s te r m e a n or c e n te r. F or eac h o f t h e r e m a i n i n g o b j ect s , a n o b j ect i s a ss i gn e d t o t h e cl u s te r t o w h ic h it i s t h e m o s t s i m i la r, b a s e d o n t h e d i s ta n ce b e t w e e n t h e ob j ect a n d t h e c l u s te r m e a n . I t t h e n c o m p u t e s t h e n e w m ea n f or e a c h cl u s te r. T h i s pro ce ss ite r at e s u n til t h e c r ite r i o n fu n cti o n c o nv e r g e s . T y p ical l y , t h e E u c l i d ea n d i s ta n ce i s u s e d . Al go ri t h m 1: K- M e a ns 1. I ni t i a lize t he n u m ber of clu s t er s k . 2. R a nd o m l y s elec t in g t he cen t r o id s in t he g i v en d ata s e t ( . 3. C o m pu t e t he di s ta nce be t w een t he cen t r o id s a nd o b j ec t s u s in g t he E u c lide a n Di s ta nce equ at i o n . 4. Upd at e t he cen t r o id s . 5. S to p t he pr o ce ss w hen t he n e w cen t r o id s a re ne a rer t o o ld o ne . Ot her w i s e , go t o s t ep -3 . B. Wei g h t ed K- M e a n s Clu s t er i n g Al go ri t h m W ei gh te d K - M e a n s [9] al g or it h m i s o n e o f t h e c l u s te r i ng al g or it h m s , b a s e d o n t h e K - M ea n s a l g or it h m cal c u lat i n g w i t h w e i g h t s . T h i s al g or i t h m i s s a m e a s n o r m a l K - M e a n s al g or it h m j u s t a dd i ng w i t h w e i gh t s . W ei g h te d K - M e a n s att e m p t s t o d ec o m po s e a s et o f o b j ect s i n t o a s et o f d i s j o i n t cl u s te r s ta k i n g i n t o c on s i d e r ati o n t h e f act t h a t t h e nu m e r ic a l att r i b u te s o f ob j ect s i n t h e s et o f te n do n o t c o m e f r o m i n d e p e n d e n t i d e n tical n o r m al d i s t r i b u ti o n . W ei g h te d K- M ea n s a l g or i t h m s a r e ite r at i v e a n d u s e h il l - cl i m b i n g t o f i nd a n op t i m al s o l u t i o n ( cl u s te r i ng ) a n d t hu s u s u a ll y g i v e s c o nv e r g e t o a l o cal m i n i m u m . Fi r s t , cal c u lat e t h e w e i g h t s f or t h e c orr e s po n d i n g ce n t ro i d s i n t h e d ata s et a nd t h e n cal c u late t h e d i s t a n c e b e t w e e n t h e ob j ect a n d t h e c e n t ro i d w it h t h e w e i g h t s o f t h e ce n t ro i d s . T h i s m e t h od i s c alle d t h e W ei g h te d K - M e a n s al g or it h m . I n t h e W e i g h te d K - M e a n s a l g or it h m t h e w e i g h t s c a n b e cla ss i f ie d i n t o t w o t y p e s a s f o ll o w s . · D y n a m ic Wei g h t s: I n t h e d yn a m ic w e i g h t s , t h e w e i g h t s a r e d ete r m i n e d d u r i n g t h e e x ec u ti o n t i m e w h ic h c a n b e c h a ng e d at r u n t i m e . · S tat ic Wei g h t s: I n t h e s tati c w e i gh t s , t h e w e i g h t s a r e n o t c h a n g e d d u r i n g t h e r un t i m e. 2) W o rkin g P rincipl e T h e W ei gh te d K - M e a n s [9] al g or it h m w o r k s a s d e f i n e d b el o w . Fi r s t , it ite r ati v e l y s e l ect s K o f t h e ob j ect s , eac h o f w h i c h i n iti a l l y r e pr e s e n t s a cl u s te r m e a n or ce n te r. I n t h e s elect i n g ce n t ro i d s w e cal c u late t h e w e i gh t s u s i n g t h e W ei gh te d K -M ea n s al g or it h m . F or eac h o f t h e r e m a i n i ng o b j ect s , a n o b j ect i s a ss i gn e d t o t h e cl u s te r t o w h ic h it i s t h e m o s t s i m ila r, b a s e d o n t h e d i s ta n ce b e t w ee n ob j ect s a n d ce n t ro i d s w i t h w e i g h t s o f t h e c orr e s po n d i ng ob j ect . I t t h e n c o m p u te s t h e n e w m e a n f or e a c h cl u s te r. T h i s pro ce ss ite r at e s un t il t h e c r ite r i o n f u n cti o n c o nv e r g e . T y p ical l y , t h e E u cli d ea n d i s t a n ce i s u s e d i n t h e cl u s te r i n g pro ce ss . I n t h e E u cli d ea n d i s ta n ce , w e c a n calc u late t h e D yn a m ic w e i gh t s b a s e d o n t h e p a r tic u la r ce n t ro i d s . C alc u late t h e S u m a n d w h e r e j = 1 , 2 , … , n . i s c orr e s po n d i ng w e i g h t v ect o r t o t he U s i n g t h i s e q u ati o n w e ca n calc u late t h e d i s ta n ce b e t w e e n t h e ce n t ro i d s a n d t h e w e i gh t s . T h e w ei g h te d K - M ea n s cl u s te r i n g al g or i t h m s a r e e x p lai n e d i n t h e f o ll o w i n g s e cti o n . I n t h e s ta t ic w e i g h te d K- M ea n s , t h e w e i g h t i s f i x e d 1 . 5 a s c o n s ta n t b u t t h e d yn a m i c w e i g h t i s cal c u late d b y t h e a bo v e e q u ati on a n d t h e w e i g h t e d K - M e a n s c l u s te r i n g al g or i t h m i s e x p la i n e d i n a l g or it h m 2 . Al go ri t h m 2: Wei g h t ed K- M e a n s S t ep s : 1. I ni t i a lize t he n u m ber of clu s t er s k . 2. R a nd o m l y s elec t in g t he cen t r o id s ( in t he d ata s e t. 3. C a lcul at in g t he w ei g h t s of t he c o rre s p o ndin g cen t r o ids ). 4. C a lcul at e S u m a nd w here j = 1 , 2 … n . Where i s c o rre s p o n din g w ei g h t v ec to r to t he . 5. F ind t he di s ta nce be t w een t h e cen t r o id s u s i n g t he E ucl i de a n Di s ta nce equ at i o n d ij = 6. Upd at e t he cen t r o id s S to p t h e pr o ce ss w hen t he ne w cen t r o id s a re ne a rer t o o ld o ne . Ot her w i s e , go t o s t ep -4. C. P r o p o s ed K - M e a n s I n t h e propo s e d m e t h od , f i r s t , it d ete r m i n e s t h e i n i t ial c l u s te r ce n t ro i d s b y u s i n g t h e e qu ati o n w h i c h i s g i v e n i n t h e f o ll o w i n g a l g or it h m 3 . T h e P ropo s e d K - M ea n s al g or i t h m i s i m pro v e d b y s elect i n g t h e i n i t ial ce n t ro i d s m a nu a l l y i n s tea d o f s elect i n g ce n t ro i d s b y r a ndo m l y . I t s elec t s ‘ K ’ ob j ect s a n d eac h o f w h i c h i n iti a l l y r e pr e s e n t s a c l u s te r m ea n or ce n t ro i d s . F or eac h of t h e r e m a i n i n g ob j ect s , a n ob j ect i s a ss i gn e d t o t h e cl u s te r t o w h i c h it i s t h e m o s t s i m ila r b a s e d o n t h e d i s ta n ce b e t w e e n t h e ob j ect a nd t h e cl u s te r m e a n . I t t h e n c o m p u t e s t h e n e w m e a n f or eac h cl u s te r. T h i s pro ce ss ite r ate s un t il t h e c r ite r i o n f un cti o n c on v e r g e s . In t h i s p a p e r t h e P ropo s e d K - M ea n s a l g or it h m i s i m p l e m e n te d i n s tea d of t r a d iti o n al K - M e a n s a s e x p la i n e d i n t h e al g or i t h m 3. Al go ri t h m 3: P r o p o s ed K- M e a n s S t ep s : 1. U s i n g E u cli d e a n d i s t a n ce a s a d i ss i m ila r i t y m ea s u r e , c o m p u te t h e d i s t a n ce b e t w e e n e v e r y p ai r o f all o b j ect s a s f o ll o w . 2. C alc u late M ij t o m a k e a n i n it i al gu e ss at t he c e n t r e s o f t h e c l u s te r s 3. C alc u late (3) a t eac h o b j ect a n d s or t t h e m i n a s ce n d i ng ord e r. 4. Select K ob j ect s h a v i ng t h e m i n i m u m va lue a s i n itial c l u s te r ce n t ro i d s w h i c h a r e d ete r m i n e d b y t h e a bo v e e q u ati o n . A rb it r a r i l y c h oo s e k d ata po i n t s f r o m D a s i n iti a l ce n t ro i d s. 5. A ss i g n eac h po i n t d i t o t h e cl u s te r w h i c h h a s t h e cl o s e s t ce n t ro i d. 6. C alc u late t h e n e w m ea n f or eac h cl u s te r. 7. Repe at s t ep 5 a nd s t ep 6 u n t i l c o n v er g ence c r ite r ia i s m et . D. Clu s t er va lidi ty M e a s ure M a n y c r ite r ia h a v e b ee n d e v el op e d f or d ete r m i n i ng cl u s te r v ali d i t y all o f w h ic h h a v e a c o mm o n g o al t o f i n d t h e cl u s te r i n g w h i c h r e s u l t s i n c o m p act c l u s te r s w h i c h a r e w ell s e p a r ate d . C l u s te r i ng v a li d i t y i s a c o n ce p t t h at i s u s e d t o e v al u a te t h e q u a l i t y o f cl u s te r i ng r e s u l t s . T h e cl u s te r i n g v ali d i t y i n d e x m a y al s o b e u s e d t o f i n d t h e op t i m al n u m b e r of cl u s te r s a n d m e a s u r e t h e c o m p ac t n e s s a n d s e p a r ati o n o f cl u s te r s . 1) D av ie s - Bo uldin I nd ex I n t h i s p a p e r, DAV I S B O U L D IN i n d e x [1 a n d 6] h a s b ee n c h o s e n a s t h e cl u s te r v ali d i t y m ea s u r e b eca u s e it h a s b ee n s h o w n t o b e a b le t o d etect t h e c orr ect n u m b e r of cl u s te r s i n s e v e r al e x p e r i m e n t s . Da v i s Bo u l d i n v ali d i t y i s t h e c o m b i n ati o n o f t w o fu n c ti o n s . Fi r s t , calc u lat e s t h e c o m p ac t n e s s o f d ata i n t h e s a m e c l u s te r a n d t h e s ec o n d , c o m p u te s t h e s e p a r at e n e ss o f d ata i n d i f f e r e n t c l u s te r s . T h i s i n d e x ( D a v ie s a n d Bo u l d i n , 1979 ) i s a f u n cti o n o f t h e r ati o o f t h e s u m o f w i t h i n - c l u s te r s catte r t o b e t w e e n- cl u s te r s e p a r ati o n . I f dp i i s t h e d i s p e r s i o n o f t h e c l u s te r P i , a n d dv ij d e n o te s t h e d i s s i m ila r i t y b e t w ee n t w o c l u s te r s P i a nd P j , t h e n a c l u s te r s i m i la r i t y m at r i x F R = { FR ij , ( i , j ) = 1 . 2 … .. C } i s d e f i n e d a s : T h e d i s p e r s i o n dp i ca n b e s ee n a s a m e a s u r e o f t h e r a d i u s o f P i , W h e r e n i i s t h e n u m b e r o f ob j ect s i n t h e i th cl u s te r. V i i s t h e c e n t ro i d o f t h e i th c l u s te r . dv ij d e s c r i b e s t h e d i ss i m ila r i t y b e t w e e n P i a n d P j , T h e c orr e s p o n d i ng D B i n d e x i s d e f i n e d a s : c i s t h e n u m b e r o f c l u s te r. H e n ce t h e r ati o i s s m all i f t h e cl u s te r s a r e c o m p act a n d f a r f r o m eac h o t h e r. C on s e q u e n t l y Da v ie s - Bo u l d i n i n d e x w ill h a v e a s m a ll v al u e f or a g ood cl u s te r i n g . E. Di s ta nce M e a s ures M a n y c l u s te r i n g m e t h od s u s e d i s ta n ce m ea s u r e s [7] t o d ete r m i n e t h e s i m i la r i t y or d i ss i m ila r i t y b e t w ee n a n y p ai r of o b j ect s . I t i s u s e f u l t o d e no te t h e d i s ta n ce b e t w ee n t w o i n s t a n ce s x i a n d x j a s : d ( x i , x j ). A v ali d d i s t a n ce m e a s ur e s h ou l d b e s ym m et r ic a n d ob tai n s it s m i n i m u m v a l u e ( u s u al l y ze ro) i n ca s e o f i d e n tical v ec t or s . T h e d i s ta n ce f un c ti on s a r e cla ss i f ie d i n t o 3 t y p e s . 1) Ma nh atta n Di s ta nce T h e M i nk o w s k i d i s t a n ce or t h e L 1 di s ta nce i s calle d t h e M a nh a tta n d i s t a n ce [5] a n d i s d e s c r i b e d i n t h e b el o w e q u ati o n . I t i s al s o k n o w n a s t h e Ci t y B l o c k d i s ta nce . T h i s m et r ic a s s u m e s t h a t i n g o i n g f r o m o n e p i x el t o t h e o t h e r, it i s o n l y po ss i b le t o t r a v el d i r ectl y a l o ng p i x el g r i d li n e s . Di a g on al m o v e s a r e n o t all o w e d . 2) E ucl i di a n Di s ta nce [5] T h i s i s t h e m o s t f a m ilia r d i s ta n c e t h a t w e u s e . T o f i n d t h e s h or te s t d i s t a n ce b e t w e e n t w o po i n t s ( x 1 , y 1 ) a n d ( x 2 , y 2 ) i n a t w o d i m e n s i o n al s p ace t h at i s 3) Cheb y s he v D i s ta nce T h e C h e b y s h e v [10] d i s t a n ce b e t w e e n t w o v ect or s o r po i n t s p a n d q , w i t h s t a n d a rd c oord i n ate s p i a n d q i , r e s p ecti v e l y . III. E X P E R I M E N T A L AN A L Y S I S A N D D I SC U SS I ON T h i s s ecti o n d e s c r i b e s , t h e d a ta s et s u s e d t o a n a l y ze t h e m e t h od s s t u d ie d i n s ec t i o n s II a n d III, w h i c h a r e a rr a n g e d i n t h e f o r m o f a li s t i n T a b le 1 . A. D ata s e t s 1) I ri s T h e i r i s d ata s e t c o n ta i n s t h e i n f o r m a t i o n a bo u t t h e i r i s f l o w e r. T h e d ata s et c o n t ai n s 150 s a m p l e s w i t h f o u r att r i b u te s . T h e d ata s et i s c o llecte d f ro m t h e l o cati o n w h i c h i s g i v e n i n t h e l i n k . h tt p : // a rchi v e . ic s . uci . ed u/ m l/ m a c hin e- le a rnin g- d ata b a s e s /iri s / ir i s . d ata 2) E c o l i T h e E c o li d ata s et c o n tai n s pro tei n l o calizati o n s it e s h a v i n g 350 s a m p le s w i t h 8 att r i b u te s . T h e d ata s et i s c o llect e d f r o m t h e l o cati o n w h i c h i s g i v e n i n t h e l i n k . h tt p : // a rchi v e . ic s . uci . ed u/ m l / m a c h ine - le a rnin g- d ata b a s es /ec o li/ec o li . d ata 3) Ye a s t T h e y e a s t d ata s et c o n ta i n s 14 0 0 s a m p le s w i t h 8 att r i b u t e s . T h e d ata s et i s c o llecte d f r o m t h e l o cati o n w h i c h i s g i v e n i n t h e l i nk . h tt p : // a rchi v e . ic s . uci . edu / m l / m a ch i ne - le a rning - d ata b a s e s / y e a s t / y e a s t. d ata 4) Win e T h e d ata s et c o n tai n s t h e i n f or m ati o n a bo u t t o d ete r m i n e t h e or i g i n o f w i n e s . I t c o n ta i n s 200 s a m p le s w i t h 13 att r i bu t e s a n d t h e d ata s e t i s c o llecte d f r o m t h e l o cati o n w h i c h i s g i v e n i n t h e l i nk . h tt p : // a rchi v e . ic s . uci . edu / m l / m a ch i ne - le a rning - d ata b a s e s / y e a s t / w ine . d ata B. C o m p a r at i v e S t ud y a nd P er fo r m a nce a n a l y s i s T h e f o u r cl u s te r i n g al g or i t h m s a r e K - M e a n s , S tati c W ei gh te d K - M e a ns ( SW K - M e a n s ), D y n a m ic W e i gh te d K- M ea n s ( DW K- M e a n s) a n d P r o p o s ed K- M e a ns t h at a r e u s e d t o cl u s te r i n g t h e d ata s e t s . T o acce ss t h e q u ali t y o f t h e cl u s te r s , t h e D a v i s Bo u l d i n m ea s u r e h a s b ee n u s e d . 1) P er fo r m a nce of Di s ta nce f u n c t i o n s T h e K - M ea n s cl u s te r i n g m e t h od i s e x e c u te d b y t h r ee d i ff e r e n t d i s t a n ce f u n cti o n s a r e M a nh a t ta n , E u cli d ea n a nd c h e b y s h e v w it h i r i s d ata s et a r e u s e d a n d s elect t h e ce n t ro i d v al u e ( K ) f r o m 2 t o 10 . T h e o b tai n e d r e s u l t s a r e li s te d i n t h e ta b le I g i v e n b el o w . T A B L E I. D i s t a n c e F un c t io n s S . No C l u s t er s D i s t a n c e F un c t io n s M a n h at t a n Euc li d e a n Ch e b y s he v 1 2 0 . 5 10 0 . 5 24 0 . 6 58 2 3 0 . 6 53 0 . 4 16 0 . 5 48 3 4 0 . 7 58 0 . 6 34 0 . 8 11 4 5 0 . 9 12 0 . 5 89 0 . 9 87 5 6 0 . 9 33 0 . 7 12 1 . 0 23 6 7 0 . 8 47 0 . 6 89 0 . 9 56 7 8 0 . 9 35 0 . 8 81 1 . 0 95 8 9 0 . 8 74 0 . 6 43 0 . 9 12 9 1 0 0 . 9 01 0 . 7 73 0 . 8 45 F ig u r e 4 . D i s t a n ce f un c t io n s a n a l y s i s c h a r t f o r K -M e a n s F r o m t h e f i g u r e 4 s h o w s t h at , t h e v a r i o u s d i s t a n ce f u n cti o n s f or K -M ea n s a r e s t u d ie d a n d c o m p a r e d w it h t h e d ata s et “ E c o li” . T h e K - M e a n s cl u s te r i n g m et h od s a r e e x ec u te d w i t h v a r y i ng c l u s te r ce n t ro i d s K f r o m 2 t o 10 w i t h t h e d ata s et . I t clea r l y s h o w s t h at t h e E u cli d ea n d i s ta n c e f u n cti o n ob tai n e d t h e m i n i m u m i n d e x v a l u e s f or m o s t o f t h e d i ff e r e n t cl u s te r s v a l u e s . He n ce t h e E u cli d e a n d i s ta n c e f u n cti o n i s b ette r f or cl u s t e r i ng a l g or it h m s t h a n o t h e r d i s ta n ce f u n cti o n s . 2) P er fo r m a nce of Clu s t erin g Al go ri t h m s T h e f o u r al g or i t h m s a r e s t u d i e d i n t h e s ecti o n II w h i c h a r e i m p l e m e n te d b y t h e s o f t w a r e M A TL A B 20 1 2 ( a ). A ll t h e m e t h od s a r e e x e c u te d a n d c o m p a r e d b y E c o li , Ir i s , Ye a s t a n d W i n e d ata s et . T h e D a v i s Bou l d i n i n d e x i s u s e d t o d ete r m i n e t h e p e r f o r m a n ce o f t h e cl u s te r i ng a l g or it h m s . T h e r e s u lt s a r e ob tai n e d f r o m t h e v a r i ou s c l u s te r i n g al g or i t h m s a n d a r e li s t e d i n t h e T a b le II b el o w . T A B L E I I. D a v i s B o u l d i n i nd e x a n a ly s i s S . No D a t a s e t D a v i s B o u l d i n I n d e x K- Me a n s S t a t i c We i g h t K- Me a n s D yn a m i c We i g h t K-M e a n s P r op o s e d K-M e a n s 1 E c oli 0 . 7 1 0 . 9 5 0 . 8 4 0 . 6 5 2 I r i s 0 . 6 5 0 . 4 9 0 . 5 3 0 . 7 3 3 Y e a s t 0 . 8 6 0 . 7 9 0 . 8 4 0 . 6 6 4 W in e 0 . 5 5 0 . 7 4 0 . 6 8 0 . 4 5 F ig u r e 3 . C l u s t e r i n g m e th o d s c h a r t f o r v a r io u s d a t a s e t F r o m t h e f i g u r e 3 s h o w s t h at , t h e f o u r cl u s te r i ng al g or it h m s a r e e x e c u te d b y t h e f o u r d i f f e r e n t d at a s e t call e d E c o li , I r i s , Ye a s t, Wine w i t h t h e c o n s t a n t C l u s te r C e n t r o i d ( K ) w h o s e v a l u e i s 5 . T h e pr o po s e d K - M ea n s al g or i t h m ob tai n e d t h e m i n i m u m D B i nd e x v al u e s f or t h e E c o li , W i n e d ata s et al s o ob tai n e d n e x t m i n i m u m i n d e x w h ic h i s m o r e t h a n t h at o f o t h e r al g or i t h m . He n ce t h e propo s e d K - M ea n s cl u s te r i n g al g or i t h m ob ta i n e d g ood cl u s te r i n g r e s u l t s . 3) Ex e c u t i o n T i m e M e a s ur e Di f f e r e n t C l u s te r i n g al g or i t h m s a r e c o m p a r e d f or t h ei r p e r f or m a n ce s u s i n g t h e t i m e r e q u i r e d t o cl u s te r t h e d ata s e t . T h e e x ec u ti o n ti m e i s v a r y i n g w h ile s e lecti n g t h e nu m b e r of i n itia l c l u s te r c e n t ro i d s . T h e e x e c u ti on t i m e i s i n c r ea s e d w h e n t h e n u m b e r o f c l u s t e r ce n t ro i d i s i n c r ea s e d . T h e ob tai n e d r e s u lt s a r e d e p icte d i n t h e f o ll o w i ng T a b le II I T A B L E II I. E x ec ut i o n Ti m e S . No C l u s t e r E x ec ut i o n Ti m e ( i n s ec ) K- Me a n s S t a t i c We i g h t K- Me a n s D yn a m i c We i g h t K- Me a n s Ref i n e d K- Me a n s 1 3 1 . 5 4 1 . 6 6 1 . 4 5 1 . 3 1 2 6 1 . 9 5 2 . 8 7 2 . 2 8 2 . 0 5 3 9 3 . 7 8 4 . 1 5 3 . 9 4 3 . 4 5 4 1 2 4 . 4 5 5 . 1 2 4 . 1 8 3 . 9 4 5 1 5 5 . 7 6 . 4 5 5 . 4 8 4 . 7 1 F ig u r e 5 . E x ec u t io n T i m e c h a r t f o r c l u s t e r i n g a l g o r i th ms F r o m t h e f i g u r e 5 s h o w s t h at , t h e p e r f o r m a n ce o f t h e f o u r cl u s te r i n g al g or i t h m s a r e e x e c u te d b y t h e Ir i s d ata s et w i t h v a r y i n g t h e cl u s te r c e n t ro i d s f r o m 3 t o 15 . T h e pro p o s e d K- M ea n s a l g or i t h m ob tai n e d t h e m i n i m u m e x e c u ti o n t i m e fo r m o s t o f t h e cl u s te r i n g ce n t ro i d s . T h e S W K - M ea n s cl u s te r i ng al g or it h m do e s n o t prod u ce m i n i m u m e x e c u ti o n ti m e f or all v a r i o u s K v a l u e s , b u t t h e o t h e r t w o a l g or i t h m s prod u ce m i n i m u m e x e c u ti o n t i m e f or s o m e K ce n t ro i d s v a l u e s . He n c e t h e propo s e d K - M ea n s cl u s t e r i ng e x e c u te d i n t h e m i n i m u m e x ec u t i o n t i m e a n d p e r f o r m e d b ette r t h a n o t h e r 3 al g or i t h m s . 4) I t er at i o n C o un t An a l y s i s T h e f o u r C l u s te r i ng al g or i t h m s a r e c o m p a r e d f or t h e i r p e r f or m a n c e u s i ng I te r ati o n c o un t m e t h od w i t h t h e W i n e d ata s et . T h e I te r ati o n c o un t i s d e f i n e d a s t h at t h e n u m b e r of t i m e s t h e c l u s te r i n g a l g or it h m i s e x ec u te d u n til t h e c o nv e r g e n ce c r ite r ia i s m et . T h e cl u s te r ce n t r e s a r e i n c r ea s e d eac h t i m e b y 3 a n d t h e nu m b e r o f ite r a t i o n s f or eac h cl u s te r i n g a l g or it h m s a r e ob t ai n e d a n d l i s te d i n t h e b el o w T a b le I V . T A B L E I V. I t er a t io n c o unt Ana l y s i s S . No C l u s t e r I t er a t io n Le v e l K- M e a n s S t a ti c W e ig h t K - M e a n s D y n a m ic W e ig h t K - M e a n s Pr o po s e d K - M e a n s 1 2 8 7 1 1 6 2 3 6 8 5 7 3 4 1 4 1 8 1 5 9 4 5 9 1 3 1 1 8 5 6 4 8 1 1 6 6 7 1 5 1 3 1 7 1 1 7 8 1 3 1 0 1 5 6 8 9 7 6 1 1 1 0 9 1 0 1 4 1 7 1 4 8 F ig u r e 6 . I t e r a t i o n l e v el s c h a r t f o r C l u s t e r i n g A l go ri th m s F r o m t h e f i g u r e 6 , t h e ite r ati o n le v el s a r e i d e n t i f ie d b y t h e f o u r a l g or it h m s b y s e tt i ng t h e cl u s te r ce n t ro i d f r o m 2 t o 10 w i t h t h e y ea s t d ata s et . T h e K -M ea n s a n d propo s e d K -M ea n s cl u s te r i n g m e t h od s p e r f o r m e d w ell i n m i n i m u m ite r ati on s . T h e P r opo s e d K - M ea n s m e t h od p e r f or m e d b ette r t h a n K- M ea n s f or m o s t o f t h e C l u s te r i ng c e n t ro i d s ( K ) v a l u e s . I V. C O NC L U S I O N I n t h i s p a p e r, t h e f o u r d i f f e r e n t C l u s te r i n g m e t h od s i n t h e P a r titi o n al cl u s te r i ng a r e s t ud ie d b y a pp l y i n g t h e K - M e a n s al g or it h m w i t h t h r ee d i ff e r e n t d i s ta n c e f u n cti o n s t o f i n d t h e op ti m a l d i s t a n ce f u n cti o n f or cl u s te r i n g pro ce ss . O n e o f t h e d e m e r i t s o f K - M e a n s al g or i t h m i s r a n d o m s electi o n o f i n it i al ce n t ro i d s o f d e s i r e d cl u s te r s . T h i s w a s o v e r c o m e b y propo s e d K - M e a n s w i t h i n i t ial cl u s te r ce n t ro i d s electi o n pro ce ss f or f i n d i n g t h e i n itial c e n t ro i d s t o a v o i d t h e s e lect i ng c e n t ro i d s r a n d o m l y a n d it pr o d u ce s d i s ti n c t b ette r r e s u lt s . T h e f o u r cl u s te r i n g al g or i t h m s a r e e x e c u te d w it h f o u r d i f f e r e n t d ata s et b u t t h e P ropo s e d K - M ea n s m e t h od p e r f or m s v e r y w e l l a n d ob tai n s m i n i m u m D B i n d e x v al u e . T h e E x e c u ti on t i m e a n d ite r ati o n c ou n t i s c o m p a r e d wit h t h e f o u r d i f f e r e n t c l u s te r i ng al g or it h m s a n d d i f f e r e n t c l u s te r v a l u e s . T h e P ro p o s e d K- M ea n s a c h i e v e d le ss e x ec u ti o n t i m e a n d m i n i m u m ite r ati o n c o un t t h a n K - M ea n s , Stati c W ei gh te d K - M e a n s ( SW K- M e a ns ), a n d D yn a m ic W ei g h te d K - M e a n s ( DW K- M e a ns ) cl u s te r i n g m e t h od s . T h e r e for e , t h e propo s e d K - M e a n s cl u s te r i n g m e t h od ca n b e a pp lie d i n t h e a pp licati on a r ea a nd v a r i o u s c l u s te r v ali d i t y m ea s ur e s ca n b e u s e d t o i m pro v e t h e cl u s te r p e r f o r m a n ce i n o u r f u t u r e w o r k . R E F E R E N C E S [1] D a v i e s & B o u l din , 1 9 7 9 . D a v i e s , D . L ., B o u l d i n , D . W ., ( 20 00 ) “ A c l u s t e r s e p a r a ti o n m e a s u r e .” I EEE T r a n s . P a t t e r n A n a l . M a c h in e I nt e l l ., 1 ( 4 ) , 2 2 4 - 22 7 . [ 2] H A R T I GAN , J . a n d W ON G , M . 1 979 . A l g o r ith m A S 1 3 6 : “ A k- m e a n s c l u s t e r in g a lgo r ith m ”. A pp l i e d S t a ti s t i c s , 2 8 , 10 0 - 1 0 8 . [ 3] H EE R , J . a n d C H I , E . 2 00 1 . “ I d e nti f i ca t i o n o f W e b u s e r t r a ff ic c o m p o s i ti on u s i n g m u lt i m od a l c l u s t e r in g a n d in f o r m a ti on s c e n t . ”, 1 s t S IA M I C D M , W o r k s h op o n W e b M i n i n g , 5 1 - 5 8 , C h i ca go , I L . [ 4] J A I N A . K , M U R T Y M . N . A nd F L Y NN P . J . D ata C lu s te r i ng : A R e v i e w A C M C o mp u ti ng Su r v e ys , V ol . 31 , No . 3 , S e p te m b e r 1 99 9 . [ 5] M a le q K h a n - F a s t D i s t a n c e M e t r ic Ba s e d D a t a M i n in g T e c hn i qu e s U s i n g P- t r ee s : k -N e a r e s t -N e i g hb o r C l a ss i f ic a ti o n a n d k - C l u s t e r in g . [ 6] M a r ia H al ki di , Y a n ni s B a t i s t a k i s , a nd M i c h a l i s V a r z i r g ia n ni s , ' O n c l u s t e r in g v a l id a t i o n t e c h ni q u es ' , J ou r n al of I n t e l l i g e nt I n f o r ma t i o n S y s t e ms , 1 7 ( 2 -3 ) , 1 07 – 145 , ( 2 001 ) . [ 7] R o k a c h L O M ai m o n - D at a m in i ng a n d k n owl e d g e di s c ov e r y h a n d b oo k , 20 0 5 – S p r in g e r . [ 8] S a u r a v j o y ti S a r m a h a n d D h r u b a K . B h at t a c h a r y y a. M a y 2 0 1 0 “ A n E ff e cti v e T e c hn iq u e f o r C lu s t e r in g I n c r e m e nt a l G e n e E x p r e ss i o n d a t a ”, I J C S I I nt e r n ati o n a l J o u r n a l o f C o m p u t e r S ci e n c e I ss u e s , Vo l . 7 , I ss u e 3 , No . 3 . [ 9] T h a n g a du r ai , K . e .a. 2 0 1 0 . A S tu d y O n R o u g h C l u s t e r in g . I n «Glo b a l J o u r n a l o f C o m put e r S ci e n c e a nd T e c hn olo g y » , V ol . 10 , I ss u e 5 . [ 10] h t tp :/ / e n . w i k ip e d i a . o r g / w iki / C h e b y s h e v _di s t a n ce