Une approche modulaire probabiliste pour le routage `a Qualite de Service integree

Une approche modulaire probabiliste pour le routage à QdS intégrée. Said Hoceini, Abdelhamid Mellouk, Hayet Hafi LiSSi, IUT Créteil-Vitry, Université Paris XII 122 rue Paul Armangot Vitry sur Seine 94400 France mellouk@univ-paris12.fr RESUME . Les techniques traditionnelles de routage sont de plus en plus mal adapteés aux réseaux actuels. En effet, leur manque de réactivité vis à vis de la nature du trafic et au ca- ractère variable des caractéristiques du réseau de transport les rendent souvent difficilement exploitables ou alors au prix d’un surdimensi onnement des ressources du réseau (bande pas- sante, mémoire tampon, charge CPU, etc.). L’objectif de cet article est de proposer un nou- veau modèle algorithmique perme ttant de traiter la problématique du routage adaptatif dans un réseau de communication à trafic irrégulier et fortement dynamique. Celui-ci intègre des critères de QdS aussi bien dy namiques que statiques. Un exemple d’utilisation d’un tel mo- dèle est donné ici : il repose sur l’apprentissage en continu des paramètres de routage, en particulier le temps bout-en-bout de remise des paquets l’état des files d’attente des routeurs. Les performances obtenues, comparativement aux approches classiques, sont très intéressan- tes dans le cas d’un trafic fortement dynamique. ABSTRACT. Due to emerging real -time and multimedia applications , efficient routing of in- formation packets in dynamically changing comm unication network requires that as the load levels, traffic patterns and topology of the network change, the routing policy also adapts. We focused in this paper on QoS based routing by developing a neuro-dynamic programming to construct dynamic state dependent routi ng policies. We propose an approach based on adap- tive algorithm for packet routing using reinforcement learning which optimizes two criter ia: cumulative cost path and end-to-end delay. Nume rical results obtained with OPNET simula- tor for different packet interarrival times statistic al distributions with different levels of traf- fic’s load show that the proposed approach gives better results compared to standard optimal path routing algorithms. MOTS-CLES. Routage multi chemins, Minimisa tion du délai de bout en bout, Routage avec QoS, Q-Routing, Apprenti ssage par renforcement. KEYWORDS. Multi path Routing, Min. end-to-e nd delay, QoS Routing, Q-Routing, Rein- forcement Learning. 2 Une approche modulaire probabiliste pour le routage à QdS intégrée 1. Introduction Le trafic dans les réseaux actuels se caract érise de plus en plus par des anomalies ayant pour conséquence des changements d’états imprévisibles dans le réseau [2] tout en nécessitant un t ransport garanti en terme de QdS. Il s’avère donc important de pouvoir s’adapter à la nature variabl e des paramètres d’un réseau ainsi qu’à la dynamicité des ressources disponibles. C’es t ainsi que les approches développées ces dernières années ne se contentent pa s seulement de manipuler des informat ions sur les plans de données, de contrôle et de gest ion, elles intègrent de plus en plus des connaissances, acquises ou apprises, sur diffé rents paramètres définissant l ’état du réseau : trafic, ressources, besoins, etc. L’objectif de cet article est de proposer un modèle de routage adaptati f capable de s’adapter aux conditions et à la natu re d’un trafic dynamique d’une part et à l’utilisation des ressources d u réseau d’autre part. 2. Le modèle proposé Le problème posé ici est la mise en œuvre d’un algorithme de routage multi- chemins. Soit le graph e G =(X, U) consi stant en un ensemble X avec |X| = N nœuds et un ensemble U avec |U|= M liens. Les nœuds représentent l es routeurs, commuta- teurs ou relais d’un réseau tandi s que les liens représentent les tuyaux de communi- cation (fibre optique, sans fil, etc.). Un lien spéci fique de l’ensemble U entre les nœuds u et v est notée (u, v) . Chaque lien (u, v) ∈ U est caratérisé par un vecteur W de paramètres de dimension m , tel que W(u,v)=[w 1 (u,v), w 2 (u,v),….., w m (u,v) ., où w m (u,v) ≥ 0 ∀ (u,v) ∈ U et les m composants se refèrent aux critèes de la QdS comme le délai, le coût, etc. Un chemin dans G est noté P(s, t) s’il relie le nœu d source s au nœud destinataire d . Les algorithmes de routage à QdS sont ceux qui calculent le chemin P , parmi les k chemins recherchés, optimisant une ou plusieurs contraintes liées à la QdS. Le vecteur L sera appelé vecteur de contraintes et les va- leurs L i mesurent les p aramètres de QdS fixés par l’utilisateur (ou l’ap plication). Les mesures de QdS sont de tro is types : additif (ex. délai), multiplicatif (ex . taux de perte) ou min-max (ex. bande passante minimum nécessaire à un flux). On parle alors de typologie de métriques [3]. Au vu des multiples métriques w i appelées à être optimisées, le problème du routage devient NP-complet dès qu’il s’agit d’optimiser deux critères (ou t ypes de critères) non corrélés à la fois [4]. Le modèl e que nous proposons, de complexité O(kNlog(kN)+k 2 mM), agit en deux étapes. Dans un premier temps, un ensemble de chemins potent iels est sélectionné au regard d’une fonction de coût à optimiser const ruite sur la base de critères statiques comme la bande passante, le nombre de sauts, le dél a i de bout en bout et le taux d’erreur (1). Coût statique = f (bande passante, nombre de sauts, délai, taux d’erreur, et c.) (1) Colloque Francophone sur l’Ingénierie des Protocoles (CFIP) 3 Ensuite, le flux est distribué su r l’ensemble des chemins potentiels et le taux d’utilisation d e chaque chemin est mis à jour en temps réel. Le coût de chaq ue chemin sélectionné dépend de l'évaluati on des critères dynamiques tel s que le taux d'acceptation, le taux de perte de paquet, le délai réel, la gigue, etc. Ceci exige éga- lement la défini tion d'une fonction de coût basée sur des critères dynamiques qui reste toujours un pr oblème d’optimisation mu lti-critères (2). Coût dynamique = f’(disponibilité, taux de perte de paquets, délai mesuré, gigue, bande passante mesurée, etc.) (2) Nous allons détailler dans la suite une application du modèle proposé. Elle consiste dans le développement d’ un algorithme basé sur un mécanisme d’apprentissage, issu du Q Learning, et permet tant d’optimis er deux type de critères de QdS : un critère statique (le coût du li e n) et un critère dynamique (le dél ai mesu- ré) 3. Application du modèle pour l’optimisation de deux critères : le coût et le dé- lai de bout-en-bout. Notre approch e algorithmique est b asée sur la technique du routage multi- chemins combiné avec le Q-Learning. L’espace d’exploration est réduit aux K meil- leurs chemins au sens de critères statiques qui peuvent être liés par exemple à la bande passante, au coût des liens, au déla i mesuré ou au taux de perte. Dans ce tra- vail, nous nous sommes focalisés sur la recherche des chemins minimisant deux cri- tères : le coût (pour des questions de simpl icité, nous considérons des coûts uni tai- res) et le délai de bout en bout. Pour ce fa ire, nous utilisons l'algorithme de Dijkstra généralisé [5] afin de trouver les K meilleurs chemins sur la base des coûts des liens. La répartition du trafic se fera ensuite su r l’ensemble de ces K chemins en fonction du meilleur temps d’acheminement de bout en bout, celui-ci étant calculé par le biais d’un mécanisme basé sur l’apprentissage par renforcement. L'algorithme de mise à jour des paramètres de routage repose sur une méthode hybride associant le principe de l'exploration avancée à chaque fois qu'un paquet de données est échangé entre routeurs, à celui de l'ex ploration pro babiliste permettant d'exp lorer les ( K -1 ) autres chemins sans surcharger le réseau. Pour résoudre le problème lié à l’e xploration du réseau dans la phase d’apprentissage, une solution intéressante consiste à introduire un mécanisme per- mettant l’expl oration régulière de tous les chemins. Pour notre approche, nous avons opté en premier lieu pour une explor ation probabiliste (version appelée KSPQR de l’algorithme). Elle permet une expl oration de temps à aut re des (K-1) chemins pré sélectionnés par le premier modul e. Elle c onsiste à assi gner arbitrairement une pro- babilité, que nous noterons P max , au chemin optimal, les (K-1) autres chemins auront une prob abilité équivalente à (1 - P max )/K . Une deuxième technique présentée dans cet article, appelée KOQRA, repose sur un cal cul adaptatif de la probabilité de dis- 4 Une approche modulaire probabiliste pour le routage à QdS intégrée tribution prenant en compte les paramètres qui influent sur l e choix du routeur : le délai estimé de bout en bout et le temps d’att ente au niveau du routeur (temps de sé- jour dans la file d’att ente). L’idée que nous proposons, issue de la théorie li ée à l’intelligence collec tive des colonies de fourmis, c onsiste à introduire une procédure adaptative de calcul de probabilités pour ch aque chemin, prenant en compte les deux paramètres définis précédemment. En ad aptant la valeur de la probabilité, il s’agit de permettre au routeur d’éviter d’envoyer un paquet sur une interface dont le routeur d’extrémité possède une file d’attent e saturée, même si le chemin dont ce dernier fait partie, présente le plus co urt délai. 4. Simulations Les simulations, effectuées sur la plate forme OPNET, ont porté sur l’architecture japonaise NTTnet présenté dans [6] (à droi te de la figure 1). Pour un but de comparaison, les performances des deux versions de l’algorithme (KSPQR et KOQRA) ont été comparées à ceux des algorithmes traditionnels SPF ( Short est Path First ) et SOMR ( Standard Optimal Multi-Path Routing ) en termes de temps d’acheminement moyen des paquets. L’analyse des caractéristiques s’est faite au n iveau de l’entité la plus fine qu’est le paquet en utilisant un modèle poissonnien pour simuler le trafic. L’ensemble de nos évaluations sont faites en dehors de t out contrôle supplémentai re se faisant au- delà de la couche réseau comme par exemple un contrôle d’erreurs ou un ordonna- cement de paquets par la couche transpor t . Des travaux futurs doivent nécessaire- ment les prendre en compte dans le cas d’un déploi ement à grande échelle et d’une étude portant sur leur int eraction avec l’ensemble des composants d’un réseau. Figure 1 : Temps moyen d’acheminem ent pour un trafic (gauche : trafic faible, milieu : trafic fort, droite : pic de trafic) et le réseau NTT. Sur l’ensemble des figures représentant les résultats des di fférentes expériences (Figure 1), l’axe des abcisses représente le temps de simulation ta ndis qu’une indi- cation sur le délai moyen d’achemi nement des paquets est représentée au niveau de l’axe des ordonnées. Les résultats de simula tion obtenus sur l e réseau NTT , dans des conditions de trafic faib le, et représentés sur la partie gauche de la fi gure 1, mon- trent que les temps moyens d’acheminement sont plus favorables aux algorithmes traditionnels SPF et SOMR comparativemen t aux autres algorithmes basés sur les 8 ème Colloque Francophone de Gestion de Réseaux et de Services 5 techniques adaptatives, où on constate que le temps moyen d’acheminement est augmenté de près de 15%. Comme ces dern ières sont basées sur un apprentissage continu par le biais des paquet s de contrô le qu’ell es génèrent, ces derniers surchar- gent inutilement le réseau et font chuter par co nséquent les performances du rou- tage. Dans le cas où le trafic sur le réseau dev ient très chargé, les résultats illustrés dans la partie centrale de la figure 1 montrent distinctement que les approches adap- tatives donnent de meilleures performances en termes de temps moyen d’acheminement des paquets comparativ ement aux algorithmes classiques (SOMR et SPF). Comme le facteur lié à la congesti on est pris en compte d’une façon adapta- tive, dynamique et qualitative dans les al gorithmes KOQRA et KSPQR, ces derniers établissent de nouvelles routes en foncti on de leurs qualités (temps d’attente et temps de transit) à chaque fois q u’une route en co urs d'utilisation s’avère encom- brée. Les algorithmes classiques (SOMR et SPF) mettent quant à eux plus de temps à réagir à cette congestion au regard de la périodicité utilisée dans les mises à jour de leurs paramètres et à leur est imation de s paramètres de routage de manière locale. Le même résultat est constaté dans le d ernier scénario testé (courb e de droite de la figure 1) où les conditions d’un pic de trafic sont créées. 6. Conclusion Dans cet article, nous avons présenté une nouvell e approche basée sur la techni- que du routage mu lti-chemins combiné avec d es algorithmes de type adaptatif. Une analyse comparative des performances de l’approche proposée montre clai rement l’efficacité du modèle proposé et son inté rêt pour des réseaux à forte charge ou soumis à des changements soudains conduisa nt à des pi cs sporadiques de trafic. Comme l’optimisat ion d’une fonction de coût composée de plusieurs critères non corrélés est un problème NP-complet, nous nous proposons comme suit e de ce tra- vail d’étudier, sur la base des algorithme s que nous avons développés, les possibili- tés d’intégrer à la fois plu sieurs paramètr es de QoS (bande passante et taux de perte des paquets) dans le signal de renforcement. 7. Bibliographie [1] A. Mellouk, P. Lorenz, A. Bouker che, M. H. Lee, « Quality of Service based Routing Algorithms for Heterogeneous Networks » , numéro spécial de la revue « IEEE Communication Magazine », Vol. 45, n°2, pp. 65-112, Février 2007. [2] N. Larrieu, « Proposition d’une architecture de gestion du tr afic à partir de mesures reposant sur un mécanisme de contrôle de c ongestion permettant l’optimisa tion de la QdS dans l’Internet », thèse de doctorat de l’INSA de Toulouse, 2005. [3] Z. Wang and J. Crowcrof t, " QoS Routing for Supporting Resource Re servation ". In IEEE Journal on Selected Areas in Communications, Septembre 1996. [4] J. Li, T. McCormick et D. Smitchi-Levi, ‘ The Complexity of Finding Two Disjoint Paths with Min- Max Objective Function ’, In Discrete Applied Mathematics, 26:105- 115, 1990. [5] D Eppstein, " Finding the K shortest paths ", SIAM J. Computing 28:0, 1999, pp. 652-673. [6] G. Di Caro, M. Dorigo, “ Ant Colony Optimization and its Application to Adaptive Routing in Tele- communication Networks ”, Free Brussels University, Ed. MIT Press, Septembre 2004.