Objet : Pour les administrateurs de serveurs de listes utilisant le logiciel Sympa
Archives de la liste
[sympa-fr] le problème de performance sur l'interface Sympa ...
- From: "Ozcan SAHIN" <adresse@cachée>
- To: <adresse@cachée>, "David Verdin" <adresse@cachée>, "Etienne MELEARD" <adresse@cachée>
- Subject: [sympa-fr] le problème de performance sur l'interface Sympa ...
- Date: Mon, 27 Jan 2014 14:32:22 +0100
Bonjour,
Je vois que la nouvelle version de Sympa 6.1.18 est disponible et le problème de synchronisation de propriétaire à chaque appel est résolu.
https://www.sympa.org/distribution/sympa-6.1.18/NEWS
[9948] src/lib/List.pm: [Reported by O. Sahin, univ.Lyon 2] When List::new sub was called, sync_include_admin was systematically executed, except when specifically stated. If using a lot of owenr and editor datasources, this resulted in large amount of queries to these datasources when seraching lists or displaying the list of lists. This is now modulated. When calling get_lists, calling sync_include_admin is now optional and executed if the limits of the 'ttl' and 'ditribution_ttl' parameters are not exceeded.
Est-ce-que seulement List.pm est changé ou il y a d’autre changement dans la source pour ce bug ? Est-ce-qu’ il y a une solution pour corriger ce bug dans la version 6.1.17 ?
Cordialement
Özcan SAHIN Administrateur Systèmes Pôle Système - DSI - Université Lumière Lyon 2 04 78 77 26 66
-----Message d'origine-----
Bonjour,
J'ai appliqué le patch. Cependant, la situation est encore pareille. (Sympa encore interroge la base pour les propriétaires.)
Cordialement
Özcan SAHIN Administrateur Systèmes Pôle Système - DSI - Université Lumière Lyon 2 04 78 77 26 66
-----Message d'origine----- De : adresse@cachée [mailto:adresse@cachée] De la part de Etienne MELEARD Envoyé : lundi 28 octobre 2013 10:33 À : adresse@cachée Objet : Re: [sympa-fr] le problème de performance sur l'interface Sympa ...
Bonjour,
Le lien que David vous a envoyé n'est pas un lien direct vers le patch mais vers les informations sur le commit sur la forge, vous avez donc à priori remplacé votre List.pm par une page HTML, peu de chances que cela fonctionne ...
L'adresse du patch est :
Mais il ne vous suffit pas de remplacer List.pm par ce fichier, c'est un patch, il faut l'appliquer à votre List.pm, c'est à dire il faut d'abord que vous retrouviez votre List.pm d'origine (avant le remplacement malheureux par la page HTML) puis appliquer le patch avec une commande du genre :
patch -b List.pm List.pm.patch
(à adapter)
Cordialement,
Etienne MELEARD
--
Etienne MELEARD
GIP RENATER - Direction Technique Etudes et Projets Applicatifs Tél : +33 2 23 23 53 68 RENATER Fax : +33 2 23 23 71 21 263 Av. du Gal. Leclerc 35042 Rennes Cedex
Le 28/10/13 10:13, Ozcan SAHIN a écrit : > > Bonjour David, > > Je vous remercie pour le patch, ça devient de plus en plus une > situation difficile car le nombre de liste régulièrement augmente. > > Mais j’ai une difficulté d’appliquer ce patch, comment on peut faire ? > > Je l’ai utilisé au lieu de /home/sympa/bin/List.pm mais Sympa ne > démarre pas à cause d‘erreur ci-dessous: > > # service sympa start > > Starting Sympa subsystem: > > Starting module sympa.pl: String found where operator expected at > /home/sympa/bin/List.pm line 2, near "SYSTEM > "http://evolvis.org/DTD/xhtml10t-rdfa10.dtd"" > > (Do you need to predeclare SYSTEM?) > > Excessively long <> operator at /home/sympa/bin/List.pm line 3. > > Compilation failed in require at /home/sympa/bin/Conf.pm line 31. > > BEGIN failed--compilation aborted at /home/sympa/bin/Conf.pm line 31. > > Compilation failed in require at /home/sympa/bin/Commands.pm line 33. > > BEGIN failed--compilation aborted at /home/sympa/bin/Commands.pm line 33. > > Compilation failed in require at /home/sympa/bin/sympa.pl line 33. > > BEGIN failed--compilation aborted at /home/sympa/bin/sympa.pl line 33. > > [FAILED] > > Starting module bulk.pl: String found where operator expected at > /home/sympa/bin/List.pm line 2, near "SYSTEM > "http://evolvis.org/DTD/xhtml10t-rdfa10.dtd"" > > (Do you need to predeclare SYSTEM?) > > Excessively long <> operator at /home/sympa/bin/List.pm line 3. > > Compilation failed in require at /home/sympa/bin/Conf.pm line 31. > > BEGIN failed--compilation aborted at /home/sympa/bin/Conf.pm line 31. > > Compilation failed in require at /home/sympa/bin/bulk.pl line 44. > > BEGIN failed--compilation aborted at /home/sympa/bin/bulk.pl line 44. > > [FAILED] > > Starting module archived.pl: String found where operator expected at > /home/sympa/bin/List.pm line 2, near "SYSTEM > "http://evolvis.org/DTD/xhtml10t-rdfa10.dtd"" > > (Do you need to predeclare SYSTEM?) > > Excessively long <> operator at /home/sympa/bin/List.pm line 3. > > Compilation failed in require at /home/sympa/bin/archived.pl line 42. > > BEGIN failed--compilation aborted at /home/sympa/bin/archived.pl line 42. > > [FAILED] > > Starting module bounced.pl: String found where operator expected at > /home/sympa/bin/List.pm line 2, near "SYSTEM > "http://evolvis.org/DTD/xhtml10t-rdfa10.dtd"" > > (Do you need to predeclare SYSTEM?) > > Excessively long <> operator at /home/sympa/bin/List.pm line 3. > > Compilation failed in require at /home/sympa/bin/bounced.pl line 41. > > BEGIN failed--compilation aborted at /home/sympa/bin/bounced.pl line 41. > > [FAILED] > > Starting module task_manager.pl: String found where operator expected > at /home/sympa/bin/List.pm line 2, near "SYSTEM > "http://evolvis.org/DTD/xhtml10t-rdfa10.dtd"" > > (Do you need to predeclare SYSTEM?) > > Excessively long <> operator at /home/sympa/bin/List.pm line 3. > > Compilation failed in require at /home/sympa/bin/Task.pm line 29. > > BEGIN failed--compilation aborted at /home/sympa/bin/Task.pm line 29. > > Compilation failed in require at /home/sympa/bin/task_manager.pl line 30. > > BEGIN failed--compilation aborted at /home/sympa/bin/task_manager.pl > line 30. > > [FAILED] > > Cordialement > > Özcan SAHIN > > Administrateur Systèmes > > Pôle Système - DSI - Université Lumière Lyon 2 > > 04 78 77 26 66 > > *De :*adresse@cachée > [mailto:adresse@cachée] *De la part de* David > Verdin *Envoyé :* vendredi 25 octobre 2013 16:39 *À :* > adresse@cachée *Objet :* Re: [sympa-fr] le problème de > performance sur l'interface Sympa ... > > Bonjour, > > Cela vient de la fonction List::new(). Vous allez me dire que ça vous > fait une belle jambe et vous n'auriez pas tort. Après tout, vous > n'êtes pas - tous - développeurs. > > Cela dit, c'est une information importante parce que cette fonction > est appelée /à chaque fois/ qu'on utilise une liste. Quand on > l'appelle, on synchronise la liste des admins. il y avait des > paramètres pour interdire ou forcer la synchronisation des admins de > la liste, mais pas pour la moduler en fonction des paramètres ttl. > C'était tout ou rien, quoi. > > C'est maintenant résolu : quand on appelle List::new() dans un > contexte où on peut potentiellement avoir affaire à de nombreuses > listes (liste des liste et recherche de listes) on tient compte des ttl. > Voilà la révision qui - sur ma 6.1.17 - résout le problème : > https://sourcesup.renater.fr/scm/viewvc.php?view=revision&root=sympa&r > evision=9948 > > Tout ceci fera bien sûr partie d'une future version 6.1.18 mais vous > pouvez déjà utiliser le patch en attendant. > > Bon week-end, > > David > > P.S. : Pour les abonnés à sympa-commits qui se demandent pourquoi les > développeurs ne font plus rien depuis un mois, sachez qu'il n'en est > rien. Au contraire, je compte une centaine de commits depuis le mois > dernier. Simplement notre hook de post-commit SVN est cassé et il > n'envoie plus de messages. On vient de s'en apercevoir et on va > corriger ça. > > Le 23/10/13 14:15, Ozcan SAHIN a écrit : > > Bonjour, > > Cela dit, le problème semble résider dans le timeout. c'est ça > Özcan ? Les proprio sont synchronisés à chaque fois, même si tu > dis de ne mettre à jour les listes que toutes les 24 heures ? > > > Les membrés sont synchronisés une fois par jour, dans ce cas-là, > il y a pas de problème. > > Cependant, les propriétaires et les modérateurs sont interrogés > dans chaque clique de « Liste des listes« (et la partie « > recherche«) sur l’interface . > > PS : Je vois dans le log que Sympa interroge les proprio et les > mod. chaque fois. > > Cordialement > > Özcan SAHIN > > Administrateur Systèmes > > Pôle Système - DSI - Université Lumière Lyon 2 > > 04 78 77 26 66 > > *De :*adresse@cachée > [mailto:adresse@cachée] *De la part de* David > Verdin > *Envoyé :* mercredi 23 octobre 2013 14:01 > *À :* adresse@cachée <mailto:adresse@cachée> > *Cc :* 'Patrick Proniewski' > *Objet :* Re: [sympa-fr] le problème de performance sur > l'interface Sympa ... > > Bonjour, > > Le 23/10/13 13:45, Luc Veillon a écrit : > > Bonjour, > > Le ministère de l'éducation nationale doit lancer un > développement en ce sens, dans les mois qui viennent > (normalement, la commande est planifiée pour la fin d'année). > Le dev sera reversé à la communauté. > Je ne sais pas si vous pourrez patienter jusque là (juin 2014 > pour une livraison en prod) ? > > Ça semble un délai raisonnable. > > Cela dit, le problème semble résider dans le timeout. c'est ça > Özcan ? Les proprio sont synchronisés à chaque fois, même si tu > dis de ne mettre à jour les listes que toutes les 24 heures ? > > > > Cordialement > > Le 23/10/2013 13:29, Ozcan SAHIN a écrit : > > Bonjour, > > Y-a-t-il quelqu’un qui utilise une source de données externe > pour des propriétaires et/ou des modérateurs ? > > Cordialement > > Özcan SAHIN > > Administrateur Systèmes > > Pôle Système - DSI - Université Lumière Lyon 2 > > 04 78 77 26 66 > > *De :*adresse@cachée > [mailto:adresse@cachée] *De la part de* > Ozcan SAHIN > *Envoyé :* mardi 8 octobre 2013 09:00 > *À :* adresse@cachée > <mailto:adresse@cachée>; 'Ozcan SAHIN'; 'David Verdin' > *Cc :* Safia Gharbi; 'Patrick Proniewski' > *Objet :* RE: [sympa-fr] le problème de performance sur > l'interface Sympa ... > *Importance :* Haute > > Bonjour, > > Nous utilisons une source de données externe pour alimenter > des membres et des propriétaires. > > Nous n'avons aucune problème dans l'alimentation des membres > car SYMPA se fait une fois par jour et il les garde dans la > base locale Mysql. > > Quand on se connecte sur l'interface SYMPA, il nous montre des > membres sans interroger Oracle ni LDAP. > > _Est-ce-que c'est possible de faire le même chose pour les > propriétaires des listes ?_ > > (en cas d'accès à la liste, il devrait nous montrer les > propriétaires depuis la base locale et s’alimenter une fois > par jour depuis la source de données externe) > > Cordialement > > Özcan SAHIN > > DSI - Pôle Système > > Université Lumière Lyon 2 > > 04 78 77 26 66 > > *De :*adresse@cachée > [mailto:adresse@cachée] *De la part de* > Ozcan SAHIN > *Envoyé :* jeudi 26 septembre 2013 10:48 > *À :* adresse@cachée > <mailto:adresse@cachée>; 'Ozcan SAHIN'; 'David Verdin' > *Objet :* RE: [sympa-fr] le problème de performance sur > l'interface Sympa ... > > Bonjour, > > Je corrige une faute : > > _J’ai réglé le paramètre_« *visibility**conceal* » pour une > liste mais encore ils sont interrogé depuis Oracle. > > Cordialement > > Özcan SAHIN > > DSI - Pôle Système > > Université Lumière Lyon 2 > > 04 78 77 26 66 > > *De :*adresse@cachée > [mailto:adresse@cachée] *De la part de* > Ozcan SAHIN > *Envoyé :* mercredi 25 septembre 2013 14:15 > *À :* adresse@cachée > <mailto:adresse@cachée>; 'David Verdin' > *Objet :* RE: [sympa-fr] le problème de performance sur > l'interface Sympa ... > *Importance :* Haute > > Bonjour, > > Quand j’ai surveillé log de Sympa en mode debug, j’ai remarqué > que seulement, les propriétaires et les modérateurs sont > synchronisés. > > (quand on recherche une liste ou clique « «liste des listes » > sur l’interface Sympa ) > > J’ai réglé le paramètre « visibility noconceal » pour une > liste mais encore ils sont interrogé depuis Oracle. > > En fait, tous les paramètres de synchronisation sont pour > l’alimentation de membres. (distribution_ttl est dans > sympa.conf + ttl est dans le fichier config de listes ) > > Est-ce-qu’ il y a _un paramètre « ttl« pour définir > l’alimentation de propriétaire et de modérateur une fois par > jour_ ? > > PS : > > La tâche planifié de Sympa pour la sync. des membres nous > montre qu’ils sont mise à jour après un jour. > > title.gettext Update of list members based on the TTL > > /INIT > > sync_include () > > next(execution_date+86400sec,INIT) > > Cordialement > > Özcan SAHIN > > DSI - Pôle Système > > Université Lumière Lyon 2 > > 04 78 77 26 66 > > *De :*adresse@cachée > [mailto:adresse@cachée] *De la part de* > David Verdin > *Envoyé :* lundi 16 septembre 2013 15:56 > *À :* adresse@cachée > *Objet :* Re: [sympa-fr] le problème de performance sur > l'interface Sympa ... > > Bonjour, > > Le 09/09/13 10:31, adresse@cachée > <mailto:adresse@cachée> a écrit : > > Bonjour, > > > > Nous avons un problème particulier sur la performance. > > > > J'ai remarqué que quand on clique l'onglet "Liste des > Listes", Sympa traite > > chaque liste pour faire la mise à jour et récuperer les > abonnées et les > > propriétaires depuis LDAP et ORACLE. > > > > ça prend du temps car il y en a plusieur et les clients > attendent pendant > > cette opération. > > > > Est-ce-qu'il y a une solution pour la contourner ? > > Pas pour le moment. > Le paramètre visibility qui permet d'afficher / masquer les > listes vérifie souvent si les personnes sont ou non > propriétaires de la liste. > Du coup, ça impose une requête. Il y a un délai réfractaire, > bien sûr, pendant lequel Sympa ne synchronise plus (il est > fixé par le paramètre de liste 'distribution_ttl'). Mais ce > paramètre fixe également le délai entre deux synchro à la > volée des abonnés. S'il est super long, tu n'auras plus que > les synchro régulière (définies par la tâche sync_include). > > Voili voilou. > > Bonne journée, > > David > > > > > > PS : Nous utilisons SYMPA version 6.1.17. > > > > Cordialement > > > > > > -- > A bug in Sympa? Quick! To the bug tracker! > <https://sourcesup.renater.fr/tracker/?group_id=23> > > RENATER logo > > *David Verdin* > Infrastructure pour les Services Informatiques > > Tél : +33 2 23 23 69 71 > Fax : +33 2 23 23 71 21 > > www.renater.fr <http;/www.renater.fr> > > > > RENATER > 263 Avenue du Gal Leclerc > 35042 Rennes Cedex > > > > > -- > > Luc VEILLON > > Pôle IH2M Equipe "Hub - Hébergement - Messagerie" > > DSI - Rectorat d'Orléans-Tours > > 10 Rue Molière > > 45 000 Orléans > > Tél: 02 38 79 45 20/ 02 38 79 45 51 > > Fax: 02 38 79 45 29 > > Mel :adresse@cachée > > > > -- > A bug in Sympa? Quick! To the bug tracker! > <https://sourcesup.renater.fr/tracker/?group_id=23> > > RENATER logo > > *David Verdin* > Études et projets applicatifs > > Tél : +33 2 23 23 69 71 > Fax : +33 2 23 23 71 21 > > www.renater.fr <http;/www.renater.fr> > > > > RENATER > 263 Avenue du Gal Leclerc > 35042 Rennes Cedex > > -- > A bug in Sympa? Quick! To the bug tracker! > <https://sourcesup.renater.fr/tracker/?group_id=23> > > RENATER logo > > *David Verdin* > Études et projets applicatifs > > Tél : +33 2 23 23 69 71 > Fax : +33 2 23 23 71 21 > > www.renater.fr <http;/www.renater.fr> > > > > RENATER > 263 Avenue du Gal Leclerc > 35042 Rennes Cedex >
|
- [sympa-fr] le problème de performance sur l'interface Sympa ..., Ozcan SAHIN, 27/01/2014
Archives gérées par MHonArc 2.6.19+.