Re: [sympa-fr] le problème de performance sur l'interface Sympa ...

[Etienne MELEARD <adresse@cachée>]

Bonjour,

Le lien que David vous a envoyé n'est pas un lien direct vers le patch 
mais vers les informations sur le commit sur la forge, vous avez donc à 
priori remplacé votre List.pm par une page HTML, peu de chances que cela 
fonctionne ...

L'adresse du patch est : 
https://sourcesup.renater.fr/scm/viewvc.php/branches/sympa-6.1-branch/src/lib/List.pm?r1=9948&r2=9947&pathrev=9948&root=sympa&view=patch

Mais il ne vous suffit pas de remplacer List.pm par ce fichier, c'est un 
patch, il faut l'appliquer à votre List.pm, c'est à dire il faut d'abord 
que vous retrouviez votre List.pm d'origine (avant le remplacement 
malheureux par la page HTML) puis appliquer le patch avec une commande 
du genre :

patch -b List.pm List.pm.patch

(à adapter)


Cordialement,

Etienne MELEARD

--


 Etienne MELEARD

GIP RENATER - Direction Technique
Etudes et Projets Applicatifs
Tél : +33 2 23 23 53 68         RENATER
Fax : +33 2 23 23 71 21         263 Av. du Gal. Leclerc
        35042 Rennes Cedex

http://www.renater.fr


Le 28/10/13 10:13, Ozcan SAHIN a écrit :
> Bonjour David,
>
> Je vous remercie pour le patch, ça devient de plus en plus une 
> situation difficile car le nombre de liste régulièrement augmente.
>
> Mais j’ai une difficulté d’appliquer ce patch, comment on peut faire ?
>
> Je l’ai utilisé au lieu de /home/sympa/bin/List.pm mais Sympa ne 
> démarre pas à cause d‘erreur ci-dessous:
>
> # service sympa start
>
> Starting Sympa subsystem:
>
> Starting module sympa.pl: String found where operator expected at 
> /home/sympa/bin/List.pm line 2, near "SYSTEM 
> "http://evolvis.org/DTD/xhtml10t-rdfa10.dtd"";
>
> (Do you need to predeclare SYSTEM?)
>
> Excessively long <> operator at /home/sympa/bin/List.pm line 3.
>
> Compilation failed in require at /home/sympa/bin/Conf.pm line 31.
>
> BEGIN failed--compilation aborted at /home/sympa/bin/Conf.pm line 31.
>
> Compilation failed in require at /home/sympa/bin/Commands.pm line 33.
>
> BEGIN failed--compilation aborted at /home/sympa/bin/Commands.pm line 33.
>
> Compilation failed in require at /home/sympa/bin/sympa.pl line 33.
>
> BEGIN failed--compilation aborted at /home/sympa/bin/sympa.pl line 33.
>
> [FAILED]
>
> Starting module bulk.pl: String found where operator expected at 
> /home/sympa/bin/List.pm line 2, near "SYSTEM 
> "http://evolvis.org/DTD/xhtml10t-rdfa10.dtd"";
>
> (Do you need to predeclare SYSTEM?)
>
> Excessively long <> operator at /home/sympa/bin/List.pm line 3.
>
> Compilation failed in require at /home/sympa/bin/Conf.pm line 31.
>
> BEGIN failed--compilation aborted at /home/sympa/bin/Conf.pm line 31.
>
> Compilation failed in require at /home/sympa/bin/bulk.pl line 44.
>
> BEGIN failed--compilation aborted at /home/sympa/bin/bulk.pl line 44.
>
> [FAILED]
>
> Starting module archived.pl: String found where operator expected at 
> /home/sympa/bin/List.pm line 2, near "SYSTEM 
> "http://evolvis.org/DTD/xhtml10t-rdfa10.dtd"";
>
> (Do you need to predeclare SYSTEM?)
>
> Excessively long <> operator at /home/sympa/bin/List.pm line 3.
>
> Compilation failed in require at /home/sympa/bin/archived.pl line 42.
>
> BEGIN failed--compilation aborted at /home/sympa/bin/archived.pl line 42.
>
> [FAILED]
>
> Starting module bounced.pl: String found where operator expected at 
> /home/sympa/bin/List.pm line 2, near "SYSTEM 
> "http://evolvis.org/DTD/xhtml10t-rdfa10.dtd"";
>
> (Do you need to predeclare SYSTEM?)
>
> Excessively long <> operator at /home/sympa/bin/List.pm line 3.
>
> Compilation failed in require at /home/sympa/bin/bounced.pl line 41.
>
> BEGIN failed--compilation aborted at /home/sympa/bin/bounced.pl line 41.
>
> [FAILED]
>
> Starting module task_manager.pl: String found where operator expected 
> at /home/sympa/bin/List.pm line 2, near "SYSTEM 
> "http://evolvis.org/DTD/xhtml10t-rdfa10.dtd"";
>
> (Do you need to predeclare SYSTEM?)
>
> Excessively long <> operator at /home/sympa/bin/List.pm line 3.
>
> Compilation failed in require at /home/sympa/bin/Task.pm line 29.
>
> BEGIN failed--compilation aborted at /home/sympa/bin/Task.pm line 29.
>
> Compilation failed in require at /home/sympa/bin/task_manager.pl line 30.
>
> BEGIN failed--compilation aborted at /home/sympa/bin/task_manager.pl 
> line 30.
>
> [FAILED]
>
> Cordialement
>
> Özcan SAHIN
>
> Administrateur Systèmes
>
> Pôle Système - DSI - Université Lumière Lyon 2
>
> 04 78 77 26 66
>
> *De :*adresse@cachée 
> [mailto:adresse@cachée] *De la part de* David Verdin
> *Envoyé :* vendredi 25 octobre 2013 16:39
> *À :* adresse@cachée
> *Objet :* Re: [sympa-fr] le problème de performance sur l'interface 
> Sympa ...
>
> Bonjour,
>
> Cela vient de la fonction List::new(). Vous allez me dire que ça vous 
> fait une belle jambe et vous n'auriez pas tort. Après tout, vous 
> n'êtes pas - tous - développeurs.
>
> Cela dit, c'est une information importante parce que cette fonction 
> est appelée /à chaque fois/ qu'on utilise une liste. Quand on 
> l'appelle, on synchronise la liste des admins. il y avait des 
> paramètres pour interdire ou forcer la synchronisation des admins de 
> la liste, mais pas pour la moduler en fonction des paramètres ttl. 
> C'était tout ou rien, quoi.
>
> C'est maintenant résolu : quand on appelle List::new() dans un 
> contexte où on peut potentiellement avoir affaire à de nombreuses 
> listes (liste des liste et recherche de listes) on tient compte des ttl.
> Voilà la révision qui - sur ma 6.1.17 - résout le problème :
> https://sourcesup.renater.fr/scm/viewvc.php?view=revision&root=sympa&revision=9948
>
> Tout ceci fera bien sûr partie d'une future version 6.1.18 mais vous 
> pouvez déjà utiliser le patch en attendant.
>
> Bon week-end,
>
> David
>
> P.S. : Pour les abonnés à sympa-commits qui se demandent pourquoi les 
> développeurs ne font plus rien depuis un mois, sachez qu'il n'en est 
> rien. Au contraire, je compte une centaine de commits depuis le mois 
> dernier. Simplement notre hook de post-commit SVN est cassé et il 
> n'envoie plus de messages. On vient de s'en apercevoir et on va 
> corriger ça.
>
> Le 23/10/13 14:15, Ozcan SAHIN a écrit :
>
>     Bonjour,
>
>     Cela dit, le problème semble résider dans le timeout. c'est ça
>     Özcan ? Les proprio sont synchronisés à chaque fois, même si tu
>     dis de ne mettre à jour les listes que toutes les 24 heures ?
>
>
>     Les membrés sont synchronisés une fois par jour, dans ce cas-là,
>     il y a pas de problème.
>
>     Cependant, les propriétaires et les modérateurs sont interrogés
>     dans chaque clique de « Liste des listes« (et la partie «
>     recherche«) sur l’interface .
>
>     PS : Je vois dans le log que Sympa interroge les proprio et les
>     mod. chaque fois.
>
>     Cordialement
>
>     Özcan SAHIN
>
>     Administrateur Systèmes
>
>     Pôle Système - DSI - Université Lumière Lyon 2
>
>     04 78 77 26 66
>
>     *De :*adresse@cachée
>     <mailto:adresse@cachée>
>     [mailto:adresse@cachée] *De la part de* David
>     Verdin
>     *Envoyé :* mercredi 23 octobre 2013 14:01
>     *À :* adresse@cachée <mailto:adresse@cachée>
>     *Cc :* 'Patrick Proniewski'
>     *Objet :* Re: [sympa-fr] le problème de performance sur
>     l'interface Sympa ...
>
>     Bonjour,
>
>     Le 23/10/13 13:45, Luc Veillon a écrit :
>
>         Bonjour,
>
>         Le ministère de l'éducation nationale doit lancer un
>         développement en ce sens, dans les mois qui viennent
>         (normalement, la commande est planifiée pour la fin d'année).
>         Le dev sera reversé à la communauté.
>         Je ne sais pas si vous pourrez patienter jusque là (juin 2014
>         pour une livraison en prod) ?
>
>     Ça semble un délai raisonnable.
>
>     Cela dit, le problème semble résider dans le timeout. c'est ça
>     Özcan ? Les proprio sont synchronisés à chaque fois, même si tu
>     dis de ne mettre à jour les listes que toutes les 24 heures ?
>
>
>
>     Cordialement
>
>     Le 23/10/2013 13:29, Ozcan SAHIN a écrit :
>
>         Bonjour,
>
>         Y-a-t-il quelqu’un qui utilise une source de données externe
>         pour des propriétaires et/ou des modérateurs ?
>
>         Cordialement
>
>         Özcan SAHIN
>
>         Administrateur Systèmes
>
>         Pôle Système - DSI - Université Lumière Lyon 2
>
>         04 78 77 26 66
>
>         *De :*adresse@cachée
>         <mailto:adresse@cachée>
>         [mailto:adresse@cachée] *De la part de*
>         Ozcan SAHIN
>         *Envoyé :* mardi 8 octobre 2013 09:00
>         *À :* adresse@cachée
>         <mailto:adresse@cachée>; 'Ozcan SAHIN'; 'David Verdin'
>         *Cc :* Safia Gharbi; 'Patrick Proniewski'
>         *Objet :* RE: [sympa-fr] le problème de performance sur
>         l'interface Sympa ...
>         *Importance :* Haute
>
>         Bonjour,
>
>         Nous utilisons une source de données externe pour alimenter
>         des membres et des propriétaires.
>
>         Nous n'avons aucune problème dans l'alimentation des membres
>         car SYMPA se fait une fois par jour et il les garde dans la
>         base locale Mysql.
>
>         Quand on se connecte sur l'interface SYMPA, il nous montre des
>         membres sans interroger Oracle ni LDAP.
>
>         _Est-ce-que c'est possible de faire le même chose pour les
>         propriétaires des listes ?_
>
>         (en cas d'accès à la liste, il devrait nous montrer les
>         propriétaires depuis la base locale et s’alimenter une fois
>         par jour depuis la source de données externe)
>
>         Cordialement
>
>         Özcan SAHIN
>
>         DSI - Pôle Système
>
>         Université Lumière Lyon 2
>
>         04 78 77 26 66
>
>         *De :*adresse@cachée
>         <mailto:adresse@cachée>
>         [mailto:adresse@cachée] *De la part de*
>         Ozcan SAHIN
>         *Envoyé :* jeudi 26 septembre 2013 10:48
>         *À :* adresse@cachée
>         <mailto:adresse@cachée>; 'Ozcan SAHIN'; 'David Verdin'
>         *Objet :* RE: [sympa-fr] le problème de performance sur
>         l'interface Sympa ...
>
>         Bonjour,
>
>         Je corrige une faute :
>
>         _J’ai réglé le paramètre_« *visibility**conceal* » pour une
>         liste mais encore ils sont interrogé depuis Oracle.
>
>         Cordialement
>
>         Özcan SAHIN
>
>         DSI - Pôle Système
>
>         Université Lumière Lyon 2
>
>         04 78 77 26 66
>
>         *De :*adresse@cachée
>         <mailto:adresse@cachée>
>         [mailto:adresse@cachée] *De la part de*
>         Ozcan SAHIN
>         *Envoyé :* mercredi 25 septembre 2013 14:15
>         *À :* adresse@cachée
>         <mailto:adresse@cachée>; 'David Verdin'
>         *Objet :* RE: [sympa-fr] le problème de performance sur
>         l'interface Sympa ...
>         *Importance :* Haute
>
>         Bonjour,
>
>         Quand j’ai surveillé log de Sympa en mode debug, j’ai remarqué
>         que seulement, les propriétaires et les modérateurs sont
>         synchronisés.
>
>         (quand on recherche une liste ou clique « «liste des listes »
>         sur l’interface Sympa )
>
>         J’ai réglé le paramètre « visibility noconceal » pour une
>         liste mais encore ils sont interrogé depuis Oracle.
>
>         En fait, tous les paramètres de synchronisation sont pour
>         l’alimentation de membres. (distribution_ttl est dans
>         sympa.conf + ttl est dans le fichier config de listes )
>
>         Est-ce-qu’ il y a _un paramètre « ttl« pour définir
>         l’alimentation de propriétaire et de modérateur une fois par
>         jour_ ?
>
>         PS :
>
>         La tâche planifié de Sympa pour la sync. des membres nous
>         montre qu’ils sont mise à jour après un jour.
>
>         title.gettext Update of list members based on the TTL
>
>         /INIT
>
>         sync_include ()
>
>         next(execution_date+86400sec,INIT)
>
>         Cordialement
>
>         Özcan SAHIN
>
>         DSI - Pôle Système
>
>         Université Lumière Lyon 2
>
>         04 78 77 26 66
>
>         *De :*adresse@cachée
>         <mailto:adresse@cachée>
>         [mailto:adresse@cachée] *De la part de*
>         David Verdin
>         *Envoyé :* lundi 16 septembre 2013 15:56
>         *À :* adresse@cachée
>         <mailto:adresse@cachée>
>         *Objet :* Re: [sympa-fr] le problème de performance sur
>         l'interface Sympa ...
>
>         Bonjour,
>
>         Le 09/09/13 10:31, adresse@cachée
>         <mailto:adresse@cachée> a écrit :
>
>             Bonjour,
>
>               
>
>             Nous avons un problème particulier sur la performance.
>
>               
>
>             J'ai remarqué que quand on clique l'onglet "Liste des Listes", 
> Sympa traite
>
>             chaque liste pour faire la mise à jour et récuperer les abonnées 
> et les
>
>             propriétaires depuis LDAP et ORACLE.
>
>               
>
>             ça prend du temps car il y en a plusieur et les clients attendent 
> pendant
>
>             cette opération.
>
>               
>
>             Est-ce-qu'il y a une solution pour la contourner ?
>
>         Pas pour le moment.
>         Le paramètre visibility qui permet d'afficher / masquer les
>         listes vérifie souvent si les personnes sont ou non
>         propriétaires de la liste.
>         Du coup, ça impose une requête. Il y a un délai réfractaire,
>         bien sûr, pendant lequel Sympa ne synchronise plus (il est
>         fixé par le paramètre de liste 'distribution_ttl'). Mais ce
>         paramètre fixe également le délai entre deux synchro à la
>         volée des abonnés. S'il est super long, tu n'auras plus que
>         les synchro régulière (définies par la tâche sync_include).
>
>         Voili voilou.
>
>         Bonne journée,
>
>         David
>
>           
>
>           
>
>         PS : Nous utilisons SYMPA version 6.1.17.
>
>           
>
>         Cordialement
>
>           
>
>           
>
>         -- 
>         A bug in Sympa? Quick! To the bug tracker!
>         <https://sourcesup.renater.fr/tracker/?group_id=23>
>
>         RENATER logo
>
>         *David Verdin*
>         Infrastructure pour les Services Informatiques
>
>         Tél : +33 2 23 23 69 71
>         Fax : +33 2 23 23 71 21
>
>         www.renater.fr <http;/www.renater.fr>
>
>                 
>
>         RENATER
>         263 Avenue du Gal Leclerc
>         35042 Rennes Cedex
>
>
>
>
>     -- 
>
>     Luc VEILLON
>
>     Pôle IH2M Equipe "Hub - Hébergement - Messagerie"
>
>     DSI - Rectorat d'Orléans-Tours
>
>     10 Rue Molière
>
>     45 000 Orléans
>
>     Tél: 02 38 79 45 20/ 02 38 79 45 51
>
>     Fax: 02 38 79 45 29
>
>     Mel :adresse@cachée  
> <mailto:adresse@cachée>
>
>       
>
>     -- 
>     A bug in Sympa? Quick! To the bug tracker!
>     <https://sourcesup.renater.fr/tracker/?group_id=23>
>
>     RENATER logo
>
>     *David Verdin*
>     Études et projets applicatifs
>
>     Tél : +33 2 23 23 69 71
>     Fax : +33 2 23 23 71 21
>
>     www.renater.fr <http;/www.renater.fr>
>
>         
>
>     RENATER
>     263 Avenue du Gal Leclerc
>     35042 Rennes Cedex
>
>     -- 
>     A bug in Sympa? Quick! To the bug tracker!
>     <https://sourcesup.renater.fr/tracker/?group_id=23>
>
>     RENATER logo
>
>     *David Verdin*
>     Études et projets applicatifs
>
>     Tél : +33 2 23 23 69 71
>     Fax : +33 2 23 23 71 21
>
>     www.renater.fr <http;/www.renater.fr>
>
>         
>
>     RENATER
>     263 Avenue du Gal Leclerc
>     35042 Rennes Cedex