Re: [sympa-fr] Paramètres nrcpt dans Sympa

[Olivier LACROIX <adresse@cachée>]

Bonjour.

J'ai résolu mon souci de tri par domaine grâce à la correction que je
joins. Dans List.pm, lorsque le tri des utilisateurs se fait par
domaine, la requête SQL inclut : ORDER BY "dom"
Avec les guillemets autour du mot-clé dom, le tri ne fonctionne. Si on
les ôte, il fonctionne. A noter que j'ai fait la correction uniquement
pur MySQL. Dans le code, pour les autres type de SGBD, le mot-clé dom
est également mis entre guillemets.
Je ne suis pas sûr que les guillemets soient utiles, puisque pour les
autres types de tri, il n'y a pas de guillemets autour des mots-clés.

Du coup, si le tri par domaine fonctionne au niveau de l'interface Web,
il y a peut-être une chance que cela corrige les problèmes d'envoi
groupé. A tester pour ceux qui ont des grosses listes.

Bonne journée.
 
Le 15/02/12 18:28, Olivier LACROIX a écrit :
> Le 14/02/12 11:06, David Verdin a écrit :
>> Bonjour,
>>
>> J'arrive après la bataille mais ton problème me semble potentiellement
>> sérieux.
>> Quelle version de Sympa utilisez-vous ? Je voudrais faire des tests et
>> vérifier comment ça se passe ici.
>>
>> bonne journée !
>>
>> David
>>
> Bonjour David.
>
> Après discussion avec d'autres collègues ayant rencontré le même souci
> de non respect du "nrcpt" (la valeur n'est jamais dépassée, mais reste
> bien dessous), j'en arrive à me demander si le problème ne vient du tri
> des adresses par domaine. En effet, j'ai remarqué, sur ma version 6.1.7,
> que lorsqu'on affiche la liste des abonnés et qu'on veut les trier par
> domaine, le tri ne s'effectue pas. J'en ai conclu à un bug de la
> fonction de tri, mais je n'ai pas eu le temps d'approfondir le code.
> Si la même fonction est utilisée pour trier les adresses avant l'envoi
> des courriers, le souci pourrait venir de là.
>
> Cordialement.
>> Le 09/02/12 14:15, Sébastien JEAN a écrit :
>>> Bonjour,
>>>
>>> Je confirme que le comportement ne vient pas de la configuration de
>>> postfix. En jouant avec le paramètre « nrcpt » , le nombre de mail
>>> par lot plafonnait autour de 30 soit la valeur de la variable « avg »
>>> dans le « sympa.conf »…
>>>
>>> Bizarrement, si l'on affecte la valeur de 500 à la variable « avg »
>>> (normalement le nombre de domaine distincts par lot), les envois se
>>> sont exactement en lot de 500 max! Alors que les domaines de
>>> messagerie des abonnés sont relativement homogène, ce n'est pas cette
>>> variable qui aurait du nous limiter.
>>>
>>> À l'utilisation, il apparaît donc que c'est la valeur de la variable
>>> « avg » qui définit le comportement de Sympa quant au nombre de mails
>>> à envoyer par session et non la valeur de la variable « nrcpt » comme
>>> nous pouvons nous y attendre.
>>>
>>> Avez-vous déjà constater ce comportement ? Est-ce normal ?
>>>
>>> Cordialement
>>>
>>> Sébastien JEAN
>>>
>>> ---
>>> Sous-direction Infrastructure
>>> Direction du Numérique - Université de Lorraine
>>> Tél : 03.83.59.61.49  06.03.19.73.46
>>>
>>>
>>> ----- Mail original -----
>>>> Exact les limitations (nrcpt) internet des FAI ne compte pas pour un
>>>> intranet, perso nous sommes a 50 maxi (en intranet) et ca fonctionne
>>>> tres bien !
>>>>
>>>> Je pensais peut etre a une limitation a niveau du MTA, qui serait
>>>> present dans le main.cf :
>>>> Du genre
>>>> smtp_destination_recipient_limit
>>>> Ou
>>>> default_destination_recipient_limit
>>>>
>>>> Cordialement,
>>>>
>>>>
>>>> Lievre Marc-Alexandre
>>>> FT/OLNC/DPS/DDP/DPN
>>>>
>>>> MOE Liste de diffusion
>>>>
>>>> Tél : 03 83 67 51 50
>>>> adresse@cachée
>>>>
>>>>
>>>>
>>>> -----Message d'origine-----
>>>> De : adresse@cachée [mailto:adresse@cachée] De la
>>>> part de Mathieu LARCHET
>>>> Envoyé : jeudi 9 février 2012 10:20
>>>> À : adresse@cachée; Christophe Lecerf
>>>> Objet : Re: [sympa-fr] Paramètres nrcpt dans Sympa
>>>>
>>>> Cette réponse n'apporte rien non plus.
>>>>
>>>> Nous parlons ici de messages envoyés à des listes de 80000 abonnés,
>>>> dans une architecture où la machine Sympa n'est pas autorisée à
>>>> émettre des messages vers l'extérieur et passe obligatoirement par
>>>> un serveur relai en DMZ chargé d'appliquer les règles d'anti-spam,
>>>> anti-virus etc.
>>>>
>>>> La question originale cherche à savoir pourquoi les valeurs
>>>> paramétrées en conf sont loin d'être atteintes en réalité.
>>>>
>>>> ----- Mail original -----
>>>> De: "Christophe Lecerf"<adresse@cachée>
>>>> À: adresse@cachée, "Eric Duval"<adresse@cachée>
>>>> Envoyé: Jeudi 9 Février 2012 09:58:15
>>>> Objet: Re: [sympa-fr] Paramètres nrcpt dans Sympa
>>>>
>>>> Bonjour à tous,
>>>>
>>>> C'est assez curieux de voir que vous séparez les fonctions d'un
>>>> serveur de messagerie !
>>>>
>>>> Certes, il fait de l'envoi, et de ce point de vue vous regardez les
>>>> performances de votre côté, mais il fait aussi de la réception, et
>>>> alors les questions de performance vont avec celles du SPAM....
>>>>
>>>> Autrement dit, les performances d'envoi vers un serveur ne dépassent
>>>> JAMAIS les règles de réception de ce serveur. Lesquelles sont
>>>> paramètrées D'ABORD pour contrer les spammeurs. Logique, puisque
>>>> c'est 80% du trafic....
>>>>
>>>> Pour info, Orange, AOL et autres SFR ont des limites de nombre de
>>>> destinataires par session de l'ordre de la dizaine, parfois de
>>>> l'unité... Et aussi des limites sur la fréquence des sessions en
>>>> provenance d'un serveur, etc...
>>>>
>>>> Toutes sortes de moyens de freiner les spams que vos administrateurs
>>>> de serveurs de messagerie vous exposeront dans le détail, ce qui
>>>> vous permettra d'utiliser à bon escient les paramètres de SYMPA.
>>>>
>>>> Bon travail,
>>>> C. Lecerf
>>>>
>>>>
>>>> Le 8 févr. 2012 (6) à 15:30, Eric Duval a écrit :
>>>>
>>>>> Bonjour,
>>>>>
>>>>> Nous avons du synchroniser le nrcpt de sympa et des serveurs SMTP
>>>>> (Sendmail). Peut être êtes vous dans ce cas ?
>>>>>
>>>>> Eric Duval
>>>>> AFUL CGT Service informatique
>>>>>
>>>>> Le 07/02/2012 15:50, Sébastien JEAN a écrit :
>>>>>> Bonjour,
>>>>>>
>>>>>> Dans le cadre d'envoi de mails vers une liste avec un grand nombre
>>>>>> d'abonnés (plusieurs dizaines de milliers d'abonnés), nous
>>>>>> essayons
>>>>>> d'optimiser la distribution des mails.
>>>>>>
>>>>>> Dans un premier temps, nous avons, dans le « sympa.conf », défini
>>>>>> une
>>>>>> valeur de 500 pour la valeur « nrcpt », 30 pour la valeur « avg »
>>>>>> et
>>>>>> 400 pour la valeur de « maxsmtp ». Avec ces valeurs, nous nous
>>>>>> attendions des envois vers notre Postfix local de "lots" de 500
>>>>>> max
>>>>>> avec une limite de 30 domaines différents maximum par lots.
>>>>>>
>>>>>> Force est de constater qu'à l'utilisation, ces valeurs sont loin
>>>>>> d'être atteintes. dans les faits pour les listes les plus
>>>>>> importantes, nous envoyons principalement des lots d'une dizaine
>>>>>> de
>>>>>> mails (alors que n'atteignons pas la limite de 30 domaines
>>>>>> différents
>>>>>> par lots). Soit assez éloigné de la limite des 500. et ce manque
>>>>>> de
>>>>>> "factorisation" de mails entraîne un nombre important de connexion
>>>>>> smtp (et par conséquent, des performances de distribution
>>>>>> médiocres).
>>>>>>
>>>>>> Avez-vous une idée du pourquoi nous n'atteignons ces seuils ?
>>>>>>
>>>>>> N'ayant pas obtenu les résultats attendus avec la configuration
>>>>>> précédente, nous avons tenté d'utiliser le fichier de
>>>>>> configuration «
>>>>>> /home/sympa/etc/nrcpt_by_domain.conf », en définissant encore des
>>>>>> lots de 500 pour nos domaines principaux. Résultat, nous
>>>>>> n'atteignons
>>>>>> toujours pas les valeurs attendues. Nous envoyons principalement
>>>>>> des
>>>>>> lots d'une dizaine de personnes (des pics exceptionnels restons
>>>>>> sur
>>>>>> des lots d'une dizaines de mails (avec des pics très rares de 80
>>>>>> messages).
>>>>>>
>>>>>> Dans les 2 cas, nous avons le sentiment que ces configurations ne
>>>>>> sont pas prises en compte correctement. Avons nous oublier quelque
>>>>>> chose (ou avons nous un blocage ailleurs?) ? Avez vous
>>>>>> connaissance
>>>>>> d'un fonctionnement particulier de Sympa pour permettre la prise
>>>>>> en
>>>>>> compte de ces valeurs définissant les nrcpt ?
>>>>>>
>>>>>> En vous remerciant.
>>>>>>
>>>>>> Sébastien JEAN
>>>>>>
>>>>>> --- Sous-direction Infrastructure Direction du Numérique -
>>>>>> Université
>>>>>> de Lorraine Tél : 03.83.59.61.49  06.03.19.73.46
>>>>>>
>>>>>>
>>>> Christophe Lecerf (@free.fr)
>>>> adresse@cachée
>>>>
>>>>
>>>>
>>>>
>>>> -- 
>>>> Mathieu LARCHET
>>>> Direction du Numérique
>>>> Sous-Direction de l'Infrastructure
>>>> -- 
>>>> 91 avenue de la Libération - BP 454
>>>> 54001 Nancy Cedex
>>>> -- 
>>>> Tel : 03 54 50 36 57
>>>> Mail : adresse@cachée
>>>> -- 
>>>>
>>>>
>>>> _________________________________________________________________________________________________________________________
>>>>
>>>>
>>>> Ce message et ses pieces jointes peuvent contenir des informations
>>>> confidentielles ou privilegiees et ne doivent donc
>>>> pas etre diffuses, exploites ou copies sans autorisation. Si vous
>>>> avez recu ce message par erreur, veuillez le signaler
>>>> a l'expediteur et le detruire ainsi que les pieces jointes. Les
>>>> messages electroniques etant susceptibles d'alteration,
>>>> France Telecom - Orange decline toute responsabilite si ce message a
>>>> ete altere, deforme ou falsifie. Merci
>>>>
>>>> This message and its attachments may contain confidential or
>>>> privileged information that may be protected by law;
>>>> they should not be distributed, used or copied without authorization.
>>>> If you have received this email in error, please notify the sender
>>>> and delete this message and its attachments.
>>>> As emails may be altered, France Telecom - Orange shall not be liable
>>>> if this message was modified, changed or falsified.
>>>> Thank you.
>>>>
>>>>
>>>>
>


-- 
 Olivier LACROIX - Université de Lorraine
 Direction du Numérique / Infrastructures / Réseau Lothaire

 Château du Montet      |  Tél réseau : +33 (0)3.83.68.24.24
 Rue du Doyen Roubault  |  Tél direct : +33 (0)3.83.68.24.29
 F - 54500 VANDOEUVRE   |  http://reseau.ciril.fr/

*** List.pm.orig        2012-02-16 11:16:30.000000000 +0100
--- List.pm     2012-02-16 11:14:39.000000000 +0100
***************
*** 5691,5697 ****
        if ($sortby eq 'domain') {
            ## Redefine query to set "dom"
            
!           $statement = sprintf "SELECT user_subscriber AS email, 
comment_subscriber AS gecos, reception_subscriber AS reception, 
topics_subscriber AS topics, visibility_subscriber AS visibility, 
bounce_subscriber AS bounce, bounce_score_subscriber AS bounce_score, 
bounce_address_subscriber AS bounce_address,  %s AS \"date\", %s AS 
update_date, subscribed_subscriber AS subscribed, included_subscriber AS 
included, include_sources_subscriber AS id, custom_attribute_subscriber AS 
custom_attribute, REVERSE(SUBSTRING(user_subscriber FROM position('\@' IN 
user_subscriber) FOR 50)) AS \"dom\", suspend_subscriber AS suspend, 
suspend_start_date_subscriber AS startdate, suspend_end_date_subscriber AS 
enddate %s FROM subscriber_table WHERE (list_subscriber = %s AND 
robot_subscriber = %s ) ORDER BY \"dom\"", 
            $date_field, 
            $update_field, 
            $additional, 
--- 5691,5697 ----
        if ($sortby eq 'domain') {
            ## Redefine query to set "dom"
            
!           $statement = sprintf "SELECT user_subscriber AS email, 
comment_subscriber AS gecos, reception_subscriber AS reception, 
topics_subscriber AS topics, visibility_subscriber AS visibility, 
bounce_subscriber AS bounce, bounce_score_subscriber AS bounce_score, 
bounce_address_subscriber AS bounce_address,  %s AS \"date\", %s AS 
update_date, subscribed_subscriber AS subscribed, included_subscriber AS 
included, include_sources_subscriber AS id, custom_attribute_subscriber AS 
custom_attribute, REVERSE(SUBSTRING(user_subscriber FROM position('\@' IN 
user_subscriber) FOR 50)) AS dom, suspend_subscriber AS suspend, 
suspend_start_date_subscriber AS startdate, suspend_end_date_subscriber AS 
enddate %s FROM subscriber_table WHERE (list_subscriber = %s AND 
robot_subscriber = %s ) ORDER BY dom", 
            $date_field, 
            $update_field, 
            $additional,