[Fwd: stats d'envoi sympa+postfix]

[Aumont <adresse@cachée>]

Ci-dessous un message au sujet de sympa et postfix.

Je suis étonné que Postfix réputé nettement plus puissant que Sendmail
soit à ce point lent. Notre sendmail optimisé pour l'émission de mails
dans des listes nous permet d'atteindre 60K msg X abonné pour des tailles
de messages comparables sur une machine comparable (certe avec une meilleur
connectivité). On a même eu des pointes de 100K msg X abonné
en une heure (après un arretprolongé du demon sympa).

Toutefois, l'usage de Postfix permet à sympa de passer presque immédiatement
au message suivant dans sont spool là ou l'usage de Sendmail bloquerait Sympa
de longues heures. Dans le cas de figure décrit

Philippe Rivière donne ici quelques bonnes recettes Postfix .

La dernière suggestion sur la gestion de bounces : envoyer un remind
avec return-path unique aux gens aui ont des bounces et seulement à ces
gens là correspond exactement au premier travail que nous allons faire
en reprenant ce dossier des bounces. Il ne sera alors plus utile de créer
une liste "probe" pour faire ce remind. Dans une premier temps, on aura
un bouton "probe des abonnés en erreur" dans l'interface web, plus tard,
cette opération sera automatisable avec une periodicité en paramêtre.


-------- Original Message --------
Subject: stats d'envoi sympa+postfix
Date: Fri, 2 Mar 2001 10:03:35 +0100
From: Fil <adresse@cachée>
To: xxxxxxxxx

Bonjour,

(N'hésitez pas à faire suivre ce message aux listes que ça peut intéresser.)

Rappel du problème : une liste de 125 000 abonnés, 18% de "bounces", sur une
machine Debian/Linux avec postfix, sise sur une 2Mb/s.

Après de nombreux bricolages (cf ci-dessous) postfix+sympa, nous arrivons
enfin à quelque chose de raisonnable : postfix n'était pas trop saturé, et
il a suffi de 6h30 pour envoyer l'essentiel de la liste (contre 11h les fois
précédente). Le rythme moyen d'envoi peut surement être encore augmenté de
20 ou 30%, mais là on est déjà pas trop mal.

Je pense qu'une amélioration conséquente serait de demander à sympa de ne
pas faire un simple tri par domaine, mais de faire d'abord un tri par
bounce : i.e. passer d'abord les adresses qui n'ont jamais enregistré de
bounce (groupées par domaine), puis celles qui ont bouncé (par domaine
itou).


Per-Hour Traffic Summary
    time          received  delivered   deferred    bounced
    -------------------------------------------------------
    16:00-17:00      1182      17123       1251       1681
    17:00-18:00      1180      19688      10132       3324
    18:00-19:00      1128      17271       6693       2695
    19:00-20:00      1201      16636       6310       2070
    20:00-21:00       844      12196       7288       1148
    21:00-22:00       622      18087       6660        739
    22:00-23:00       515      11116       3504        516
    23:00-24:00       142       2812       1503        269


Les réglages et bricolages utilisés :

########################################################################
sympa.conf
----------
nrcpt           300             # des paquets de 300 adresses
avg             300             # idem
maxsmtp         2               # fait tourner 3 sendmail simultanés ;)
sendmail        /usr/sbin/sendmail-sleep    # voir plus loin


#########################################################################
postfix
-------
# 100 process smtp en parallèle
master.cf: smtp      unix  -       -       n       -       100     smtp

main.cf:
# ne pas retenter les deferred avant une heure
minimal_backoff_time = 3600
maximal_backoff_time = 7200

header_checks:
# postfix refuse les mails des autorépondeurs idiots
# mais je crois qu'il vaudrait mieux les passer dans /dev/null plutôt
# que bouncer ?  (liste à compléter et/ou à intégrer dans sympa?)
/^Subject: ILOVEYOU/ REJECT
/^From: .*adresse@cachée/ REJECT
/^Subject: Auto Reply to your message .../ REJECT
/^Subject: AUTO-REPLY/ REJECT
/^Subject: Automated Reply from / REJECT
/^Subject: Autoreply: / REJECT
/^Subject: cc:Mail Link to SMTP Undeliverable / REJECT
/^Subject: MFR: Notification de repondeur/ REJECT
/^Subject: Out of Office AutoReply: / REJECT
/^Subject: .+ponse automatique d'absence du bureau :/ REJECT
/^Subject: Yahoo! Auto Response/ REJECT
/^Subject: R.+p. : Resultats de vos commandes (Absence)/ REJECT
/^Subject: Abwesenheitsnotiz: / REJECT
/^Subject: .* est absent(e)/ REJECT
/^Subject: Fuori sede - Risposta automatica:/ REJECT
/^Subject: Subject: I'm out of the office/ REJECT
/^X-FC-MachineGenerated: true/ REJECT
/^Subject: Respuesta autom/ REJECT

/etc/aliases:
# avec cet alias on peut monter une fausse liste listname-probe
# avec un include_sql_query dans la base sympa qui va chercher 
# les adresses abonnées à listname et qui ont un bounce ;
# ensuite faire un "remind" sur cette fausse liste désabonnera DE LA BONNE
# LISTE les adresses qui bouncent sur le remind.
# !!! J'AI TESTÉ LE CONCEPT, MAIS PAS GRANDEUR NATURE.
bounce: "| /usr/bin/perl -pi -e's/-probe//g;' | /home/sympa/bin/bouncequeue 
sympa"


##########################################################################
/usr/sbin/sendmail-sleep        # utilise le "sendmail" de postfix puis
                                # attend 3 minutes avant de rendre la main à
                                # sympa
------------------------
#!/bin/sh
/usr/sbin/sendmail $*
sleep 180
------------------------



-- Fil