Re: [fr@sympa] Au secours.. 400 mail reçus pour listmaster avec Le processus archived.pl précédent s'est terminé brutalement.

[Laurent Spagnol <adresse@cachée>]

Bonjour,

J'ai exactement la même chose ...
Un message dont le sujet "Dernier rappel : Nouvelle mise a jour 
importante!". Il est passé tout juste sous le score limite de rejet que 
j'ai fixé (RSPAMD).

Expéditeur: alias variable (préfixe "info" + nombre) sous le SLD "opati.eu".

Question à Dominique: je tourne sur une vieille version (6.2.32). Je 
sais, c'est pas bien, mais une MAJ m'obligerai à ré-écrire toutes mes 
procédures d'intégration/gestion #PasLeTemps !

Je n'ai pas de ligne 464 dans 
"/home/sympa/bin/Sympa/Spindle/ProcessArchive.pm" qui se termine comme ceci:

....
....
            # maybe need to remove some old archive
            my @archives = $archive->get_archives;
            my $nb_month = scalar @archives;
            my $i        = 0;
            while ($nb_month > $list->{'admin'}{'archive'}{'max_month'}) {
                $log->syslog(
                    'info',
                    'Removing %s/%s',
                    $archive->{base_directory},
                    $archives[$i]
                );

                unless ($archives[$i] eq $arc) {
                    $archive->purge_archive($archives[$i]);
                }
                $i++;
                $nb_month--;
            }
        }
    }

    unless ($archive->store($message) and $archive->html_store($message)) {
        return undef;
    }
    return 1;
}

1;
__END__

=encoding utf-8

=head1 NAME

Sympa::Spindle::ProcessArchive - Workflow of archive storage

=head1 SYNOPSIS

....
....

Vu mon niveau en Perl (proche du zéro absolu), je prèfère demander avant 
de faire une connerie ...

Je peux remplacer le bloc:
    unless ($archive->store($message) and $archive->html_store($message)) {
        return undef;
    }

Par ceci ?:
# DOM crash sur htmlparser et regexp
eval {
     unless ($archive->store($message) and
 $archive->html_store($message)) {
         return undef;
     }
 } or  return undef;
 #/DOM

Le 06/01/2023 à 11:11, David Verdin a écrit :
> Super, bravo Dominique !
>
> Ben là, il va falloir t'armer de courage et aller faire un PR dans Github.
C'est pas gentil ;)
> Mes pensées t'accompagnent.
#Condoléances ? (o_O)

Merci et @+

LS

> À plus !
>
>
> David
>
>
> On 06/01/2023 11:04, LALOT Dominique wrote:
> > J'ai patché vite fait:
> >
> > "/home/sympa/bin/Sympa/Spindle/ProcessArchive.pm" ligne 464
> >
> > ligne 4
> >
> > # DOM crash sur htmlparser et regexp
> > eval {
> >     unless ($archive->store($message) and 
> > $archive->html_store($message)) {
> >         return undef;
> >     }
> > } or  return undef;
> > #/DOM
> >
> > le résultat est nettement plus propre. en remettant le message dans le 
> > spool:
> >
> >
> > Sympa n'a pas pu archiver le message
> > 'adresse@cachée,1389,8655'.
> > Celui-ci est déplacé dans le répertoire '/home/sympa/spool/outgoing/bad'.
> > Consultez les logs pour plus de détails.
> >
> > Bon, au moins ça plante plus. Le mieux serait de ne pas faire suer le 
> > listmaster si ça n'archive pas ..
> >
> >
> > On fait comment pour reporter ça sur la prochaine release ?
> >
> >
> > A+
> >
> >
> > Dom
> >
> >
> > /--
> > /Mr Dominique LALOT
> > Directeur du Pôle Environnement Numérique
> > Direction du Numérique (DirNum)
> > *(* Aix * MarseilleUniversité//
> > ///Coordonnées: https://annuaire.univ-amu.fr/personnel/detail/bGFsb3Q= 
> > < http://annuaire.univ-amu.fr/personnel/detail/bGFsb3Q=>/
> > ------------------------------------------------------------------------
> > *De :* adresse@cachée <adresse@cachée> de la 
> > part de LALOT Dominique <adresse@cachée>
> > *Envoyé :* vendredi 6 janvier 2023 10:17:29
> > *À :* adresse@cachée
> > *Objet :* [fr@sympa] Au secours.. 400 mail reçus pour listmaster avec 
> > Le processus archived.pl précédent s'est terminé brutalement.
> >
> > Bonjour
> >
> >
> > En 25 ans de sympa, c'est la première fois que je vois ça et il faut 
> > patcher le code d'urgence..
> >
> >
> > Le processus archived.pl précédent s'est terminé brutalement.
> >
> > DIED: Complex regular subexpression recursion limit (65534) exceeded 
> > at /usr/share/perl5/HTML/StripScripts.pm line 1602.
> >  at /usr/share/perl5/HTML/StripScripts/Parser.pm line 121.
> >
> >
> > J'ai du virer le message de phishing à  la con qui comporte une 
> > section à faire pleurer /usr/share/perl5/HTML/StripScripts/Parser.pm
> >
> >
> > J'ai dû supprimer les messages pour calmer la tempête mais ça fait peur..
> >
> > Et c'est pas récent, voir le message de 2016:
> >
> >
> > https://listes.renater.fr/sympa/arc/sympa-fr/2016-07/msg00018.html 
> > <https://listes.renater.fr/sympa/arc/sympa-fr/2016-07/msg00018.html>
> >
> >
> > Il faut catcher l'erreur et ne pas archiver, virer le message qui pose 
> > problème et en foutant la paix à listmaster si possible.
> >
> >
> >
> > Le processus archived.pl précédent (avec le pid 1733287) est mort 
> > brutalement.
> > Date du crash : 06 Jan 2023  08:59
> > Erreurs :
> >
> > DIED: Complex regular subexpression recursion limit (65534) exceeded 
> > at /usr/share/perl5/HTML/StripScripts.pm line 1602.
> >  at /usr/share/perl5/HTML/StripScripts/Parser.pm line 121.
> > HTML::StripScripts::Parser::filter_html(Sympa::HTMLSanitizer=HASH(0x55ae2206e9e0), 
> > '<html><head></head>\x{a}<body><p align="center">\x{a}<br></p><div ali...') 
> > called at /home/sympa/bin/Sympa/HTMLSanitizer.pm line 117
> > Sympa::HTMLSanitizer::sanitize_html(Sympa::HTMLSanitizer=HASH(0x55ae2206e9e0), 
> > '<html><head></head>\x{a}<body><p align="center">\x{a}<br></p><div ali...') 
> > called at  /home/sympa/bin/Sympa/Message.pm line 980
> > Sympa::Message::_fix_html_part(MIME::Entity=HASH(0x55ae21c8db10), 
> > 'xx.fr') called at /home/sympa/bin/Sympa/Message.pm line 952
> > Sympa::Message::_fix_html_part(MIME::Entity=HASH(0x55ae21c95d98), 
> > 'xx.fr') called at /home/sympa/bin/Sympa/Message.pm line 936
> >         Sympa::Message::clean_html(Sympa::Message 
> > <adresse@cachée,1389,8655>) called 
> > at /home/sympa/bin/Sympa/Archive.pm line 479
> >         Sympa::Archive::html_store(Sympa::Archive 
> > <adresse@cachée/2023-01>, Sympa::Message 
> > <1672985091.1672985097.211337.communication@xxfr,1389,8655>) called at 
> > /home/sympa/bin/Sympa/Spindle/ProcessArchive.pm line 464
> > Sympa::Spindle::ProcessArchive::_mail2arc(Sympa::Message 
> > <adresse@cachée,1389,8655>) called 
> > at /home/sympa/bin/Sympa/Spindle/ProcessArchive.pm line 116
> > Sympa::Spindle::ProcessArchive::_twist(Sympa::Spindle::ProcessArchive=HASH(0x55ae21c8fe70),
> >  Sympa::Message <adresse@cachée,1389,8655>) 
> > called at /home/sympa/bin/Sympa/Spindle.pm line 83
> > Sympa::Spindle::spin(Sympa::Spindle::ProcessArchive=HASH(0x55ae21c8fe70)) 
> > called at /home/sympa/bin/archived.pl line 162
> >
> >
> > Une partie du message qui tue:
> >
> >
> > <html><head></head>
> > <body><p align=3D"center">
> > <br></p><div align=3D"center"><table align=3D"center" style=3D'backgro=
> > und: rgb(254, 254, 254); margin: 0px auto; padding: 0px; border-radius=
> > : 4px; width: 580px; color: rgb(10, 10, 10); text-transform: none; lin=
> > e-height: normal; letter-spacing: normal; font-family: Helvetica, Aria=
> > l, sans-serif; font-size: 14px; font-weight: normal; word-spacing: 0px=
> > ; vertical-align: top; border-collapse: collapse; border-spacing: 0px;=
> >  orphans: 2; widows: 2; font-feature-settings: "liga" 0; -webkit-text-=
> > stroke-width: 0px; text-decoration-thickness: initial; text-decoration=
> > -style: initial; text-decoration-color: initial;'>
> > <tbody>
> > <tr style=3D"padding: 0px; vertical-align: top;">
> > <td style=3D"margin: 0px; padding: 15px 0px; line-height: 1.4; vertica=
> > l-align: top; border-collapse: collapse; -ms-word-break: normal;">
> > <div style=3D"border-radius: 0px; width: 1px; height: 1px; display: in=
> > line-block; box-shadow: 0px 0px rgba(0,0,0,0), 0px 1px rgba(0,0,0,0), =
> > 0px 2px rgba(0,0,0,0), 0px 3px rgba(0,0,0,0), 0px 4px rgba(0,0,0,0), 0=
> > px 5px rgba(0,0,0,0), 0px 6px rgba(0,0,0,0), 0px 7px rgba(0,0,0,0), 0p=
> > x 8px rgba(0,0,0,0), 0px 9px rgba(0,0,0,0), 0px 10px rgba(0,0,0,0), 0p=
> > x 11px rgba(0,0,0,0), 0px 12px rgba(0,0,0,0), 0px 13px rgba(0,0,0,0), =
> > 0px 14px rgba(0,0,0,0), 0px 15px rgba(0,0,0,0), 0px 16px rgba(0,0,0,0)=
> > , 0px 17px rgba(0,0,0,0), 0px 18px rgba(0,0,0,0), 0px 19px rgba(0,0,0,=
> > 0), 0px 20px rgba(0,0,0,0), 0px 21px rgba(0,0,0,0), 0px 22px rgba(0,0,=
> > 0,0), 0px 23px rgba(0,0,0,0), 0px 24px rgba(0,0,0,0), 0px 25px rgba(0,=
> > 0,0,0), 0px 26px rgba(0,0,0,0), 0px 27px rgba(0,0,0,0), 0px 28px rgba(=
> >
> > etc etc
> >
> >
> >
> >
> > /--
> > /Mr Dominique LALOT
> > Directeur du Pôle Environnement Numérique
> > Direction du Numérique (DirNum)
> > *(* Aix * MarseilleUniversité//
> > ///Coordonnées: https://annuaire.univ-amu.fr/personnel/detail/bGFsb3Q= 
> > < http://annuaire.univ-amu.fr/personnel/detail/bGFsb3Q=>/
>
> --
> "Mieux vaut viser la perfection et la rater que viser la médiocrité et 
> l'atteindre."
> - Francis Blanche
>
> David Verdin
> Chef de Projet Collaboratif
> Département PROduits NUMériques
> Direction des Services Applicatifs
> RENATER - Rennes

--
Laurent Spagnol
Administrateur GNU/Linux

Responsable du pôle système
Service réseau et télécom
Direction du Numérique

Université de Reims
Campus du Moulin de la Housse
Bâtiment 3
BP 1039 - 51687 Reims cedex 2

Plan d'accès: https://www.openstreetmap.org/#map=19/49.24423/4.06244

Tel: +33 3 26 91 88 32
Fax: +33 3 26 91 31 87

https://numerique.univ-reims.fr