Re: [sympa-fr] Problème d'import de données à une liste de diffusion depuis la source de données externes

[Laurent Spagnol <adresse@cachée>]

Bonjour,

"FcgidMaxProcesses 2" -> implique que tu as plusieurs processus wwympa 
qui tournent.

C'est une mauvaise bonne idée: certains paramètres sont récupérés dans 
les fichiers de conf, d'autres dans la base. De plus, les processus 
conservent des données en mémoire et elles ne sont pas partagées. Le 
résultat est que dans certains cas, une modif effectuée sur un processus 
ne sera pas "visible" des autres. Ce qui peut porter à confusion si tu 
ne tombe pas sur le processus qui a fait le changement !

Le problème était récurrent, en particulier avec la gestion des 
propriétaires et modérateurs: on me demandait une modif et le demandeur 
ne la voyait pas, ou plus précisément une fois sur deux (avec 2 
instances de wwsympa). Le seul moyen pour "mettre tout le monde 
d'accord": redémarrer les CGI !

A présent, je suis en proxy-cgi/Nginx, mais j'avais exactement le même 
problème avec Apache.

C'était vrai jusqu'à la version 6.2.18. Ce problème a été signalé, il me 
semble que des changements ont été faits, mais je ne me suis pas penché 
sur la question depuis.

Je ne démarre donc plus qu'une seule instance du CGI.

Côté performances: mon serveur Sympa tourne sur une VM 2vCPU / 4 Go RAM 
/ 300 Go de disque pour plus de 1800 listes -> pas de lenteur, je 
constate même une amélioration des temps de réponse avec les dernières 
versions.

Cdlt,

LS


Le 26/03/2018 à 11:36, Magali Bernard a écrit :
> Le 26/03/2018 à 11:26, Laurent Spagnol a écrit :
> > Bonjour,
> >
> > Ta réponse me fait penser à un autre facteur qui peut faire échouer 
> > l'import: si les 150000 adresses ne passent pas d'un coup mais 
> > qu'elles passent correctement en plusieurs fois, c'est peut-être tout 
> > simplement un problème de "timeout".
> >
> > Le timeout peut-être ajusté, regarde du côté de 
> > https://httpd.apache.org/mod_fcgid/mod/mod_fcgid.html (si ton serveur 
> > est Apache).
>
> Sans doute: J'ai eu des "internal error" apache au peuplement de listes 
> peuplées via LDAP, résolues en jouant sur:
> FcgidConnectTimeout 360
> FcgidMaxProcesses 2
>
> Bonne suite,
>
> > Cdlt,
> >
> > LS
> >
> >
> > Le 26/03/2018 à 10:00, Hoan Vu a écrit :
> > > Bonjour,
> > >
> > > Je vous remercie pour vos réponses rapides.
> > >
> > > Le source de données externes que nous avons fait importer à la liste 
> > > est un fichier contenant des adresses de messagerie, stocké sur le 
> > > serveur sympa.
> > >
> > > Le problème est que si nous faisons décomposer la liste de 150K 
> > > adresses de messagerie en 5 sous liste de 30k adresses et les 
> > > importer tous  à la liste, cela passe correctement.
> > >
> > > Je suppose que ce n'est pas le problème de syntaxe.
> > >
> > > Nous allons re-vérifier encore notre source de données externe à 
> > > importer suite vos recommendations et vous tenir au courant sur le 
> > > problème.
> > >
> > >
> > > Bien cordialement,
> > >
> > > Hoan Vu
> > >
> > >
> > >
> > > Le 23/03/2018 à 10:25, Laurent Spagnol a écrit :
> > > > Bonjour,
> > > >
> > > > Lors de l'importation d'abonnés, il faut effectivement faire très 
> > > > attention à la source de données.
> > > >
> > > > Le problème ne se pose généralement pas avec une source LDAP car, en 
> > > > principe, les adresses mail sont correctes au niveau "syntaxe" et 
> > > > "encodage" (en tout cas, c'est le cas chez nous).
> > > >
> > > > Le problème se pose à partir des sources de type "fichier".
> > > > Pire encore: lorsqu'il s'agit d'un document de type bureautique 
> > > > (tableur par exemple) constitué à coups de "copier-coller".
> > > > Ajoutez une dose de MacOS (qui a la fâcheuse manie d'utiliser des 
> > > > encodages UTF8 un peu à part) et on se retrouve avec des caractères 
> > > > "bizarres", souvent invisibles à l'oeuil nu, qui font 
> > > > immanquablement planter le WebUI ou les démons de Sympa.
> > > >
> > > > Il faut également faire très attention aux sources de type SQL qui 
> > > > sont souvent alimentées par des applications qui ne vérifient pas 
> > > > les adresses mail.
> > > >
> > > > La solution est effectivement de faire passer la liste d'adresses 
> > > > dans un script avant de les importer dans Sympa:
> > > > - vérification de la syntaxe
> > > > - vérification de l'encodage
> > > > - correction voire suppression des entrées incorrectes
> > > >
> > > > On peut faire pas mal de choses en quelques lignes avec "sed", "tr", 
> > > > "awk" et "diff".
> > > >
> > > > Cdlt,
> > > >
> > > > LS
> > > >
> > > >
> > > > Le 23/03/2018 à 08:43, bruno malaval a écrit :
> > > > > Bonjour,
> > > > >
> > > > > Juste une piste, j'ai déjà eu ce message sur une importation
> > > > >
> > > > > C'était simplement dû à une mauvaise adresse dans la liste importée 
> > > > > (adresse invalide / un espace qui traine / un mauvais caractère / 
> > > > > etc ....)
> > > > > Je ne sais pas quel est le type de votre source de données, mais si 
> > > > > le problème est là, il faudra trouver un moyen de vérifier les 150 
> > > > > 000 adresses
> > > > > autrement que manuellement ....
> > > > >
> > > > > Bruno
> > > > >
> > > > > Cordialement,
> > > > >
> > > > > logo de l'UHA
> > > > > Bruno MALAVAL
> > > > > Ingénieur Systèmes
> > > > > Direction du Numérique
> > > > > ⟩ Université de Haute-Alsace
> > > > > Bâtiment I
> > > > > 12 rue des Frères Lumière - 68093 Mulhouse Cedex
> > > > > Mail : adresse@cachée
> > > > > Téléphone : +33 (0)3 89 33 66 22
> > > > > Télécopie : +33 (0)3 89 33 6058
> > > > >
> > > > >     ⟩ Retrouvez l'UHA sur :
> > > > > Le site Internet : www.uha.fr <http://www.uha.fr>
> > > > > Facebook : http://www.facebook.com/universitehautealsace
> > > > > Twitter : @UHA68 <http://twitter.com/UHA68>
> > > > >
> > > > >
> > > > > ------------------------------------------------------------------------ 
> > > > >
> > > > >
> > > > >     *De: *"Hoan Vu" <adresse@cachée>
> > > > >     *À: *adresse@cachée
> > > > >     *Envoyé: *Vendredi 23 Mars 2018 07:08:32
> > > > >     *Objet: *[sympa-fr] Problème d'import de données à une liste de
> > > > >     diffusion depuis la source de données externes
> > > > >
> > > > >     Bonjour,
> > > > >
> > > > >     Nous avons voulu ajouter à une liste de diffusion une source de
> > > > >     données  contenant 150.000 adresses de messagerie via l'interface
> > > > >     web de Sympa.
> > > > >
> > > > >     Mais nous avons eu un message d'erreur suivant : /"Erreur interne
> > > > >     (review)- Impossible de construire les membres de la liste".
> > > > >     /
> > > > >
> > > > >     Par contre pour l'import à la liste d'une source contenant 
> > > > > d'environ
> > > > >     30.000 adresses de messagerie, cela passe correctement sans 
> > > > > problème/.//
> > > > >     /
> > > > >
> > > > >     Est-ce que vous avez eu ce symptome? Je suis preneur de tous
> > > > >     conseils/analyses.
> > > > >
> > > > >     Je vous remercie par avance.
> > > > >
> > > > >
> > > > >     Information sur le système
> > > > >     //
> > > > >
> > > > >     - Sympa version : 6.1.17
> > > > >
> > > > >     - OS: CentOS 6.6
> > > > >
> > > > >     - PostgreSql 9.2.5
> > > > >
> > > > >
> > > > >     --     Hoan Vu
> > > > >     R&D Engineer
> > > > >     Linagora Group,www.linagora.com
> > > > >     Email :adresse@cachée
> > > > >     Phone : +33 6 38 99 80 80
> > >
> > > --
> > > Hoan Vu
> > > R&D Engineer
> > > Linagora Group,www.linagora.com
> > > Email :adresse@cachée
> > > Phone : +33 6 38 99 80 80

--
Laurent Spagnol
Administrateur GNU/Linux

Université de Reims
Direction du Numérique

Campus du Moulin de la Housse
BP 1039 - 51687 Reims cedex 2

Plan d'accès : https://frama.link/DN-URCA

Tel: +33 3 26 91 88 32
Fax: +33 3 26 91 31 87

https://numerique.univ-reims.fr