Re: [sympa-fr] Problème d'import de données à une liste de diffusion depuis la source de données externes

[Laurent Spagnol <adresse@cachée>]

Bonjour,

Lors de l'importation d'abonnés, il faut effectivement faire très 
attention à la source de données.

Le problème ne se pose généralement pas avec une source LDAP car, en 
principe, les adresses mail sont correctes au niveau "syntaxe" et 
"encodage" (en tout cas, c'est le cas chez nous).

Le problème se pose à partir des sources de type "fichier".
Pire encore: lorsqu'il s'agit d'un document de type bureautique (tableur 
par exemple) constitué à coups de "copier-coller".
Ajoutez une dose de MacOS (qui a la fâcheuse manie d'utiliser des 
encodages UTF8 un peu à part) et on se retrouve avec des caractères 
"bizarres", souvent invisibles à l'oeuil nu, qui font immanquablement 
planter le WebUI ou les démons de Sympa.

Il faut également faire très attention aux sources de type SQL qui sont 
souvent alimentées par des applications qui ne vérifient pas les 
adresses mail.

La solution est effectivement de faire passer la liste d'adresses dans 
un script avant de les importer dans Sympa:
- vérification de la syntaxe
- vérification de l'encodage
- correction voire suppression des entrées incorrectes

On peut faire pas mal de choses en quelques lignes avec "sed", "tr", 
"awk" et "diff".

Cdlt,

LS


Le 23/03/2018 à 08:43, bruno malaval a écrit :
> Bonjour,
>
> Juste une piste, j'ai déjà eu ce message sur une importation
>
> C'était simplement dû à une mauvaise adresse dans la liste importée 
> (adresse invalide / un espace qui traine / un mauvais caractère / etc ....)
> Je ne sais pas quel est le type de votre source de données, mais si le 
> problème est là, il faudra trouver un moyen de vérifier les 150 000 adresses
> autrement que manuellement ....
>
> Bruno
>
> Cordialement,
>
> logo de l'UHA   
> Bruno MALAVAL
> Ingénieur Systèmes
> Direction du Numérique
> ⟩ Université de Haute-Alsace
> Bâtiment I
> 12 rue des Frères Lumière - 68093 Mulhouse Cedex
> Mail : adresse@cachée
> Téléphone : +33 (0)3 89 33 66 22
> Télécopie : +33 (0)3 89 33 6058
>
>         ⟩ Retrouvez l'UHA sur :
> Le site Internet : www.uha.fr <http://www.uha.fr>
> Facebook : http://www.facebook.com/universitehautealsace
> Twitter : @UHA68 <http://twitter.com/UHA68>
>
>
> ------------------------------------------------------------------------
>
>     *De: *"Hoan Vu" <adresse@cachée>
>     *À: *adresse@cachée
>     *Envoyé: *Vendredi 23 Mars 2018 07:08:32
>     *Objet: *[sympa-fr] Problème d'import de données à une liste de
>     diffusion depuis la source de données externes
>
>     Bonjour,
>
>     Nous avons voulu ajouter à une liste de diffusion une source de
>     données  contenant 150.000 adresses de messagerie via l'interface
>     web de Sympa.
>
>     Mais nous avons eu un message d'erreur suivant : /"Erreur interne
>     (review)- Impossible de construire les membres de la liste".
>     /
>
>     Par contre pour l'import à la liste d'une source contenant d'environ
>     30.000 adresses de messagerie, cela passe correctement sans problème/.//
>     /
>
>     Est-ce que vous avez eu ce symptome? Je suis preneur de tous
>     conseils/analyses.
>
>     Je vous remercie par avance.
>
>
>     Information sur le système
>     //
>
>     - Sympa version : 6.1.17
>
>     - OS: CentOS 6.6
>
>     - PostgreSql 9.2.5
>
>
>     -- 
>     Hoan Vu
>     R&D Engineer
>     Linagora Group,www.linagora.com
>     Email :adresse@cachée
>     Phone : +33 6 38 99 80 80

--
Laurent Spagnol
Administrateur GNU/Linux

Université de Reims
Direction du Numérique

Campus du Moulin de la Housse
BP 1039 - 51687 Reims cedex 2

Plan d'accès : https://frama.link/DN-URCA

Tel: +33 3 26 91 88 32
Fax: +33 3 26 91 31 87

https://numerique.univ-reims.fr