Re: [sympa-fr] Problème d'import de données à une liste de diffusion depuis la source de données externes

[Hoan Vu <adresse@cachée>]

Bonjour,

Je vous remercie pour vos réponses rapides.

Le source de données externes que nous avons fait importer à la liste est un fichier contenant des adresses de messagerie, stocké sur le serveur sympa.

Le problème est que si nous faisons décomposer la liste de 150K adresses de messagerie en 5 sous liste de 30k adresses et les importer tous  à la liste, cela passe correctement.

Je suppose que ce n'est pas le problème de syntaxe.

Nous allons re-vérifier encore notre source de données externe à importer suite vos recommendations et vous tenir au courant sur le problème.

Bien cordialement,

Hoan Vu



Le 23/03/2018 à 10:25, Laurent Spagnol a écrit :
Bonjour,

Lors de l'importation d'abonnés, il faut effectivement faire très attention à la source de données.

Le problème ne se pose généralement pas avec une source LDAP car, en principe, les adresses mail sont correctes au niveau "syntaxe" et "encodage" (en tout cas, c'est le cas chez nous).

Le problème se pose à partir des sources de type "fichier".
Pire encore: lorsqu'il s'agit d'un document de type bureautique (tableur par exemple) constitué à coups de "copier-coller".
Ajoutez une dose de MacOS (qui a la fâcheuse manie d'utiliser des encodages UTF8 un peu à part) et on se retrouve avec des caractères "bizarres", souvent invisibles à l'oeuil nu, qui font immanquablement planter le WebUI ou les démons de Sympa.

Il faut également faire très attention aux sources de type SQL qui sont souvent alimentées par des applications qui ne vérifient pas les adresses mail.

La solution est effectivement de faire passer la liste d'adresses dans un script avant de les importer dans Sympa:
- vérification de la syntaxe
- vérification de l'encodage
- correction voire suppression des entrées incorrectes

On peut faire pas mal de choses en quelques lignes avec "sed", "tr", "awk" et "diff".

Cdlt,

LS


Le 23/03/2018 à 08:43, bruno malaval a écrit :

Bonjour,

Juste une piste, j'ai déjà eu ce message sur une importation

C'était simplement dû à une mauvaise adresse dans la liste importée (adresse invalide / un espace qui traine / un mauvais caractère / etc ....)
Je ne sais pas quel est le type de votre source de données, mais si le problème est là, il faudra trouver un moyen de vérifier les 150 000 adresses
autrement que manuellement ....

Bruno

Cordialement,

logo de l'UHA   
Bruno MALAVAL
Ingénieur Systèmes
Direction du Numérique
⟩ Université de Haute-Alsace
Bâtiment I
12 rue des Frères Lumière - 68093 Mulhouse Cedex
Mail : adresse@cachée
Téléphone : +33 (0)3 89 33 66 22
Télécopie : +33 (0)3 89 33 6058

    ⟩ Retrouvez l'UHA sur :
Le site Internet : www.uha.fr <http://www.uha.fr>
Facebook : http://www.facebook.com/universitehautealsace
Twitter : @UHA68 <http://twitter.com/UHA68>


------------------------------------------------------------------------

    *De: *"Hoan Vu" <adresse@cachée>
    *À: *adresse@cachée
    *Envoyé: *Vendredi 23 Mars 2018 07:08:32
    *Objet: *[sympa-fr] Problème d'import de données à une liste de
    diffusion depuis la source de données externes

    Bonjour,

    Nous avons voulu ajouter à une liste de diffusion une source de
    données  contenant 150.000 adresses de messagerie via l'interface
    web de Sympa.

    Mais nous avons eu un message d'erreur suivant : /"Erreur interne
    (review)- Impossible de construire les membres de la liste".
    /

    Par contre pour l'import à la liste d'une source contenant d'environ
    30.000 adresses de messagerie, cela passe correctement sans problème/.//
    /

    Est-ce que vous avez eu ce symptome? Je suis preneur de tous
    conseils/analyses.

    Je vous remercie par avance.


    Information sur le système
    //

    - Sympa version : 6.1.17

    - OS: CentOS 6.6

    - PostgreSql 9.2.5


    --     Hoan Vu
    R&D Engineer
    Linagora Group,www.linagora.com
    Email :adresse@cachée
    Phone : +33 6 38 99 80 80

-- 
Hoan Vu
R&D Engineer
Linagora Group, www.linagora.com
Email : adresse@cachée
Phone : +33 6 38 99 80 80