Re: [sympa-fr] Data too long for column 'include_sources_subscriber'

[David Verdin <adresse@cachée>]

Bien, effectivement, Sympa ne vérifiait pas si une adresse avait, ou 
non, été incluse plusieurs fois. Ce n'est d'ailleurs pas l'objet du 
paramètre "select", qui est juste de dire qi on prend toutes les 
adresses pour un seul compte ou juste la première rencontrée. Votre cas 
de figure n'était pas couvert. C'est vrai qu'il n'est peut-être pas très 
facile de réaliser une projection dans un filtre de requête LDAP.
Nous avons donc modifié le comportement de Sympa pour qu'il vérifie tout 
ça. Ce patch est bien sûr appliqué à la version en cours de 
développement uniquement.
Si vous le désirez, vous pouvez également l'appliquer sur votre version 
de Sympa. il fonctionne bien avec une requête LDAP simple. Pas encore de 
test sur une requête en deux passes.
Le patch peut être trouvé ici :
http://sourcesup.cru.fr/viewvc/viewvc/trunk/src/List.pm?r1=4805&r2=4813

Cordialement,

adresse@cachée a écrit :
> Bonjour,
>
> Le problème qu'on a , c'est que le select first ne semble pas fonctionner, parce qu'il 
> ne s'agit pas vraiment de doublons, les uid sont différentes, mais de personnes qui ont 
> une adresse mail "générique", ce qui est le cas de certaines entités (navire 
> cablier par exemple) et select first ou all donnent le même résultat.
>
> Cdt
>
> Jacques
>
> -----Message d'origine-----
> De : David Verdin [mailto:adresse@cachée] 
> Envoyé : lundi 21 janvier 2008 14:39
> À : DESMOULINS Charles ROSI/DPS
> Cc : adresse@cachée
> Objet : Re: [sympa-fr] Data too long for column 'include_sources_subscriber'
>
> Bêtement, j'avais une requête SQL en tête, mais c'est aussi possible en LDAP.
> Il s'agit de la projection ensembliste : on restreint le résultat à un 
> sous-ensemble des colonnes normalement retournée ; dans ce résultat, les 
> doublons sont éliminés. En projetant sur l'adresse email, on n'a, dans le 
> résultat, qu'un exemplaire de chaque adresse.
> En LDAP, c'est un peu différent. Dans Sympa, vous n'aurez qu'un exemplaire de chaque adresse en donnant la 
> valeur "first" au paramètre "select" du paragraphe "include_ldap_query". On 
> ne tiendra compte que de la première occurence de chaque email trouvé.
>
> Voilà qui devrait vous dépanner dans un premier temps. Cela dit, le 
> comportement que vous signalez doit être éliminé. Nous allons le corriger.
>
> Cordialement,
>
>
> adresse@cachée a écrit :
>   
> > Bonjour,
> >
> > Je ne comprends pas ce vous entendez par "projection sur le résultat".
> > Pour info, nous importons nos membres depuis un annuaire LDAP dont nous 
> > n'avons pas la maitrise.
> >
> > Merci de votre aide,
> > Charles
> >
> > -----Message d'origine-----
> > De : David Verdin [mailto:adresse@cachée] Envoyé : lundi 21 
> > janvier 2008 13:37 À : DESMOULINS Charles ROSI/DPS Cc : 
> > adresse@cachée Objet : Re: [sympa-fr] Data too long for column 
> > 'include_sources_subscriber'
> >
> > Bonjour,
> >
> > adresse@cachée a écrit :
> >   
> >     
> > > Bonjour,
> > >
> > > Je me permets de relancer le sujet.
> > > Nous rencontrons ce problème avec la taille de la colonne 
> > > 'include_sources_subscriber' lorsqu'une même adresse apparaît plusieurs fois 
> > > lors d'un import d'abonnés.
> > >
> > > Est-il possible de limiter les insertions dans cette colonne pour ne pas 
> > > dépasser sa taille max?
> > >   
> > >     
> > >       
> > Oui : en réalisant une projection sur le résultat de la requête pour ne 
> > conserver qu'un exemplaire de chaque adresse mail. Après tout, à quoi cela 
> > sert-il d'importer un utilisateur plusieurs fois ?
> > Et votre SGBD est justement, au contraire de Sympa, optimisé pour ce genre 
> > d'opérations.
> >
> > Cordialement,
> >   
> >     
> > > Je vous remercie de votre aide,
> > > Charles
> > >
> > > -----Message d'origine-----
> > > De : DESMOULINS Charles ROSI/DPS
> > > [mailto:adresse@cachée]
> > > Envoyé : mardi 15 janvier 2008 15:58
> > > À : adresse@cachée
> > > Objet : [sympa-fr] Data too long for column 'include_sources_subscriber'
> > >
> > >
> > > Bonjour,
> > >
> > > J'ai un serveur Sympa en version 5.2.1 & une base MySQL 5.0.
> > >
> > > J'ai constaté un problème suivant lorsque j'importe des abonnées à partir 
> > > d'une source LDAP ou d'un fichier.
> > >
> > > Si une même adresse mail revient plusieurs fois, j'obtiens l'erreur suivante : 
> > >
> > > Jan 15 15:10:50 XXXXXXXX wwsympa[14147]: Unable to execute SQL 
> > > statement "INSERT INTO subscriber_table (user_subscriber, 
> > > comment_subscriber, list_subscriber, robot_subscriber, 
> > > date_subscriber, update_subscriber, reception_subscriber, 
> > > topics_subscriber, 
> > > visibility_subscriber,subscribed_subscriber,included_subscriber,inclu
> > > d
> > > e_sources_subscriber) VALUES
> > > ('adresse@cachée', NULL, 'xxx.xxxxxxxxxxxx', 
> > > 'list.yyyyyy-zzzzzzz.com', FROM_UNIXTIME(1200406170), 
> > > FROM_UNIXTIME(1200406170), 'mail', NULL, 'noconceal', 0, 1, 
> > > 'd4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795
> > > d 08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08')" : Data too long 
> > > for column 'include_sources_subscriber' at row 1
> > >
> > > Jan 15 15:10:50 XXXXXXXX wwsympa[14147]: Unable to execute SQL statement 
> > > "INSERT INTO subscriber_table (user_subscriber, comment_subscriber, 
> > > list_subscriber, robot_subscriber, date_subscriber, update_subscriber, 
> > > reception_subscriber, topics_subscriber, 
> > > visibility_subscriber,subscribed_subscriber,included_subscriber,include_sources_subscriber)
> > >  VALUES ('adresse@cachée', NULL, 'xxx.xxxxxxxxxxxx', 
> > > 'list.yyyyyy-zzzzzzz.com', FROM_UNIXTIME(1200406171), FROM_UNIXTIME(1200406171), 
> > > 'mail', NULL, 'noconceal', 0, 1, 
> > > 'd4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d!
> > >       
>  479!
>   
> > >  5d08,d4795d08,d4795d08,d4795d08,d4795d08,d4795d08,d47
> > >
> > >
> > > Il semble que Sympa ajoute l'ID de la source dans la colonne "include_sources_subscriber" au tant de fois que l'adresse mail est trouvée. 
> > > Il ne "voit pas" que c'est la même source et il ne vérifie pas si la taille max de cette colonne est atteinte.
> > >
> > > J'aimerais savoir ce qu'on faire pour résoudre/contourner ce problème.
> > >
> > > Merci,
> > > Charles
> > >
> > >
> > > *********************************
> > > This message and any attachments (the "message") are confidential and intended solely for the addressees. 
> > > Any unauthorised use or dissemination is prohibited.
> > > Messages are susceptible to alteration. 
> > > France Telecom Group shall not be liable for the message if altered, changed or falsified.
> > > If you are not the intended addressee of this message, please cancel it 
> > > immediately and inform the sender.
> > > ********************************
> > >
> > >
> > > *********************************
> > > This message and any attachments (the "message") are confidential and intended solely for the addressees. 
> > > Any unauthorised use or dissemination is prohibited.
> > > Messages are susceptible to alteration. 
> > > France Telecom Group shall not be liable for the message if altered, changed or falsified.
> > > If you are not the intended addressee of this message, please cancel it 
> > > immediately and inform the sender.
> > > ********************************
> > >   
> > >     
> > >       
> > --
> > David Verdin
> > Comité réseau des universités
> >
> >
> >
> > *********************************
> > This message and any attachments (the "message") are confidential and intended solely for the addressees. 
> > Any unauthorised use or dissemination is prohibited.
> > Messages are susceptible to alteration. 
> > France Telecom Group shall not be liable for the message if altered, changed or falsified.
> > If you are not the intended addressee of this message, please cancel it 
> > immediately and inform the sender.
> > ********************************
> >   
> >     
>
> --
> David Verdin
> Comité réseau des universités
>
>
>
>
> *********************************
> This message and any attachments (the "message") are confidential and intended solely for the addressees. 
> Any unauthorised use or dissemination is prohibited.
> Messages are susceptible to alteration. 
> France Telecom Group shall not be liable for the message if altered, changed or falsified.
> If you are not the intended addressee of this message, please cancel it 
> immediately and inform the sender.
> ********************************
>   

--
David Verdin
Comité réseau des universités