[sympa-fr] Problèmes d'affichage de certaines archives avec Sympa 5.3a.10

[Olivier Salaün - CRU <adresse@cachée>]

Bonjour,

Christophe Zimmer adresse@cachée wrote:

Je reviens vers vous pour vous faire part de mon incompréhension concernant la récupération de nos archives
je vous transferts deux cas un qui fonctionne 2003-04 et un qui fait planter wwsympa 2004-04. La méthode est symple.
Je parts des fichiers log.aaaamm que je décompose avec burst je transfert dans le répertoire arctxt et je lance la reconstruction des archives
avec wwsympa en tant que listmaster pour la génération des fichiers html. La majorité des archives plante...
Si vous avez une idée !

J'ai installé vos archives chez nous et  testé avec une 5.3a.10.
Je constate en effet le problème, que nous avions déjà rencontré  sur notre propre serveur de listes. Le problème vient d'un problème de charset. Vous devriez trouver des messages de log dans votre error_log d'Apache :

[Fri Feb 23 13:41:46 2007] [error] [client 195.220.94.70] FastCGI: server "/usr/local/sympa-os/bin/wwsympa_sudo_wrapper.pl" stderr: utf8 "\\xE9" does not map to Unicode at /usr/lib/perl5/site_perl/5.8.8/i386-linux-thread-multi/Template/Provider.pm line 647, <$__ANONIO__> chunk 1., referer: http://spare-pki.cru.fr/sympa-os/arc/colombie/2003-04/
[Fri Feb 23 13:41:46 2007] [error] [client 195.220.94.70] FastCGI: server "/usr/local/sympa-os/bin/wwsympa_sudo_wrapper.pl" stderr: Malformed UTF-8 character (unexpected non-continuation byte 0x6b, immediately after start byte 0xe9) in substitution (s///) at /usr/lib/perl5/site_perl/5.8.8/i386-linux-thread-multi/Template/Parser.pm line 394, <$__ANONIO__> line 1., referer: http://spare-pki.cru.fr/sympa-os/arc/colombie/2003-04/

Le problème apparaît  lorsque des messages comportent des caractères accentués non encodés dans le champ sujet des messages. Ces messages ne sont pas conforme au format SMTP, mais beaucoup de clients de messagerie (Eudora par exemple) agissent ainsi ; il faut donc faire avec. Le mélange de caractères UTF-8 et ISO pose alors problème au parser des templates. Dans votre cas, c'est le message 2004-04/arctxt/2 qui pose problème (caractère 'é' du sujet non encodé).

Ce problème n'existait pas dans la version 5.2 de Sympa car nous ne faisions de transcodage des messages archivés en UTF-8 (de ce fait l'affichage des messages utilisant un encodage différent de celui de la langue de l'utilisateur fonctionnait mal). La version 5.3.x généralise l'utilisation d'UTF-8 notamment pour l'interface web et donc pour les archives.

Nous avons corrigé ce problème d'affichage des archives dans la dernière version CVS. Nous avons été amené à abandonner l'utilisation de l'encodage UTF8 interne de Perl car il les cas d'erreur sont mal gérés.

PS: Quand pensez vous passer en version 5.3 stable?

Nous avons réglé le plus gros des problèmes lié aux charset et la dernière version tourne chez nous depuis 15 jours sans problèmes majeurs. Nous prévoyons de sortir une version 5.3b.4 la semaine prochaine.

Cordialement.