Re: [sympa-fr] Problème bulkd et MySQL

[Mathieu LARCHET <adresse@cachée>]

Bonjour Matthieu,

Je n'ai jamais eu de réponse satisfaisante sur ce point.
Comme nous faisons une coupure tous les soirs de notre serveur MySQL (pendant quelques minutes le temps de la sauvegarde), nous rencontrons ce problème de façon très régulière (mais toujours aléatoire).

Du coup je redémarre mon Sympa systématiquement par CRON, pour ne pas rester une nuit complète sans envoi de message par Sympa.

Je précise que je n'ai jamais rencontré le problème en mode debug, c'est donc quelque chose qui est intimement lié au mode 'fork' du processus bulk (et qui n'arrive pas avec les autres processus Sympa).

Bon courage

---

De: "MATTHIEU VAREILLE" <adresse@cachée>
À: adresse@cachée, "Mathieu LARCHET" <adresse@cachée>
Cc: adresse@cachée, "Olivier LACROIX" <adresse@cachée>
Envoyé: Mardi 7 Février 2012 09:47:31
Objet: Re: [sympa-fr] Problème bulkd et MySQL

Bonjour,
En version 6.1.7, le problème est le même,
Suite à une erreur inopinée du serveur, sympa ne redémarre pas le process bulk
Le fichier bulk.pid contient bien le numéro de process mais avec des espaces/tabulations avant le numéro.

En enlevant ces espaces et en redémarrant sympa, cela repart.

Apparemment, toujours pas de solution connue ?

Merci
Bonne journée

----------------------------------------------------------------
Matthieu VAREILLE
----------------------------------------------------------------

---

De: "Mathieu LARCHET" <adresse@cachée>
À: "Olivier LACROIX" <adresse@cachée>
Cc: adresse@cachée, adresse@cachée
Envoyé: Jeudi 6 Janvier 2011 09:06:54
Objet: Re: [sympa-fr] Problème bulkd et MySQL

Bonjour à tous, j'en profites pour vous présenter mes meilleurs voeux pour 2011.

Je reviens sur ce problème de 'bulk' qui s'arrête inopinément.
Au cours du mois de décembre, j'ai exécuté le démon bulk en mode debug, donc sans 'fork' de processus. Je n'ai eu aucun problème au cours de cette période.
Je suis alors revenu au mode normal, et j'ai été tranquille jusque hier.

J'ai fait hier la mise à jour, de 6.1.1 en 6.1.3 et j'ai de nouveau rencontré le problème lors de l'arrêt MySQL.

Voici quelques extraits des logs :

Jan  5 21:02:26 neith bulk[28249]: err SQLSource::connect() Can't connect to Database DBI:mysql:sympa6:mysql.univ-nancy2.fr;port=3306 as sympa6
Jan  5 21:02:26 neith bulk[28249]: err SQLSource::connect() Can't connect to Database DBI:mysql:sympa6:mysql.univ-nancy2.fr;port=3306 as sympa6
...
Jan  5 21:16:13 neith bulk[14750]: info Configuration file read, default log level 0
Jan  5 21:16:13 neith bulk[14751]: notice tools::write_pid() Previous process 28249                     died suddenly ; notifying listmaster
Jan  5 21:16:13 neith bulk[14750]: info Starting bulk master daemon, pid 14751
Jan  5 21:16:13 neith bulk[14751]: err List::get_user_db() Unable to execute SQL statement "SELECT email_user AS email, gecos_user AS gecos, password_user AS password, cookie_delay_user AS cookie_delay, lang_user AS lang , attributes_user AS attributes, data_user AS data, last_login_date_user AS  last_login_date, wrong_login_count_user AS wrong_login_count, last_login_host_user AS last_login_host FROM user_table WHERE email_user = 'adresse@cachée' " : Lost connection to MySQL server during query
Jan  5 21:16:15 neith bulk[14751]: notice bulk.pl 6.1.3 Started

Quelques remarques, les deux premières lignes apparaissent une 20aine de fois (Can't connect).
Les espaces/tabulations après le 'Previous process 28249' sont tels quels dans les logs et dans le fichier PID.

Je rejoins Olivier sur le problème de fichier PID du démon Bulk qui semble erroné voire corrompu.

Merci d'avance pour vos remarques/suggestions si vous avez des pistes.

Le 07/12/2010 08:52, Olivier LACROIX a écrit :

Le 06/12/10 17:05, adresse@cachée a écrit :

Bonjour Mathieu

On Nov 16, 2010, at 4:38 AM, Mathieu LARCHET wrote:

Je rencontre un problème avec la version 6.1.1 de Sympa, avec le démon bulkd que je n'avais pas en version 5.4.x (où ce démon n'existait pas).

Chaque soir, notre serveur MySQL est sauvegardé et arrêté le temps de faire un snapshot (l'indisponibilité est de 1 à 2 minutes).
J'avais régulièrement des messages du démon sympa m'indiquant l'impossibilité d'accéder à la base (de 2 à 4 messages chaque soir) sans que cela n'entraine d'autres conséquences.
Il semblerait que le démon bulkd soit beaucoup plus sensible à cet arrêt, parfois il s'arrête silencieusement (très gênant, sympa continue de fonctionner normalement mais plus aucun message n'est envoyé), parfois il informe d'une erreur, sans possibilité de savoir si le traitement a été repris ensuite ou abandonné :
Le déplacement d'un message à la liste xxxxx vers le bulk mailer a
échoué. Vérifiez les logs pour plus d'informations.

J'aimerais savoir si d'autres rencontrent ce problème, et si il existe des paramètres sur lesquels je peux jouer pour le faire disparaître.

J'ai le même comportement avec Sympa 6.0.3 et une base de données Oracle. Quand le problème survient, il ne reste plus qu'un processus bulk.pl et il logue plus de 900 fois "SQLSource::connect() Can't connect to Database .." avant de ne plus rien loguer du tout.


Francis

Bonjour.

J'ai rencontré le même souci, mais je n'ai malheureusement pas pour l'instant de solution à vous proposer. J'ai cependant découvert quelques pistes de réflexion pour travailler à une solution :
- bulk.pl se duplique n fois (paramètre dans sympa.conf) afin de traiter les messages
- à chaque souci bulk.pl avait disparu et le fichier bulk.pid n'était plus cohérent avec la liste des PID des divers démons bulk lancés. Il restait un seul PID visible dans le fichier, mais celui-ci faisait plus de 50 octets alors que le PID occupe habituellement 5 caractères.

Pour l'instant, je sèche sur l'explication et la solution. Si d'autres personnes ont rencontré un tel souci, il serait intéressant qu'elles décrivent leur situation pour ouvrir un ticket d'incident le plus précis possible.

Cordialement.

--

Présidence de l'Université Nancy 2 DSI Bureau 159 91 avenue de la Libération BP 454 54001 NANCY CEDEX
	+33 3 54 50 36 57
	+33 3 54 50 36 51

Mathieu LARCHET

Pôle Infrastructure

--

Mathieu LARCHET
Direction du Numérique
Sous-Direction de l'Infrastructure
--
91 avenue de la Libération - BP 454
54001 Nancy Cedex
--
Tel : 03 54 50 36 57
Mail : adresse@cachée
--

Attachment: nu_nancy2.png
Description: PNG image