Objet : Pour les administrateurs de serveurs de listes utilisant le logiciel Sympa
Archives de la liste
- From: Thibaut Jacob <adresse@cachée>
- To: adresse@cachée
- Cc: David Verdin <adresse@cachée>
- Subject: Re: [sympa-fr] Lenteur index sympa
- Date: Tue, 16 Feb 2016 14:52:36 +0100
|
Bonjour, Merci pour vos réponses. J'ai appliqué les plusieurs modifications pré-cité mais j'arrive à un résultat similaire. 1) Cependant, j'ai l'impression qu'il y a des erreurs dans ma configuration depuis la modification, voici le résultat après un reboot de mysql : en rouge ( le serveur MYSQL dispose de plusieurs base Sympa, 1 seule étant active et uniquement en MyISAM ) -------- General Statistics -------------------------------------------------- [--] Skipped version check for MySQLTuner script [OK] Currently running supported MySQL version 5.1.69-log [OK] Operating on 64-bit architecture -------- Storage Engine Statistics ------------------------------------------- [--] Status: -Archive -BDB -Federated +InnoDB -ISAM -NDBCluster [--] Data in MyISAM tables: 8G (Tables: 107) [--] Data in InnoDB tables: 24M (Tables: 9) [!!] Total fragmented tables: 19 -------- Security Recommendations ------------------------------------------- [OK] All database users have passwords assigned -------- Performance Metrics ------------------------------------------------- [--] Up for: 30m 20s (18K q [10.093 qps], 140 conn, TX: 8M, RX: 6M) [--] Reads / Writes: 59% / 41% [--] Total buffers: 442.0M global + 16.4M per thread (151 max threads) [OK] Maximum possible memory usage: 2.8G (37% of installed RAM) [OK] Slow queries: 0% (0/18K) [OK] Highest usage of available connections: 15% (23/151) [!!] Key buffer size / total MyISAM indexes: 384.0M/5.9G [!!] Key buffer hit rate: 81.3% (143K cached / 26K reads) [OK] Query cache efficiency: 77.5% (11K cached / 15K selects) [OK] Query cache prunes per day: 0 [OK] Sorts requiring temporary tables: 0% (0 temp sorts / 16 sorts) [!!] Temporary tables created on disk: 26% (110 on disk / 420 total) [OK] Thread cache hit rate: 83% (23 created / 140 connections) [OK] Table cache hit rate: 84% (140 open / 166 opened) [OK] Open file limit used: 6% (261/4K) [OK] Table locks acquired immediately: 100% (5K immediate / 5K locks) [!!] InnoDB data size / buffer pool: 24.3M/8.0M -------- Recommendations ----------------------------------------------------- General recommendations: Run OPTIMIZE TABLE to defragment tables for better performance MySQL started within last 24 hours - recommendations may be inaccurate When making adjustments, make tmp_table_size/max_heap_table_size equal Reduce your SELECT DISTINCT queries without LIMIT clauses Variables to adjust: key_buffer_size (> 5.9G) tmp_table_size (> 16M) max_heap_table_size (> 16M) innodb_buffer_pool_size (>= 24M) c'est assez étrange : mysql> SHOW STATUS LIKE "key%"; +------------------------+--------+ | Variable_name | Value | +------------------------+--------+ | Key_blocks_not_flushed | 0 | | Key_blocks_unused | 315536 | | Key_blocks_used | 10822 | | Key_read_requests | 143134 | | Key_reads | 26729 | | Key_write_requests | 13632 | | Key_writes | 3358 | +------------------------+--------+ 7 rows in set (0.00 sec) extrait fichier my.cnf : # The MySQL server [mysqld] datadir = /appli/mysql_sympa port = 3306 socket = /appli/mysql_sympa/mysql.sock skip-locking log_slow_queries = /var/log/mysql/mysql-slow.log key_buffer_size = 384M max_allowed_packet = 32M table_open_cache = 512 sort_buffer_size = 4M read_buffer_size = 4M read_rnd_buffer_size = 8M myisam_sort_buffer_size = 64M thread_cache_size = 8 open_files_limit = 4326 query_cache_size = 32M # Try number of CPU's*2 for thread_concurrency thread_concurrency = 4 2) Toujours un problème de latence pour la première recherche ou "Index des listes", de plus, il faut bien 2-3 minutes avant que le fcgi répondent correctement. 3) J'utilise depuis la version 6.2 le module fcgid, et non fast-cgi qui résulte par des erreurs 500 lors d'une action sur le moteur de liste. Le module fcgid ne généré pas d'erreur/latence avec un nombres de listes bas ( 10-100 listes ), seulement, passé la barre des 500, la latence ce fait ressentir. Cordialement, Le 16/02/2016 12:28, Patrice Garnier
(via sympa-fr Mailing List) a écrit :
Bonjour,
J’ai moi aussi des soucis de perf depuis mon passage
en 6.2.6 (depuis une 5.2.3) , J’ai suivi les conseils de
Dominique avec mysqltuner et les conseils de phpmyadmin plus un
peu de recherches mysql et ça a grandement amélioré les perfs.
essentiellement j’ai augmenté les compteurs suivants
Doublement des ces paramètres :
#mysql> SHOW VARIABLES
LIKE 'key_buffer_size';
#+-----------------+----------+
#| Variable_name | Value
|
#+-----------------+----------+
#| key_buffer_size |
67108864 |
#+-----------------+----------+
key_buffer_size = 128M
#mysql> SHOW VARIABLES
LIKE 'sort_buffer_size';
#+------------------+---------+
#| Variable_name | Value
|
#+------------------+---------+
#| sort_buffer_size |
2097144 |
#+------------------+---------+
sort_buffer_size = 4M
read_rnd_buffer_size = 4M
#mysql>
SHOW VARIABLES LIKE 'open_files_limit';
#+------------------+-------+
#|
Variable_name | Value |
#+------------------+-------+
#|
open_files_limit | 2558 |
#+------------------+-------+
open_files_limit =
4326
aussi ma base sympa est en
innoDB
#
* InnoDB
#
#
InnoDB is enabled by default with a 10MB datafile in
/var/lib/mysql/.
#
Read the manual for more InnoDB related options. There are
many!
#
innodb_buffer_pool_size=512M
J’ai aussi activé les slow queries :
J’ai constaté que les requêtes lentes concernent
l’enregistrement des sessions sympa
# Time: 160215 16:01:46
# User@Host: sympa_db[sympa_db] @
yuanzi.univ-tours.local [10.193.4.153]
# Query_time: 2.093816 Lock_time: 0.000133
Rows_sent: 0 Rows_examined: 0
SET timestamp=1455548506;
UPDATE session_table SET date_session = '1455548443',
remote_addr_session = '92.160.107.45', robot_session = 'listes.univ-tours.fr', email_session =
'nobody', start_date_session = '1455548440', hit_session =
'2', data_session =
';is_family_owner=\"\";data="\"\";checked_cas=\"0\"'"
WHERE id_session = '49494942235977' AND prev_id_session IS NOT
NULL OR prev_id_session = '49494942235977';
action 1 : Ajout d’index sur le champ prev_id_session
(id_session est la clé primaire)
action 2 : la table contenait plus de 700 000
enregistrements de sessions qui concernaient toutes les sessions
depuis ma migration ( septembre 2015)
j’ai mis en cron une tache d’effacement des vieilles
sessions inutiles :
mysql -h mysql.univ-tours.local -u sympa
—password=secret -B -e "USE sympa_db; DELETE FROM
session_table WHERE date_session < `date +%s --date="2
days ago"`;"
je n’ai plus que 5000 enregistrements dans la table
…
action 3 j’ai cherché si il y avait une option dans
le fichier de conf de sympa pour régler la conservation des
données de sessions je n’ai pas trouvé mais j’ai trouvé un
paramètre qui était commenté
je l’ai décommenté et mis l’expiration à 1 mois
## logs_expiration_period
## Nombre de mois avant
expiration de la journalisation
logs_expiration_period 1
un petit redémarrage de tout ça et j’ai amélioré mes
perfs dans un facteur 2 - 3
C’est pas mal , l’interface redevient utilisable
mais c’est toujours pas nerveux, je vais continuer à chercher
QUESTION A LA LISTE : est il normal que sympa se
comporte de la sorte pour la table des sessions ? / Ai-je
oublié un paramètre dans la conf ??
ps : j’avais déjà effectué des optimisatisons
auparavant (activation du cache db et des conf binaires sur les
conseils de David Verdin)
extraits de sympa.conf
##
cache_list_config
##
Utilisation de la version binaire de la liste de
configuration de la
##
structure sur le disque (non | fichier_binaire)
##
Mettre ce paramètre à "binary_file" si vous gérez une grande
quantité de
##
listes (1 000+); ça devrait accélérer le démarrage de
l'interface web
#cache_list_config
none
cache_list_config
binary_file
# http://www.sympa.org/manual/conf-parameters/part3#cache_list_config
#
list_table database table should be filled at the first time
by running sympa.pl --sync_list_db
db_list_cache on
## log_level
##
Verbosité des logs
##
0: normal, 2,3,4: pour le déboguage
#log_level
0
##
pour la prod pas de debug
log_level 0
Puis évidemment wws tourne
sous fast-cgi
Vérif de l’installation module fastcgi perl
# /usr/local/sympa/bin/sympa_wizard.pl --check
##############################################################################
# The programme va vous aider à installer tous les
modules Perl (CPAN) requis par Sympa.
## Sympa nécessite l'installation de 50 à 65 modules
pour fonctionner correctement.
# L'ensemble du processus d'installation devrait
prendre autour de 15 minutes.
# Vous devrez tout d'abord l'outil de ligne de
commande CPAN lui-même
# et sélectionner votre serveur CPAN favori.
# Notez que vous pouvez préférer installer ces
modules à l'aide de votre
# gestionnaire de paquetage (yum, apt-get) préféré.
# Vous pouvez interrompre ce programme à tout moment.
Il pourra être relancé
# sans dommage par la suite.
##############################################################################
Appuyez sur une touche pour continuer...
Vérification de la version de l'interpréteur Perl : Votre version de Perl est suffisante (5.014002 >= 5.008) Vérification des modules OBLIGATOIRES : module Perl depuis CPAN STATUS ----------- --------- ------ Archive::Zip Archive-Zip OK (1.30 >= 1.05) CGI CGI OK (3.52 >= 3.51) Class::Singleton Class-Singleton OK (1.5 >= 1.03) DBD::mysql DBD-mysql OK (4.020 >= 4.008) DBI DBI OK (1.616 >= 1.48) DateTime::Format::Mail DateTime-Format-Mail OK (0.402 >= 0.28) DateTime::TimeZone DateTime-TimeZone OK (1.93 >= 1.08) Digest::MD5 Digest-MD5 OK (2.51 >= 2.00) Email::Simple Email-Simple OK (2.208 >= 2.100) Encode Encode OK (2.42_01 >= 1.0) File::Copy::Recursive File-Copy-Recursive OK (0.38 >= 0.36) File::NFSLock File-NFSLock OK (1.21 >= 1.0) File::Path File-Path OK (2.08_01 >= 2.08) HTML::FormatText HTML-Format OK (2.10 >= 1.0) HTML::StripScripts::ParserHTML-StripScripts-ParserOK (1.03 >= 1.03) HTML::TreeBuilder HTML-Tree OK (4.2 >= 1.0) IO::File IO OK (1.15 >= 1.10) IO::Scalar IO-stringy OK (2.110 >= 1.0) LWP::UserAgent libwww-perl OK (6.03 >= 1.0) List::Util::XS Scalar-List-Utils OK (1.42 >= 1.20) Locale::Messages libintl-perl OK (1.24 >= 1.22) MHonArc::UTF8 MHonArc OK (2.6.19 >= 2.6.18) MIME::Base64 MIME-Base64 OK (3.13 >= 3.03) MIME::Charset MIME-Charset OK (1.012 >= 1.011.3) MIME::EncWords MIME-EncWords OK (1.014.3 >= 1.014) MIME::Lite::HTML MIME-Lite-HTML OK (1.23 >= 1.23) MIME::Tools MIME-tools OK (5.502 >= 5.423) Mail::Address MailTools OK (2.08 >= 1.70) Net::CIDR Net-CIDR OK (0.18 >= 0.16) Net::DNS Net-DNS OK (0.66 >= 0.65) Proc::ProcessTable Proc-ProcessTable OK (0.53 >= 0.44) Sys::Syslog Sys-Syslog OK (0.27 >= 0.03) Template Template-Toolkit OK (2.22 >= 2.21) Term::ProgressBar Term-ProgressBar OK (2.10 >= 2.09) Text::LineFold Unicode-LineBreak OK (2012.04 >= 2011.05) Time::HiRes Time-HiRes OK (1.972101 >= 1.29) URI::Escape URI-Escape OK (3.31 >= 1.35) Unicode::CaseFold Unicode-CaseFold OK (1.00 >= 0.02) XML::LibXML XML-LibXML OK (1.89 >= 1.0) Vérification des modules OPTIONNELS : module Perl depuis CPAN STATUS ----------- --------- ------ AuthCAS AuthCAS OK (1.6 >= 1.4) CGI::Fast CGI-Fast OK (1.08 >= 1.08) Crypt::CipherSaber Crypt-CipherSaber OK (0.61 >= 0.50) ps auxf : sympa 17242 0.7 3.0 457176 251988 ? S Jan29 33:56 /usr/bin/perl /usr/local/sympa/bin/sympa_msg.pl sympa 17245 0.0 0.6 251504 54448 ? S Jan29 0:13 /usr/bin/perl /usr/local/sympa/bin/sympa_automatic.pl sympa 17248 1.2 2.6 418340 217040 ? S Jan29 55:35 /usr/bin/perl /usr/local/sympa/bin/task_manager.pl sympa 17251 0.2 1.2 304828 105052 ? S Jan29 9:09 /usr/bin/perl /usr/local/sympa/bin/bulk.pl sympa 16202 0.0 1.2 304828 104076 ? S 13:16 0:05 \_ /usr/bin/perl /usr/local/sympa/bin/bulk.pl sympa 16209 0.0 1.2 304828 104068 ? S 13:16 0:05 \_ /usr/bin/perl /usr/local/sympa/bin/bulk.pl sympa 20006 0.1 1.2 304828 104000 ? S 14:52 0:01 \_ /usr/bin/perl /usr/local/sympa/bin/bulk.pl sympa 17254 0.0 0.7 258876 59508 ? S Jan29 0:16 /usr/bin/perl /usr/local/sympa/bin/bounced.pl sympa 17257 0.0 2.0 370056 166892 ? S Jan29 0:34 /usr/bin/perl /usr/local/sympa/bin/archived.pl root 21729 0.0 0.0 89440 7072 ? Ss Jan29 0:07 /usr/sbin/apache2 -k start www-data 6860 0.0 0.0 87660 2992 ? S Jan31 0:00 \_ /usr/sbin/apache2 -k start www-data 6861 0.0 0.0 87760 3140 ? S Jan31 0:01 \_ /usr/sbin/fcgi-pm -k start sympa 7050 0.5 1.7 343220 139976 ? S Jan31 10:08 | \_ /usr/bin/perl /usr/local/sympa/bin/wwsympa.fcgi sympa 8387 0.4 1.3 314928 111620 ? S Jan31 9:12 | \_ /usr/bin/perl /usr/local/sympa/bin/wwsympa.fcgi sympa 8465 0.5 1.7 350140 144660 ? S Jan31 10:09 | \_ /usr/bin/perl /usr/local/sympa/bin/wwsympa.fcgi sympa 8567 0.5 1.7 349896 146576 ? S Jan31 11:00 | \_ /usr/bin/perl /usr/local/sympa/bin/wwsympa.fcgi sympa 31486 1.0 1.7 349228 145892 ? S 05:18 6:12 | \_ /usr/bin/perl /usr/local/sympa/bin/wwsympa.fcgi sympa 31663 0.7 1.4 318004 114720 ? S 05:26 4:30 | \_ /usr/bin/perl /usr/local/sympa/bin/wwsympa.fcgi sympa 32019 1.2 1.7 350172 146688 ? S 05:48 7:06 | \_ /usr/bin/perl /usr/local/sympa/bin/wwsympa.fcgi sympa 32101 0.8 1.7 346080 140680 ? S 05:50 5:00 | \_ /usr/bin/perl /usr/local/sympa/bin/wwsympa.fcgi sympa 32105 1.0 1.8 350452 147244 ? S 05:50 5:56 | \_ /usr/bin/perl /usr/local/sympa/bin/wwsympa.fcgi sympa 20848 2.3 1.1 295280 93264 ? S 15:07 0:01 | \_ /usr/bin/perl /usr/local/sympa/bin/wwsympa.fcgi www-data 6862 0.0 0.0 88936 2824 ? S Jan31 0:00 \_ /usr/sbin/apache2 -k start www-data 6863 0.1 0.1 2019828 13688 ? Sl Jan31 2:50 \_ /usr/sbin/apache2 -k start www-data 6864 0.1 0.1 2020008 13780 ? Sl Jan31 2:50 \_ /usr/sbin/apache2 -k start Il y a encore peut être des optimisations à faire
dans fastcgi (je regarde dès que possible avec qq les données
que j’ai récupéré)
Si vous
avez des pistes je suis aussi preneur
Direction des Technologies de l' Information et de la Communication, Université de Tours Bat D, 60 rue du Plat d'étain BP 12050 37020 Tours cedex 1
-- Thibaut JACOB Pôle Hébergement National Ingénieur d'étude DSI - Rectorat d'Orléans-Tours 02 38 79 45 04 |
-
[sympa-fr] Lenteur index sympa,
Thibaut, 16/08/2022
-
RE: [sympa-fr] Lenteur index sympa,
LALOT Dominique, 12/02/2016
-
Re: [sympa-fr] Lenteur index sympa,
Thibaut Jacob, 15/02/2016
-
RE: [sympa-fr] Lenteur index sympa,
LALOT Dominique, 15/02/2016
- Re: [sympa-fr] Lenteur index sympa, Thibaut Jacob, 15/02/2016
-
Re: [sympa-fr] Lenteur index sympa,
Thibaut Jacob, 16/02/2016
-
Re: [sympa-fr] Lenteur index sympa,
Patrice Garnier, 16/02/2016
-
Re: [sympa-fr] Lenteur index sympa,
Thibaut Jacob, 16/02/2016
- Re: [sympa-fr] Lenteur index sympa, Patrice Garnier, 16/02/2016
- Re: [sympa-fr] Lenteur index sympa, Thibaut Jacob, 17/02/2016
-
Re: [sympa-fr] Lenteur index sympa,
Thibaut Jacob, 16/02/2016
-
Re: [sympa-fr] Lenteur index sympa,
Patrice Garnier, 16/02/2016
-
RE: [sympa-fr] Lenteur index sympa,
LALOT Dominique, 15/02/2016
-
Re: [sympa-fr] Lenteur index sympa,
Thibaut Jacob, 15/02/2016
-
RE: [sympa-fr] Lenteur index sympa,
LALOT Dominique, 12/02/2016
- Re: [sympa-fr] Lenteur index sympa, bruno.malaval, 16/08/2022
Archives gérées par MHonArc 2.6.19+.