Bug #3083
fermé
Consommation de mémoire excessive lors de la réindexation
100%
Description
A partir d'un certain volume de données, la ré-indexation devient impossible en raison d'une consommation excessive de mémoire. Cela a été constaté en ré-indexant les données d'un client (DSR). C'est très gênant dans la mesure où l'effet se produit sur la ré-indexation de certains espaces individuellement.
Les erreurs sont de type "GC overhead limit exceeded" ou "Java heap space".
Après analyse d'un dump de la mémoire, il s'avère que les objets les plus présents en mémoire sont des objets provenant de XMLBeans et de POI, bibliothèques utilisées par Tika au moment de l'indexation.
Une piste intéressante est la présence de 96 instances de OpenDocumentParser pour 1 seule instance de TikaParser (le premier n'étant utilisé que par le deuxième).
Mis à jour par Nicolas Dupont il y a plus de 12 ans
- % réalisé changé de 0 à 100
Point traité dans la pull request 143 : https://github.com/Silverpeas/Silverpeas-Core/pull/143
Cela devrait réduire sensiblement la consommation mémoire sur les gros volumes.
A titre informatif, autres pistes qui pourraient être exploitées :- utiliser la même instance lorsque plusieurs formats utilisent le même type de parser. Voir bundle com.stratelia.webactiv.util.indexEngine.Parser, parfois 3 fois le même (cela reste un problème mineur toutefois)
- basculer POI en version 3.8 (quand disponible) et/ou éviter d'utiliser usermodel (voir http://poi.apache.org/spreadsheet/index.html)
Mis à jour par Nicolas Dupont il y a plus de 12 ans
- Statut changé de In progress... à Resolved
Mis à jour par Nicolas Dupont il y a plus de 12 ans
- % réalisé changé de 100 à 50
Appliqué par commit commit:f410647c112d8b4640e88ad1ca4624faa1fbeb75.
Mis à jour par Nicolas Dupont il y a plus de 12 ans
Appliqué par commit commit:28d93cb87e7ebde6dd6e556ad55c8c54950c82ba.
Mis à jour par Nicolas Eysseric il y a plus de 12 ans
- Catégorie mis à Moteur de recherche
- Statut changé de Resolved à Closed
- % réalisé changé de 50 à 100
Intégré dans Silverpeas v5.9