Projet

Général

Profil

Actions

Support #3039

fermé

Pb d'indexation lucene

Ajouté par François Cedelle il y a plus de 12 ans. Mis à jour il y a plus de 11 ans.

Statut:
Closed
Priorité:
Urgent
Assigné à:
Catégorie:
Moteur de recherche
Version cible:
-
Début:
15/03/2012
Echéance:
% réalisé:

0%

Temps estimé:
Navigateur:
Tous
Votre version de Silverpeas:
5.8.1
Système d'exploitation:
Linux
Livraison en TEST:
Livraison en PROD:

Description

Depuis plusieurs mois, le moteur de recherche retourne des résultats partiels.

En outre, il est impossible de recréer complètement les index (en suivant la documentation fournie). Tout se déroule en arrière plan sans pertubation, mais même après plusieurs heures de travail, les résultats ne sont pas plus complet. En revanche de nombreuses érreurs apparaissent dans les traces (cf. pj)

Nous allons déployer une nouvelle instance de production dans les jours à venir (avec Silverpeas 5.8.1) et nous aurions aimé profiter de cette occasion pour regler ce problème.

Nous vous demandons une intervention particulière pour nous aider à faire fonctionner correctement le moteur de recherche de Silverpeas.


Fichiers

TracesIndex.txt (11 ko) TracesIndex.txt François Cedelle, 15/03/2012 11:14
server.log (165 ko) server.log François Cedelle, 16/03/2012 11:32
server.log (165 ko) server.log François Cedelle, 16/03/2012 11:32

Mis à jour par François Cedelle il y a plus de 12 ans

Mis à jour par David Lesimple il y a plus de 12 ans

  • Statut changé de New à Assigned
  • Assigné à mis à David Lesimple

Mis à jour par David Lesimple il y a plus de 12 ans

Pourriez-vous joindre également le ou les fichiers server.log de Jboss ($JBOSS_HOME/server/default/log) ?

Mis à jour par Emmanuel Hugonnet il y a plus de 12 ans

Les indexes et les pièces jointes sont ils stockés sur le serveur ou sur un serveur de fichiers NFS ?
Pourriez-vous regarder la présence de messages d'erreur dans les logs système ?
En effet on remarque plusieurs broken pipe dans les traces fournies ce qui signifie des problèmes d'accès de bas niveau sur le filesystem.

Mis à jour par François Cedelle il y a plus de 12 ans

Indexes et pièces jointes sont sur un montage NFS v3 (seul la partie Jackrabbit est en dehors du NFS)
Ci-joint le fichier server.log

Je demande pour les log system...

Mis à jour par François Cedelle il y a plus de 12 ans

Indexes et pièces jointes sont sur un montage NFS v3 (seul la partie Jackrabbit est en dehors du NFS)
Ci-joint le fichier server.log

Je demande pour les log system...

Mis à jour par François Cedelle il y a plus de 12 ans

Réponse de l'admin system :

J'ai rapidement "scanné" les logs systèmes, on y trouve rien du tout, l'erreur que tu renvoie est une erreur généré par JAVA, on ne trouvera donc pas d'erreurs au niveau des logs systèmes. Maintenant il est possible qu'il soit nécessaire d'ajouter des options de montage pour le nfs (lock...). Quelles sont les préconisations des prestataires face à l'utilisation du NFS (faut il utiliser certaines options de montages etc.) ?

Autre piste qui me vient à l'esprit : les locales de l'user executant silverpeas doivent-elles être définie de manière particulière (UTF-8 ?)

Mis à jour par David Lesimple il y a plus de 12 ans

Pour NFS, je laisse Emmanuel répondre.
Je note dans les logs un problème d'accès à la base de données:
2012-03-16 01:30:04,004 ERROR [org.hibernate.transaction.JDBCTransaction] (DefaultQuartzScheduler_Worker-7) JDBC begin failed: org.postgresql.util.PSQLException: This connection has been closed.
et pas mal de warning sur la synchro LDAP, mais à priori, ces 2 points n'ont pas de liens avec l'indexation.

Mis à jour par David Lesimple il y a plus de 12 ans

oubli: oui les locales doivent etre UTF-8.

Mis à jour par François Cedelle il y a plus de 12 ans

J'ai les mêmes erreurs avec les locales en UTF-8.

Mis à jour par Emmanuel Hugonnet il y a plus de 12 ans

Il faut regarder du coté :
http://javasourcecode.org/html/open-source/lucene/lucene-2.4.1/org/apache/lucene/store/NativeFSLockFactory.html

Indiquer -Dorg.apache.lucene.store.FSDirectoryLockFactoryClass=org.apache.lucene.store.NativeFSLockFactory

Mis à jour par Emmanuel Hugonnet il y a plus de 12 ans

On a une NPE qui est lancée périodiquement je pense sur les documents versionnés qui n'ont pas de version publique.
On a aussi un système assez compliqué de threads pour l'indexation et l'extraction des contenus depuis les fichiers.
Je regarde pour le simplifier et améliorer les traces.

Mis à jour par David Lesimple il y a plus de 12 ans

  • Assigné à changé de David Lesimple à Emmanuel Hugonnet

Mis à jour par David Lesimple il y a environ 12 ans

  • Statut changé de Assigned à Feedback

Ce problème est-il toujours d'actualité sur la dernière version 5.10 ?
Des corrections complémentaires sur l'indexation ont été apportées dans la 5.11 qui doit sortir dans les prochaines jours.

Mis à jour par David Lesimple il y a plus de 11 ans

  • Statut changé de Feedback à Closed

En l'absence de retour client, je clos cette demande.

Actions

Formats disponibles : Atom PDF