Bug #1879
fermé
Caractères chinois mal retranscrit
80%
Description
Lors de l'importation de notre base de données, les publications contenant des caractères chinois n'apparaissent pas correctement lors que l'on rentre dans les détails de la publication :
!!
Mais s'affiche correctement dans le listing des publications :
!!
Fichiers
| Image_039.png (5,63 ko) Image_039.png | Listing des publications | ||
| Image_040.png (10,1 ko) Image_040.png | Détails de publication | ||
| Image_045.png (8,91 ko) Image_045.png | Ancienne Base | ||
| Image_046.png (9,34 ko) Image_046.png | Nouvelle Base | ||
| Image_047.png (9,79 ko) Image_047.png | Publication v5 en chinois | ||
| Export_Caractères_spéciaux.html (1,18 Mo) Export_Caractères_spéciaux.html | Export publication Caracteres speciaux | ||
| Export_sb_publication_publi.txt.tgz (2,49 Mo) Export_sb_publication_publi.txt.tgz | sb_publication_publi | ||
| Export_sb_publication_publi_SilverpeasProduction.sql.tgz (1,57 Mo) Export_sb_publication_publi_SilverpeasProduction.sql.tgz | Export_sb_publication_publi_SilverpeasProduction.sql | ||
| Export_sb_publication_publi_SilverpeasProduction_ok.sql.tar.gz (1,56 Mo) Export_sb_publication_publi_SilverpeasProduction_ok.sql.tar.gz | Après remplacement des entités |
Mis à jour par Emmanuel GRANGE il y a plus de 13 ans
Détail des publications :
Listing des publications :
Mis à jour par Nicolas Eysseric il y a plus de 13 ans
- Statut changé de New à Feedback
- Assigné à
David Lesimplesupprimé
La base de données est-elle bien en UTF-8 ?
L'encoding des pages JSPs est-il bien en UTF-8 ?
Je pose ces questions car je ne reproduis pas le problème sur mon environnement de développement.
Mis à jour par Emmanuel GRANGE il y a plus de 13 ans
- Fichier Image_045.png Image_045.png ajouté
- Fichier Image_046.png Image_046.png ajouté
Oui, la base a été créé en utf-8, mais la base d'origine était en latin1.
Cependant, les caractères sont codés de la même façon que ce soit dans l'ancienne base, ou la nouvelle.
Ancienne base :
59012;"0";"质 量 和 环 境 手 册 - 修订等级 OR";"''";"2010/06/04";"2010/06/04";"9999/99/99";"1568";1;"''";"''";"''";"Valid";"";"";"2010/06/04";"kmelia3403";"1568";"2010/06/03";"1568";"00:00";"23:59";"";"";-1;"";"fr"
Nouvelle base :
59012;"0";"质 量 和 环 境 手 册 - 修订等级 OR";"''";"2010/06/04";"2010/06/04";"9999/99/99";"1568";1;"''";"''";"''";"Valid";"2010/06/04";"kmelia3403";"1568";"2010/06/03";"1568";"00:00";"23:59";"";"";-1;"";"fr";""
Je ne pense pas finalement que se soit un problème de base de données, ni d'importation.
Mis à jour par Nicolas Eysseric il y a plus de 13 ans
Il semble que les publications ont été créées sur une v4.
Que se passe-t-il si vous créez une nouvelle publication avec un titre en chinois ?
Mis à jour par Emmanuel GRANGE il y a plus de 13 ans
- Fichier Image_047.png Image_047.png ajouté
En effet, elles ont bien été créé sur v4.
Lorsque je créé une nouvelle publication en v5 avec un nom en chinois, ça s'affiche correctement dans le listing et les détails de la publication.
Et dans la base, cela donne (cf.image jointe):
73346;"0";"? ? ? ? ? ? ? - ???? OR";"''";"2011/04/13";"2011/04/13";"9999/99/99";"1471";1;"''";"''";"''";"Draft";"2011/04/13";"kmelia2772";"1471";"";"";"00:00";"23:59";"";"";-1;"";"";""
Mis à jour par Nicolas Eysseric il y a plus de 13 ans
Les publications en chinois représentent-elles un gros volume sur votre plateforme ?
Mis à jour par Emmanuel GRANGE il y a plus de 13 ans
- Fichier Export_Caractères_spéciaux.html Export_Caractères_spéciaux.html ajouté
En fait, cela ne concerne pas uniquement les caractères chinois, mais tous les caractères spéciaux étrangers (turc, chinois, portugais/espagnol), dans les noms des publication et les descriptions, soit presque 800 publications.
Mis à jour par Emmanuel GRANGE il y a plus de 13 ans
Bonjour,
Nous allons bientôt mettre la nouvelle version en production.
Avez-vous pu avancé sur ce problème ?
Mis à jour par Emmanuel Hugonnet il y a plus de 13 ans
Pourriez-vous nous faire un dump en format texte de la table en UTF-8 car il est préférable de passer par le texte plutôt que par un éditeur 'graphique'.
La solution envisageable serait de modifier ensuite via script ce dump afin de mettre les codes caractères UTF-8 'correct' à la place des entités HTML.
Mis à jour par Emmanuel GRANGE il y a plus de 13 ans
Ci-joint l'export de la table sb_publication_publi au format txt en UTF8.
N'ayant pas réussi à faire un filtre sur les caractères codés en unicode s'affichant mal, il s'agit d'un export de la table complète.
Mis à jour par Emmanuel Hugonnet il y a plus de 13 ans
- Assigné à mis à Emmanuel Hugonnet
Pourriez vous nous fournir un export au format texte (pas compressé par Postgres) avec les requêtes SQL d'insertion sans les OID ?
Votre fichier tgz n'est pas directement utilisable pour pouvoir remettre la table en état.
Mis à jour par Emmanuel GRANGE il y a plus de 13 ans
- Fichier Export_sb_publication_publi_SilverpeasProduction.sql.tgz Export_sb_publication_publi_SilverpeasProduction.sql.tgz ajouté
- Assigné à
Emmanuel Hugonnetsupprimé
Voici un export de la table effectué avec :
pg_dump -t sb_publication_publi -f /var/tmp/Export_sb_publication_publi.sql SilverpeasProduction
Mis à jour par Emmanuel Hugonnet il y a plus de 13 ans
- Fichier Export_sb_publication_publi_SilverpeasProduction_ok.sql.tar.gz Export_sb_publication_publi_SilverpeasProduction_ok.sql.tar.gz ajouté
Pourriez-vous valider en réimportant ces données que cela fonctionne correctement maintenant ?
Mis à jour par Emmanuel GRANGE il y a plus de 13 ans
J'ai effectué la restauration de la table dans notre environnement de Test, et les caractères turcs et chinois semblent désormais bien être retranscrits (sauf sur certaines configurations pas forcément à jour).
Par contre, il m'est délicat d'utiliser cette méthodologie d'import-export sur notre environnement de production, surtout s'il vous est nécessaire de travailler plusieurs heures dessus. Je peux difficilement bloquer le portail pendant tout ce temps.
Est-il possible de faire cela par requête SQL ?
Mis à jour par Emmanuel Hugonnet il y a plus de 13 ans
- Assigné à mis à Emmanuel Hugonnet
- % réalisé changé de 0 à 80
Hors le temps d'export/import des données le script java s'exécute en quelques secondes.
Il faut juste prévoir une intervention lors d'une mise à jour de la plate forme.
Mis à jour par Emmanuel Hugonnet il y a plus de 12 ans
- Statut changé de Feedback à Closed