- Isis-fish-devel - mailman.cloud.codelutin.com

Fuite mémoire dans IsisFish (in process)
by Eric Chatellier 09 Nov '09

09 Nov '09

Bonjour, J'ai ré-étudier le problème de l'erreur mémoire dans isis lorsqu'on lance plein de simulations "dans le même processus". L'erreur est toujours présente, lorsqu'on arrive au environ de 22 simulations : java.lang.OutOfMemoryError: PermGen space Il semblait que l'erreur avant était : java.lang.OutOfMemoryError: Java heap space * *J'ai utilisé ce blog pour savoir ce qu'était réellement une erreur "PermGen space" : http://blogs.sun.com/fkieviet/entry/classloader_leaks_the_dreaded_java J'ai donc refais du profiling de code en utilisant sa méthode (avec les outils du jdk : jdump, jhat...) Donc, il préconise de chercher dans les rapports les objets qui ne sont plus sensé être présents dans la mémoire après une simulation. Il y a donc entre autre : - les scripts (gravitymodel, simatrix) - les aspects des scripts - les équations On peut aussi voir ce qui garde cette référence, et ca à l'air d'être lié aux aspects, plus précisement les classes générées par aspectwerkz (via asm) qui conservent une référence statique sur le classloader , et le classloader qui conservent tout ce qu'il a instancié : Static reference from scripts.GravityModel_1__997515023_1620252780___AW_JoinPoint.THIS_CLASS (from class scripts.GravityModel_1__997515023_1620252780___AW_JoinPoint) : --> class scripts.GravityModel (160 bytes) (??:) --> fr.ifremer.isisfish.aspect.AspectClassLoader@0x7fd2658111b0 (122 bytes) (field classes:) --> java.util.Vector@0x7fd2662ac200 (36 bytes) (field elementData:) --> [Ljava.lang.Object;@0x7fd266387378 (1296 bytes) (Element 41 of [Ljava.lang.Object;@0x7fd266387378:) --> class scripts.SiMatrix_1_2118962238__1005843209___AW_JoinPoint (160 bytes) Pour résumer, les simulations sont isolée entre elles par un classloader qui n'est pas libéré à la fin. Je ne vois pas actuellement de solution pour résoudre ce problème. -- Éric <chatellier(a)codelutin.com> Tel: 02 40 50 29 28 http://www.codelutin.com

1 0

[Fwd: Re: CR du 22 octobre]
by Jean Couteau 04 Nov '09

04 Nov '09

2 1

Test des jobs multiples PSB
by Eric Chatellier 04 Nov '09

04 Nov '09

Bonjour, Voici le rapport concernant les tests des jobs multiples effectués sur caparmor avec tina. -- Éric <chatellier(a)codelutin.com> Tel: 02 40 50 29 28 http://www.codelutin.com Test avec multijob PBS ====================== Test multijobs -------------- Tests avec 100, 500, 1000 simulations. C'était des simulations sur 1 ans, mais tina a pu suivre que PBS ne plantait pas dès la soumissions de 1000 jobs. Les simulations tournent 16 par 16. Il ne les fait pas dans l'ordre. On peut lancer plusieurs multijobs en meme temps, ils sont mis en pause. Elle trouvait quand même le niveau de logs de PBS (coté administration) trop fort, et (si j'ai bien compris), si on s'amusait a soumettre 100000 jobs par cette méthode, ca pourrait planter aussi. Elle demande des infos de son coté. Queue de simulations -------------------- Apparement certains utilisateurs utilisant "qstat" (liste des simulations en cours et en attente) étaient un petit peu gêné de voir 500 simulations en attente pour isis fish :) Le multijob apparait comme un job unique dans la file. Performances ------------ Elle a lu le document de test profiling de caparmor, et a retenu qu'on pouvait atteindre 95% en utilisant une base mémoire. Avec une jvm 32 bits, la limite de 2go peut être vite atteinte. Avec une jvm 64 bits la limite est supérieure, mais les performances sont moins bonnes. Utilité ------- Ce mode de lancement est bien adapté aux plan d'analyses independant, et aux analyses de sensibilité. Isis envoie toutes les simulations et demande le lancement de toutes les simulations une seule fois. Il faut environs 40 minutes pour envoyer 500 simulations. Les 500 simulations ont tourné en 5 heures.

1 0

Test de performance d'isis-fish sur caparmor
by Eric Chatellier 04 Nov '09

04 Nov '09

Bonjour, Voici les résultats des tests de performance d'IsisFish sur caparmor. La mise à jour effectuée par IsisFish 3.3 "semble" à elle seule améliorer les performances sur caparmor : - IsisFish-3.2 : 64% de temps CPU - IsisFish-3.3 : 85% de temps CPU Les 15% de temps restant étant bien utilisé par les accès disques: - zip de simulation - base de données résultats - exports - zip de résultats Cordialement. -- Éric <chatellier(a)codelutin.com> Tel: 02 40 50 29 28 http://www.codelutin.com Test de profiling caparmor ========================== Description ----------- Carparmor : jdk-1.6.0.13 (x86), linux 2.6.16.60 (amd64) Local : jdk-1.6.0.16 (x86), linux 2.6.30 (amd64) Les tests caparmor ont tous été fait dans un noeud caparmor: qsub -I -q parallel8 -l select=1:ncpus=8 Test témoin ----------- Test effectué sur la base Golfe de Gascogne, avec tous les résultats sélectionné, tous les exports selectionnés. Local: real 11m49.791s user 11m34.471s sys 0m26.690s Caparmor: real 10m27.015s user 8m50.865s sys 0m38.374s Caparmor test 2 : real 9m59.770s user 8m42.357s sys 0m38.202s Mise à jour de java sur caparmor -------------------------------- Passage au jdk-1.6.0.16. Caparmor: real 9m34.355s user 8m51.889s sys 0m36.402s Caparmor test 2 : real 10m14.276s user 8m31.252s sys 0m37.202s Sensiblement la même chose. Test sans exports ----------------- Pas d'export. Tous les résultats possible sélectionné. Tous les logs en "error". Création du zip final. Caparmor: real 9m45.530s user 8m55.177s sys 0m40.087s Caparmor test 2 : real 10m44.570s user 8m42.845s sys 0m38.494s Sans la création du zip de resultat ----------------------------------- Pas d'export. Tous les résultats possible selectionné. Tous les logs en "error". Pas de creation du zip de fin. Caparmor : real 9m11.346s user 8m43.661s sys 0m36.758s Caparmor test 2 : real 10m7.875s user 8m25.776s sys 0m36.938s Seul les exports en écriture à la fin de la simulation ------------------------------------------------------ Base mémoire. Tous les résultats possible séléctionné. Export des résultats. Tous les logs en "error". Pas de creation du zip de résultats. Caparmor : real 9m25.109s user 9m49.869s sys 0m24.310s Caparmor test 2 : real 9m32.726s user 9m58.029s sys 0m23.917s Sans aucune écriture disque --------------------------- Base mémoire. Tous les résultats possible séléctionné. Pas d'export. Tous les logs en "error". Pas de creation du zip de résultats. Caparmor: real 9m36.553s user 9m36.592s sys 0m23.313s Caparmor test 2 : real 9m10.363s user 10m6.166s sys 0m24.294s Seule la base en mémoire ------------------------ Dans ce test, tous les acces disque ont été conservé (zip, export, zip resultat), exeptée la base de données résultat. Caparmor: real 9m39.021s user 9m37.508s sys 0m23.045s Caparmor test 2 : real 9m32.731s user 9m26.603s sys 0m23.297s Tests supplémentaires --------------------- Tous ces test ont révélés, un temps d'acces disque dû entre autre à la base de données, cependant, je ne suis jamais parvenu à reproduire les performances à 50% obtenu pendant la réunion. Tous les tests précendents ont été effectués sur la version 3.3.0 de IsisFish qui contient des versions plus récentes de quelques librairies. Test isis-fish-3.2.0.9 ~~~~~~~~~~~~~~~~~~~~~~ Caparmor: real 11m39.838s user 7m30.392s sys 0m27.446s Caparmor test 2: real 11m20.282s user 7m41.549s sys 0m27.146s On retrouve la perte de performance rencontrée lors de la réunion. Les tests de non regression ont été effectués entre isisfish 3.1 et 3.3, et les résultats sont bien toujours identiques. Test isis-fish-3.3 avec h2-1.1.119 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ real 11m9.378s user 7m55.218s sys 0m28.058s Test isis-fish-3.3 avec hibernate-3.3.1 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ real 9m58.471s user 8m0.890s sys 0m38.202s La mise a jour apporté par hibernate 3.3.2 semble améliorer les performances. Conclusion ---------- Les résultats des tests ont bien montrer que les écritures disques reduisaient les performance des jobs caparmor. Surtout les accès disques "en cours" de simulations dûs à la base de données. Performance: - isisfish-3.2 : ~ 64% - isisfish-3.3 : ~ 85% - isisfish-3.3 (avec base mémoire) : ~ 95% - isisfish-3.3 (sans ecriture) : ~ 105% Cependant, les optimisations envisageables ne sont pas évidentes: - l'import du zip initial est nécéssaire (données de simulation) - la base de résultat (pour ne pas consomer trop d'espace mémoire en cours de simulation) - les exports (les résultats de simulations) - le zip final de résultat (pour récupération des résultats)

3 7

[Fwd: (pas de sujet)]
by Eric Chatellier 03 Nov '09

03 Nov '09

-------- Message original -------- http://asserttrue.blogspot.com/2008/11/why-64-bit-java-is-slow.html To get more heap than that means either moving to a 64-bit JVM or using Terracotta. The latter (if you haven't heard of it) is a shared-memory JVM clustering technology that essentially gives you unlimited heap space. Or should I say, heap space is limited only by the amount of disk space. Terracotta pages out to disk as necessary. A good explanation of how that works is given here. -- =================================================== Tina Odaka RIC - IDM - IFREMER Tel: +33 (0)2 98 22 41 85 Fax: +33 (0)2 98 22 45 46 email: Tina.Odaka(a)ifremer.fr http://www.ifremer.fr/pcim ================================================== -- Éric <chatellier(a)codelutin.com> Tel: 02 40 50 29 28 http://www.codelutin.com

1 0

Creation d'un job PBS pour 3000 jobs de simulation
by Benjamin POUSSIN 03 Nov '09

03 Nov '09

----- Message Transféré ----- Date: Thu, 22 Oct 2009 14:43:23 +0200 De: Tina.Odaka(a)ifremer.fr À: poussin(a)codelutin.com Sujet: -J range Declares that this job is an array job. Sets job's array attribute to TRUE. The argument range identi- fies the integers greater than or equal to zero that are associated with the subjobs of the array. range is specified in the form X-Y[:Z] where X is the first index, Y is the upper bound on the indices and Z is the stepping factor. For example, 2-7:2 will produce indices of 2, 4, and 6. If Z is not specified, it is taken to be 1. service4>1015% cat toto echo $PBS_ARRAYID >out.$PBS_ARRAYID sleep 100 service4>1016% qsub -J 1:10 -- Benjamin -------------------- tél: +33 (0) 2 40 50 29 28 email: poussin(a)codelutin.com () campagne du ruban ascii http://www.codelutin.com /\ pour les mails en ascii

2 2

[Fwd: Re: [stats-rosuda-devel] JRI and windows]
by Jean Couteau 23 Oct '09

23 Oct '09

Intéressant pour nous.

1 0

Re: [Isis-fish-devel] your isis job killed 4 nodes on caparmor.
by Sigrid LEHUTA 21 Oct '09

21 Oct '09

Bonjour Tina, les jobs d'hier ont été lancés sur mon compte (slehuta), qui n a pas le repertoire tmp. Habituellement les jobs sont lancés sur le compte de benjamin poussin qui lui a un repertoire tmp. Il semble que tu es la seule a pouvoir créer ce répertoire sur mon compte et celui de Stéphanie. Pourrais tu le faire ? Merci. Sigrid Tina.Odaka(a)ifremer.fr a écrit : > your isis job killed 4 nodes on caparmor. please do not forget to > make standard output and standard error output saved in a file on > /export/home12/ 's tmp directory > or such. > I asked that to the developper of isis, and he knows he killed the > node before (for sometime!!) > regards, tina > > > r1i0n8:/var/spool/PBS/undelivered # ls -lart > total 638904 > drwxr-xr-x 8 root root 133 Oct 13 06:57 .. > -rw------- 1 slehuta emh 247177216 Oct 20 14:58 66544.service4.OU > -rw------- 1 slehuta emh 243961856 Oct 20 14:58 66545.service4.OU > -rw------- 1 slehuta emh 278286336 Oct 20 14:58 66546.service4.OU > -rw------- 1 cstruski emh 887 Oct 20 15:24 66225.service4.OU > -rw------- 1 cstruski emh 887 Oct 20 15:27 66224.service4.OU > -rw------- 1 cstruski emh 887 Oct 20 15:28 66226.service4.OU > -rw------- 1 cstruski emh 887 Oct 20 15:30 66223.service4.OU > drwxrwxrwt 2 root root 4096 Oct 20 15:30 . > > drwxr-xr-x 8 root root 133 Oct 12 21:22 .. > -rw------- 1 slehuta emh 234369024 Oct 20 14:58 66543.service4.OU > -rw------- 1 slehuta emh 300826624 Oct 20 14:59 66547.service4.OU > -rw------- 1 slehuta emh 148013056 Oct 20 14:59 66548.service4.OU > drwxrwxrwt 2 root root 78 Oct 20 14:59 . > r1i2n10:/var/spool/PBS/undelivered # > > r1i0n2:/var/spool/PBS/undelivered # ls -l > total 633736 > -rw------- 1 cstruski emh 888 Oct 20 15:16 66220.service4.OU > -rw------- 1 cstruski emh 888 Oct 20 15:11 66221.service4.OU > -rw------- 1 cstruski emh 887 Oct 20 15:15 66222.service4.OU > -rw------- 1 estreby delecpp 1412 Oct 20 15:00 66500.service4.OU > -rw------- 1 slehuta emh 695959552 Oct 20 14:58 66542.service4.OU > r1i0n2:/var/spool/PBS/undelivered # > r1i0n1:/var/spool/PBS/undelivered # ls -l > total 636588 > -rw------- 1 previf1 gprevimer 658 Oct 18 05:21 64690.service4.OU > -rw------- 1 fdufois ceact 320 Oct 20 16:13 65620.service4.OU > -rw------- 1 previf1 gprevimer 658 Oct 20 05:21 66081.service4.OU > -rw------- 1 ikhojast physed 881 Oct 20 15:22 66453.service4.OU > -rw------- 1 cstruski emh 833 Oct 20 15:10 66513.service4.OU > -rw------- 1 slehuta emh 785104896 Oct 20 15:01 66541.service4.OU > r1i0n1:/var/spool/PBS/undelivered # > > -- Sigrid LEHUTA ~ ><> ~ Doctorante Département Ecologie et Modèles pour l'Halieutique IFREMER, rue de l'ile d'Yeu BP 21105 44311 Nantes Cedex 03 Tél : +33 (0)2 40 37 41 23 (interne : 8123)

3 3

Vérification des bugs (isis 3.2)
by Eric Chatellier 21 Oct '09

21 Oct '09

Bonjour, Voici le rapport des bugs qui ont été vérifiés. Cette liste contient seulement les bug "fermés", avec pour chaque bug un commentaire. J'ai réouvert un seul bug qui a été fixé pour la fonctionnalité demandée mais qui peut être mieux corrigé (rappel) Bonne journée -- Éric <chatellier(a)codelutin.com> Tel: 02 40 50 29 28 http://www.codelutin.com Bugs vérifiés ------------- [#1706] V3.1.3 Importation nouvelle base en zip impossible Bug non reproduit [#1773] Rendre configurable le chemin/nom qsub Ok dans une interface graphique [#1774] La mise a jour des datas ne fonctionnent pas. Pas ok, mais du a un isis-database-3 corrompu. [#1777] Le rendu des resultats sur les cartes ne fonctionne pas. Ok [#1780] Exception a la fin d'une simution dans un sous process, mais tout semble fonctionner... Ce bug n'a pas été corrigé, mais il n'a pas pu être reproduit. [#1781] Probleme rechargement d'une sim + lancement de la simu. Rechargement et lancement d'une simulation sans erreurs [#1782] Probleme lors du lancement d'une simulation avec un plan d'analyse Max de 3 simu. Lancement d'un plan de simulation, pas d'erreur [#1791] Probleme pour utilise un repo de data recupere via svn Ce n'était pas un bug, mais un probleme de configuration d'isis [#1792] numero de la version quand on dézip Le zip contient bien un dossier principal avec la version [#1793] probleme de taille de fenetre La liste des script modifié s'affiche dans une liste déroulante [#1794] fichier de lancement go.bat mauvais Le script windows est maintenant correct. [#1798] suppression population impossible Creation suppression de population fonctionnent [#1799] Entrer deux facteurs identiques sur deux groupes différents de la même population Fixé dans le cas des groupes de population. Mais le cas se reproduit dans d'autres écrans (non bloquant, bug réouvert) [#1817] manque de zones de saisie dans l'interface Population/Saison_ Bloquant EC Fixé (validé par la recopie des bases anchois/langoustine) [#1818] Taille minimum nécessaire pour les fenêtres de saisie Fixé [#1819] Boite à cocher "changement de groupe" non cochée Fixé [#1820] Problème dans l'interface SetOfVessel/InputEffortDescription Fixé (les boutons sauver/annuler ont été réparés) [#1821] Les boutons &amp;amp;quot;annuler&amp;amp;quot; ne fonctionnent pas Fixé (les boutons sauver/annuler ont été réparés) [#1822] Mauvaises traductions Fixé [#1823] Noeuds de l'arbre de saisie non traduits Fixé [#1824] Bug rechargement de simulation:recherche du fichier xml mexico design Fixé [#1827] Bug simulation sur caparmor Non fixé. Probleme de caparmor, mais ne semble plus se reproduire sur caparmor 2 [#1828] Problème d'envoi des simulations sur caparmor Fixé. [#1829] Bug rechargement analyse sensibilité Fixé. [#1831] Non réactualisation du nombre d'année au chargement d'une simulation Fixé. [#1834] Ecran des facteurs équation trop grand sur les petites résolutions Fixé. [#1838] Equation continue plante Fixé. [#1839] Bouton sauver les paramètres de la simulation non fonctionnel Fixé. [#1841] Fuite mémoire lors de l'éxecution de simulations Fuite mémoire non resolu. Temporairement contourné (desactivation de in process) [#1843] Probleme pour creer des facteurs continus a partir d'equation Fixé. [#1844] Rechargement des prescripts dans l'interface de simulation ne fonctionne pas Fixé. [#1845] La base de données maintenant genere un fichier dans le repertoire de base pour chaque String Non fixé. Impossible a desactiver. [#1846] Lorsque l'on passe au dessus d'un sigma, il s'inverse, il ne faut pas Fixé. [#1847] Generation du prescript donne des semantiques null pour les dimensions des matrices Fixé (sémantiques plus nulles) [#1848] trop d'export au chargement d'une AS Fixé. [#1849] Mise en facteur equation Fixé. [#1850] Boucles de vérifications de simulations en trop ? Non fixé. Mais optimisé pour qu'elle soit faites moins souvent. [#1851] Rechargement de base ayant le meme nom en AS Fixé. [#1854] Impossible (à nouveau) de supprimer une population dans l interface de saisie Fixé. [#1855] Impossible de copier le contenu et d'agrandir une fenêtre d'erreur Fixé. [#1856] Rappel : les equations n'apparaissent pas dans la fenêtre de saisie des migrations Fixé. [#1857] Probleme de rafraichissement apres l'import (Exception) Fixé. [#1858] L'arbre ne se met pas a jour lorsqu'on creer une entité Fixé. [#1860] Fenetre de confiramtion de suppression trop grande Fixé. [#1861] Erreur lorsqu'on annule une modification sur input>espece>popalation>migration Fixé. [#1862] Traduction : interface de saisie des saisons Non spacialized / Spacialized Fixé. [#1863] Fenêtre de saisie de la distribution de la reproduction / saison = tableau 1 ligne x nb de mois de la saison Fixé. [#1864] Pas de rafraichissement de la matrice de changement de groupe apres avoir cocher/décocher le bouton spatialisé Fixé. [#1865] Le bouton Sauver ne se dégrise pas dans l interface de saisie de la reproduction apres une modif Fixé (les boutons sauver/annuler ont été réparés) [#1866] message d'erreur quand on ouvre une saison Fixé (pas reproduit) [#1867] les informations relatives à un groupe de population ne s'affichent pas les cases Fixé. [#1868] Saisie des strategies/Saisie des mois : le nom des mois n'est pas affiché Fixé. [#1869] La methode init() des Plan d'analyse n'est plus appelée Fixé. [#1870] Onglet Strategie/Saisie des mois : Disparition du nombre de jours d inactivité Fixé. [#1871] Onglet Strategie/Caractéristiques : Proportion du nombre de navires à zéro Fixé. [#1872] Impossible de supprimer un script... Fixé. [#1873] Erreur quand on tente de sauver : interface de saisie des populations/ capturabilité Non reproduit. [#1874] Ne peux pas ajouter de saison Fixé (validé par la recopie des bases) [#1875] Impossible d'aller sur une stratégie Fixé. [#1876] Impossibilité de créer une saison Fixé (validé par la recopie des bases) [#1877] Manque de cohérence dans les UI de mise en facteur Fixé. [#1878] La règle cantonnement ne fonctionne pas:fr.ifremer.isisfish.entities.ZoneImpl.cell, no session or session was closed Fixé. [#1881] Cliquer sur annuler decoche la boite-à-cocher Fixé. [#1882] si on ajoute deux regles de gestion identiques elles ne sont pas independantes Fixé. [#1883] impossible d ouvrir une seconde fenetre de lancement de simulation Fixé. [#1884] inpossible de modifier les parametres d une ancienne simulation rechargée Fixé. [#1885] error pendant une simu : fr.ifremer.isisfish.entities.PopulationImpl.populationGroup, no session or session was closed Fixé. [#1889] ordre des onglets - interface de saisie de pop Fixé. [#1890] Redimmensionnment de l'arbre de saisie de la base Fixé. [#1894] les parametres des simulations ne sont plus sauvegardés Fixé. [#1895] Les parametres des plan d'analyses ne sont pas restaurés au rechergement d'une simulation Fixé. [#1899] Les exports ne ferment pas les connexions à la base de données Fixé. [#1900] les regions ne se rechargent pas bien dans les ecrans de saisie Fixé. [#1904] Un accent en trop dans le résumé de simulation Fixé. _______________________________________________ Isis-fish-devel mailing list Isis-fish-devel(a)list.isis-fish.org http://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel

4 7

Connexion a caparmor depuis l'extérieur sous linux
by Eric Chatellier 21 Oct '09

21 Oct '09

Bonjour, J'ai réussi a me connecter a caparmor depuis linux finalement. En fait, l'applet essaye d'accéder au port 22, sous linux c'est impossible pour les utilisateurs standard, d'où le message "access denied". Mais elle utilise un autre port 4022, qui lui fonctionne. ssh -p 4022 localhost -- Éric <chatellier(a)codelutin.com> Tel: 02 40 50 29 28 http://www.codelutin.com

2 1