Oui, merci, j ai deja un code me permettant de lancer le zip. peux tu repondre aux questions specifiques dans mon mail stp. Si c est plus simple on s'appelle. Sigrid Le 27/11/2024 à 10:16, Eric Chatellier a écrit :
Ok, donc je ne vois pas réellement de blocage alors.
Il faudrait un fichier qsub avec:
#!/bin/csh /appli/emh-commun/isis-fish/jdk17/bin/java -Xmx2000M -jar /appli/emh-commun/isis-fish/isis-fish-4.4.8/isis-fish*.jar --option launch.ui false --option perform.vcsupdate false --option perform.migration false --option perform.cron false --simulateWithSimulation mon-ip-simulation_$PBS_ARRAY_INDEX chemin-zip-preparation.zip
Et lancer cela avec (exemple pour 1000 simulations) :
qsub -m n -l mem=2GB -l walltime=01:00:00 -J 0-1000 script.seq
Le 27/11/2024 à 10:00, Sigrid LEHUTA a écrit :
Le 27/11/2024 à 09:47, Eric Chatellier a écrit :
Bonjour,
Est-ce que le "zip de preparation" peut être le même pour toutes les simulations ? Oui
Est-il possible de baser, par exemple, toute la dynamicité du plan sur le numéro de simulation ? Sinon, c'est ce qui changerait dans le zip ? oui c est généralement le cas.
Je ne sais pas si tu sais, mais dans Isis il y a une option "Simulation/Préparer la simulation..." pour avoir ce zip justement.
oui oui c est ce qu'on fait quand on fait du LHS sur datarmor et ce à quoi je fais référence dans mon "option 1" quand je parle des zips.
Le 26/11/2024 à 18:13, Sigrid LEHUTA a écrit :
Bonsoir,
je reprends ma réflexion pour lancer un gros plan de simulation sur datarmor en profitant de la parallélisation mais en évitant
1) de mobiliser le PC qui doit envoyer les simus crées en local une par une sur datarmor et 2) sans rapatrier les résultats en local (je les attaquerai surement via R sur datarmor et ne rapatrierai que des petits fichiers synthétiques).
Pour info, le plan ne fait qu'ajouter des règles de gestion et modifié leurs paramètres selon la simu (il n'y a pas d'action en post simulation).
Je pense à plein de manières différentes de faire et je ne sais pas toutes les mener à bien, ni quelle est la + judicieuse/efficace. Je vous livre mes réflexions mais un coup de fil sera surement nécessaire.
_Malheureusement la demande est un peu pressée..._
Merci d'avance de votre aide !
Sigrid
Option 1 :
j'écris le plan de simu en java mais on shunte le lancement de la simu et au lieu qu'il lance la simu il ne fait que "préparer la simu" donc créer le zip. je mets tous ces zips sur datarmor et je demande à R de me lancer chaque simu en parallèle à partir d'un zip différent.
Mais je ne sais pas shunter le lancement de simu et preparer le zip a la place (j'imagine que c est ce qu il fait quand on lance sur datarmor depuis l interface), j'aurais besoin d'aide pour ça. en revanche je suis autonome sur le plan de simu.
Option 2 :
utiliser la structure mise en place pour lancer des LHS sur datarmor, dans laquelle c'est R qui lance isis et crée un dossier par simulation qui contient les fichiers utiles aux règles specifiques à chaque simu. Les regles sont ecrites de telle sorte à récuperer le chemin vers le bon dossier (a partir du numero de la simu contenu dans son nom) et pouvoir y lire les fichiers.
La question c'est : peut on faire lire a une regle un fichier avec ses propres parametres et les modifier en init ? Ou simplement on lit les nouvelles valeurs et elles ecrasent les valeurs par défaut ? Option 3 : la simu de ref contient le plan de simu qui ajoute les règles correctement configurées pour la simu en cours et qui ne lance que la simu courante. Ca je sais faire a partir du moment ou R passe l'info à isis du numero de la simu. Ensuite selon l'option il y a des détails que j'aimerais travailler : * Notamment le passage du numero de simu de R à isis, actuellement on fait récupère le numero de simu dans le string du nom de la simu :Stringsimu=context.getSimulationControl().getId();PatternsimulNamePattern=Pattern.compile("^(.+)_(i\\d+)$"); Stringpath=simulNamePattern.matcher(simu).replaceAll("_$1/$2/")+param_file; C'est peut etre plus propre via j2r ? Mais arrivera t'on a configurer la connexion R-java sur datarmor ? Sinon peut-on passer qqch en argument quand R lance isis, qui serait récupérable dans le simulation context ? * la modification des parametres de règles. On peut aller les lire un par un dans une matrice [simu x paramètre] et les modifier dans le plan, mais c'est un peu lourd. Dans le passé, je pouvais écrire des .txt avec ce type de format (ci-dessous) et les charger dans un objet Properties puis de faire un populateRule avec. Encore mieux, dans cet exemple, on a 2 modalités possibles de la regle GravityModelMixChannel et on indique laquelle on utilise. est ce toujours possible ? ca vous parait plus efficace ? puis de faire un populateRule (cf ci-dessous). 0=GravityModelMixChannel rule.0.parameter.behaviorBalance = 0.7 rule.0.parameter.beginDate=12 1=GravityModelMixChannel rule.1.parameter.behaviorBalance = 0.8 rule.1.parameter.beginDate=12 avec ce code Properties prop = new Properties(); prop.load(new BufferedReader(new FileReader(new File(dir, name+".txt")))); int mod = 0; String ruleName = prop.getProperty(""+mod); RuleStorage ruleStorage = RuleStorage.getRule(ruleName); Rule rule = ruleStorage.getNewInstance(); RuleHelper.populateRule(mod, TopiaContext, rule, prop);
Le 01/08/2024 à 17:29, Sigrid LEHUTA a écrit :
Merci pour la réponse.
je vais réfléchir a un moyen de contourner alors.
Le 01/08/2024 à 17:27, Eric Chatellier a écrit :
Bonjour,
Il faudrait voir les modalité de lancement, mais je ne pense pas.
S'il est lancé en SSH, ce n'est pas permis car ce n'est pas un noeud de simulation.
Et s'il est lancé via "qsub", cela ne va pas non plus car l'ensemble du plan "tournerait" sur un seul noeud.
Le 31/07/2024 à 14:29, Sigrid LEHUTA a écrit : > Hello, > > si je lance sur datarmor une simu preparée en local contenant un > plan de simulation. ca va marcher ? > > Merci >
-- Sigrid LEHUTA
><> __/\__ ~ ><> ~ \____/ ~
Fisheries modeller IFREMER - HALGO-EMH Ecology and modeling for fisheries science DECOD Dynamics and sustainability of ecosystems: from source to sea AFH Association Française d'Halieutique (AFH)
Centre Atlantique - Rue de l'Ile d'Yeu BP 21105 - 44311 Nantes Cedex 03 Tel. : 02 40 37 42 38 (8238)
Participez à l'ENQUETE Réduction des captures de dauphins :https://http-proxy.cloud.codelutin.com/enquete_delmoges
https://peche.ifremer.fr/Le-role-de-l-Ifremer/Recherche/Projets/Description-...
https://www.francefilierepeche.fr/projets/gemmbe/ https://delmoges.recherche.univ-lr.fr/presentation-du-projet/ https://www.ices.dk/advice/ESD/Pages/Bay-of-Biscay-and-the-Iberian-Coast_Lan...
https://halgo.ifremer.fr/en https://www.umr-decod.fr/en https://www.association-francaise-halieutique.fr/
_______________________________________________ Isis-fish-users mailing list Isis-fish-users@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-users Archives et moteur de recherche: http://list.isis-fish.org/pipermail/isis-fish-users/
-- Sigrid LEHUTA ><> __/\__ ~ ><> ~ \____/ ~ Fisheries modeller IFREMER - HALGO-EMH Ecology and modeling for fisheries science DECOD Dynamics and sustainability of ecosystems: from source to sea AFH Association Française d'Halieutique (AFH) Centre Atlantique - Rue de l'Ile d'Yeu BP 21105 - 44311 Nantes Cedex 03 Tel. : 02 40 37 42 38 (8238) Participez à l'ENQUETE Réduction des captures de dauphins : https://http-proxy.cloud.codelutin.com/enquete_delmoges https://peche.ifremer.fr/Le-role-de-l-Ifremer/Recherche/Projets/Description-... https://www.francefilierepeche.fr/projets/gemmbe/ https://delmoges.recherche.univ-lr.fr/presentation-du-projet/ https://www.ices.dk/advice/ESD/Pages/Bay-of-Biscay-and-the-Iberian-Coast_Lan... https://halgo.ifremer.fr/en https://www.umr-decod.fr/en https://www.association-francaise-halieutique.fr/