Modification du fonctionnement des simulation sur datarmor
Bonjour, Suite à une utilisation non conforme de datarmor par ISIS-Fish, j'ai effectué des modifications pour utiliser le transfert de fichier en FTP au lieu de SSH. La connexion SSH est toujours utilisé pour passer les commandes (qsub...). Serveur FTP ----------- Le service FTP tourne sur eftp.ifremer.fr et on ne peut écrire que dans /scratch (qui correspond à /home1/scratch/user/eftp/). J'ai donc été contraint de tout modifier pour: - uploader les fichiers dans /home1/scratch/user/eftp/ - lancer les simulations à partir des fichiers présent dans /home1/scratch/user/eftp/ - suite à la simulation, écrire les résultats également dans /home1/scratch/user/eftp/ Scratch ------- En me renseignant sur les différents partages "datahome", "datawork" et "scratch", je me suit aperçu que "scratch" était le plus adapté également pour faire tourner les simulations (emplacement du "isis-fish-4"): - accès plus rapide que sur les autres disques (haute performance) - espace de stockage de 10To - pas de sauvegarde - suppression automatique tous les 15 jours Le "HOME" d'ISIS-fish est donc maintenant /home1/scratch/user/isis-fish-4 Il faut noter qu'il est à l'extérieur de /home1/scratch/user/eftp/, donc son contenu n'est pas visible depuis le FTP. Il n'est donc plus possible de connaître la progression d'une simulation, mais je pense que ce n'était très peu utilisé finalement, car au vu du nombre de simulation, lorsque que l'état de la simulation est vérifié, elle est soit non démarrée, soit finie, mais très rarement "en cours". Authentification ---------------- Le login/mot de passe pour le FTP n'est pas le même que celui de datarmor. Il faut utiliser un compte "extranet", à configurer dans ISIS-fish pour s'y connecter. Je continue les tests sur datarmor... -- Éric Chatellier -www.codelutin.com - 02.40.50.29.28
Bonsoir Eric, je tente de lancer des simulations sur datarmor qui ne fonctionnent pas à cause de problèmes de chemins, semble t'il. En recherchant j'ai retrouvé ton mail d'avril auquel je n'avais pas réagi, excuse moi. Je suppose qu'il faut modifier la configuration et peut etre installer des choses dans mon dossier scratch. Pourras tu faire un point sur ces nouveautés et les changements dans la config ? Merci Sigrid Le 2020-04-08 20:28, Eric Chatellier a écrit :
Bonjour,
Suite à une utilisation non conforme de datarmor par ISIS-Fish, j'ai effectué des modifications pour utiliser le transfert de fichier en FTP au lieu de SSH. La connexion SSH est toujours utilisé pour passer les commandes (qsub...).
Serveur FTP -----------
Le service FTP tourne sur eftp.ifremer.fr et on ne peut écrire que dans /scratch (qui correspond à /home1/scratch/user/eftp/).
J'ai donc été contraint de tout modifier pour: - uploader les fichiers dans /home1/scratch/user/eftp/ - lancer les simulations à partir des fichiers présent dans /home1/scratch/user/eftp/ - suite à la simulation, écrire les résultats également dans /home1/scratch/user/eftp/
Scratch -------
En me renseignant sur les différents partages "datahome", "datawork" et "scratch", je me suit aperçu que "scratch" était le plus adapté également pour faire tourner les simulations (emplacement du "isis-fish-4"): - accès plus rapide que sur les autres disques (haute performance) - espace de stockage de 10To - pas de sauvegarde - suppression automatique tous les 15 jours
Le "HOME" d'ISIS-fish est donc maintenant /home1/scratch/user/isis-fish-4
Il faut noter qu'il est à l'extérieur de /home1/scratch/user/eftp/, donc son contenu n'est pas visible depuis le FTP. Il n'est donc plus possible de connaître la progression d'une simulation, mais je pense que ce n'était très peu utilisé finalement, car au vu du nombre de simulation, lorsque que l'état de la simulation est vérifié, elle est soit non démarrée, soit finie, mais très rarement "en cours".
Authentification ----------------
Le login/mot de passe pour le FTP n'est pas le même que celui de datarmor.
Il faut utiliser un compte "extranet", à configurer dans ISIS-fish pour s'y connecter.
Je continue les tests sur datarmor...
L'erreur au cas ou 2020-11-27 22:37:13,395 ERROR [pool-4-thread-2] (SSHSimulatorLauncher.java:301) simulate - Impossible de lancer une simulation sur serveur distant 2020-11-27 22:37:13,395 WARN [pool-4-thread-2] (SimulationJob.java:358) run - Can't simulate sim_testSMAC-LHS5000_dat_2020-11-27-22-12_0 java.rmi.RemoteException: Impossible de lancer une simulation sur serveur distant; nested exception is: fr.ifremer.isisfish.util.ssh.SSHException: Command 'qsub -m n -l mem=2GB -l walltime=01:00:00 -J 0-0 "/home1/datahome/slehuta/isis-tmp/simulation-sim_testSMAC-LHS5000_dat_2020-11-27-22-12-script.seq"|tee "/home1/datahome/slehuta/isis-tmp/simulation-sim_testSMAC-LHS5000_dat_2020-11-27-22-12-pbs.id"' fail to execute at fr.ifremer.isisfish.simulator.launcher.SSHSimulatorLauncher.simulate(SSHSimulatorLauncher.java:304) ~[isis-fish-4.4.2.5.jar:4.4.2.5] at fr.ifremer.isisfish.simulator.launcher.SimulationJob.run(SimulationJob.java:303) [isis-fish-4.4.2.5.jar:4.4.2.5] at java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source) [?:1.8.0_241] at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source) [?:1.8.0_241] at java.lang.Thread.run(Unknown Source) [?:1.8.0_241] Caused by: fr.ifremer.isisfish.util.ssh.SSHException: Command 'qsub -m n -l mem=2GB -l walltime=01:00:00 -J 0-0 "/home1/datahome/slehuta/isis-tmp/simulation-sim_testSMAC-LHS5000_dat_2020-11-27-22-12-script.seq"|tee "/home1/datahome/slehuta/isis-tmp/simulation-sim_testSMAC-LHS5000_dat_2020-11-27-22-12-pbs.id"' fail to execute at fr.ifremer.isisfish.simulator.launcher.SSHSimulatorLauncher.sendStartSimulationRequest(SSHSimulatorLauncher.java:1153) ~[isis-fish-4.4.2.5.jar:4.4.2.5] at fr.ifremer.isisfish.simulator.launcher.SSHSimulatorLauncher.startSimulation(SSHSimulatorLauncher.java:1011) ~[isis-fish-4.4.2.5.jar:4.4.2.5] at fr.ifremer.isisfish.simulator.launcher.SSHSimulatorLauncher.simulate(SSHSimulatorLauncher.java:297) ~[isis-fish-4.4.2.5.jar:4.4.2.5] ... 4 more Le 2020-11-27 22:36, slehuta a écrit :
Bonsoir Eric,
je tente de lancer des simulations sur datarmor qui ne fonctionnent pas à cause de problèmes de chemins, semble t'il. En recherchant j'ai retrouvé ton mail d'avril auquel je n'avais pas réagi, excuse moi.
Je suppose qu'il faut modifier la configuration et peut etre installer des choses dans mon dossier scratch.
Pourras tu faire un point sur ces nouveautés et les changements dans la config ?
Merci
Sigrid
Le 2020-04-08 20:28, Eric Chatellier a écrit :
Bonjour,
Suite à une utilisation non conforme de datarmor par ISIS-Fish, j'ai effectué des modifications pour utiliser le transfert de fichier en FTP au lieu de SSH. La connexion SSH est toujours utilisé pour passer les commandes (qsub...).
Serveur FTP -----------
Le service FTP tourne sur eftp.ifremer.fr et on ne peut écrire que dans /scratch (qui correspond à /home1/scratch/user/eftp/).
J'ai donc été contraint de tout modifier pour: - uploader les fichiers dans /home1/scratch/user/eftp/ - lancer les simulations à partir des fichiers présent dans /home1/scratch/user/eftp/ - suite à la simulation, écrire les résultats également dans /home1/scratch/user/eftp/
Scratch -------
En me renseignant sur les différents partages "datahome", "datawork" et "scratch", je me suit aperçu que "scratch" était le plus adapté également pour faire tourner les simulations (emplacement du "isis-fish-4"): - accès plus rapide que sur les autres disques (haute performance) - espace de stockage de 10To - pas de sauvegarde - suppression automatique tous les 15 jours
Le "HOME" d'ISIS-fish est donc maintenant /home1/scratch/user/isis-fish-4
Il faut noter qu'il est à l'extérieur de /home1/scratch/user/eftp/, donc son contenu n'est pas visible depuis le FTP. Il n'est donc plus possible de connaître la progression d'une simulation, mais je pense que ce n'était très peu utilisé finalement, car au vu du nombre de simulation, lorsque que l'état de la simulation est vérifié, elle est soit non démarrée, soit finie, mais très rarement "en cours".
Authentification ----------------
Le login/mot de passe pour le FTP n'est pas le même que celui de datarmor.
Il faut utiliser un compte "extranet", à configurer dans ISIS-fish pour s'y connecter.
Je continue les tests sur datarmor...
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org http://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
Le 27/11/2020 à 22:36, slehuta a écrit :
Bonsoir Eric,
je tente de lancer des simulations sur datarmor qui ne fonctionnent pas à cause de problèmes de chemins, semble t'il.
Dans le cas de la simulation "simulation-sim_testSMAC-LHS5000_dat_2020-11-27-22-12" c'est un bug d'Isis qui n'arrive pas à lancer une simulation sur datarmor dans le cadre d'un plan de simulation indépendant. Je n'ai peut etre jamais testé ce cas. Dis moi si tu veux une correction sur la version 4.4.2 ?
En recherchant j'ai retrouvé ton mail d'avril auquel je n'avais pas réagi, excuse moi.
Je suppose qu'il faut modifier la configuration et peut etre installer des choses dans mon dossier scratch.
Pourras tu faire un point sur ces nouveautés et les changements dans la config ?
Le changement d'utilisation de caparmor ne fonctionne que dans la version "Test Dynamique de flottille et Datarmor en FTP" (voir le mail en question). Il n'y a rien de spécial à changer dans la configuration, cela a été simplifié et Isis décide de pas mal de chose pour faire les simulations plus simplement. -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
Salut Eric, - oui je veux bien que tu corrige ce bug sur la 4.4.5 si ca n est pas le cas (une rapide verif montre que la 4.4.5 donne les memes resultats que la 4.4.2, je vais pouvoir mettre a jour) - Concernant la 4.5 : les tests sont prévus le 18 décembre. Nous avons pris beaucoup de retard désolée. Sigrid Le 2020-11-30 10:15, Eric Chatellier a écrit :
Le 27/11/2020 à 22:36, slehuta a écrit :
Bonsoir Eric,
je tente de lancer des simulations sur datarmor qui ne fonctionnent pas à cause de problèmes de chemins, semble t'il. Dans le cas de la simulation "simulation-sim_testSMAC-LHS5000_dat_2020-11-27-22-12" c'est un bug d'Isis qui n'arrive pas à lancer une simulation sur datarmor dans le cadre d'un plan de simulation indépendant. Je n'ai peut etre jamais testé ce cas.
Dis moi si tu veux une correction sur la version 4.4.2 ?
En recherchant j'ai retrouvé ton mail d'avril auquel je n'avais pas réagi, excuse moi.
Je suppose qu'il faut modifier la configuration et peut etre installer des choses dans mon dossier scratch.
Pourras tu faire un point sur ces nouveautés et les changements dans la config ? Le changement d'utilisation de caparmor ne fonctionne que dans la version "Test Dynamique de flottille et Datarmor en FTP" (voir le mail en question).
Il n'y a rien de spécial à changer dans la configuration, cela a été simplifié et Isis décide de pas mal de chose pour faire les simulations plus simplement.
Le 30/11/2020 à 10:15, Eric Chatellier a écrit :
Le 27/11/2020 à 22:36, slehuta a écrit :
Bonsoir Eric,
je tente de lancer des simulations sur datarmor qui ne fonctionnent pas à cause de problèmes de chemins, semble t'il.
Dans le cas de la simulation "simulation-sim_testSMAC-LHS5000_dat_2020-11-27-22-12" c'est un bug d'Isis qui n'arrive pas à lancer une simulation sur datarmor dans le cadre d'un plan de simulation indépendant. Je n'ai peut etre jamais testé ce cas.
Était-ce un cas particulier d'un plan qui ne lançait qu'une seule simulation ? C'est ça le problème en fait, pour les plans on lance des multi job sur datarmor et on ne peut pas lancer un multijob d'une seule simulation -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
Non il doit en lancer 5000.... Le 2020-12-01 15:06, Eric Chatellier a écrit :
Le 30/11/2020 à 10:15, Eric Chatellier a écrit : Le 27/11/2020 à 22:36, slehuta a écrit : Bonsoir Eric,
je tente de lancer des simulations sur datarmor qui ne fonctionnent pas à cause de problèmes de chemins, semble t'il.
Dans le cas de la simulation "simulation-sim_testSMAC-LHS5000_dat_2020-11-27-22-12" c'est un bug d'Isis qui n'arrive pas à lancer une simulation sur datarmor dans le cadre d'un plan de simulation indépendant. Je n'ai peut etre jamais testé ce cas.
Était-ce un cas particulier d'un plan qui ne lançait qu'une seule simulation ? C'est ça le problème en fait, pour les plans on lance des multi job sur datarmor et on ne peut pas lancer un multijob d'une seule simulation
Le 01/12/2020 à 15:17, slehuta a écrit :
Non il doit en lancer 5000....
Dans le parameter.properties sur datarmor, il y a : plan.0.parameter.simulationNumber=1 Je pense que tu as testé une seule simulation pour tester et ça n'a pas fonctionné à cause de cette seule simulation. -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
Le 01/12/2020 à 16:14, Eric Chatellier a écrit :
Je pense que tu as testé une seule simulation pour tester et ça n'a pas fonctionné à cause de cette seule simulation.
C'est corrigé en 4.4.5.1. -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
Oh la boulette... c'est possible que j'ai fait ça. Désolée. Merci pour la 4.4.5.1 je teste ce soir. Le 2020-12-01 16:14, Eric Chatellier a écrit :
Le 01/12/2020 à 15:17, slehuta a écrit :
Non il doit en lancer 5000.... Dans le parameter.properties sur datarmor, il y a :
plan.0.parameter.simulationNumber=1
Je pense que tu as testé une seule simulation pour tester et ça n'a pas fonctionné à cause de cette seule simulation.
ca marche en local mais j en ai pour 1 semaine... ;-) Le 2020-12-01 15:06, Eric Chatellier a écrit :
Le 30/11/2020 à 10:15, Eric Chatellier a écrit : Le 27/11/2020 à 22:36, slehuta a écrit : Bonsoir Eric,
je tente de lancer des simulations sur datarmor qui ne fonctionnent pas à cause de problèmes de chemins, semble t'il.
Dans le cas de la simulation "simulation-sim_testSMAC-LHS5000_dat_2020-11-27-22-12" c'est un bug d'Isis qui n'arrive pas à lancer une simulation sur datarmor dans le cadre d'un plan de simulation indépendant. Je n'ai peut etre jamais testé ce cas.
Était-ce un cas particulier d'un plan qui ne lançait qu'une seule simulation ? C'est ça le problème en fait, pour les plans on lance des multi job sur datarmor et on ne peut pas lancer un multijob d'une seule simulation
participants (2)
-
Eric Chatellier -
slehuta