Re: [Isis-fish-users] Datarmor : usage des noeuds de login
Bonjour, je lance des simulation ISIS-Fish sur datarmor en utilisant la configuration habituelle qui normalement ne pose pas probleme. Je transmet le message à code lutin car je ne comprends pas ce que vous demandez. Avez vous interompu mes jobs? Eric, vaut il mieux que je configure les lancements datarmor pour utiliser le isis-database-4 sur mon datawork plutot qu en local ? Merci Le 2020-03-22 12:11, Denis Croizé-Fillon a écrit :
Bonjour,
Merci de ne pas faire de transfert (rsync cp scp ...) via les noeuds de login :
Pour les échanges avec l'extérieur : - un accès ftp est possible à votre repertoire scratch : /home1/scratch/slehuta/eftp qui correspond au répertoire scratch une fois connecter en ftp sur eftp.ifremer.fr avec login et password extranet - un échange via la queue ftp est possible : /appli/services/exemples/pbs/ftp.pbs
Pour des échanges importants au sein des espaces de stockage de datarmor : lancer un job en interactif sur sequentiel et réaliser le traitement. Voici un exemple pour 1h avec 10 Go de mémoire réservé
qsub -I -l select=1:ncpus=1:mem=10gb -l walltime=01:00:00
Pour les questions sur l'usage de la machine : assistance@ifremer.fr
Denis
Bonjour, Depuis le lancement de datarmor, il a été demandé de ne pas utiliser les noeuds de login (les serveurs sur lesquels on se connecte en ssh, donc, plus globalement, datarmor.ifremer.fr) pour faire du transfert de données. Je constate pourtant de plus en plus de problèmes sur les serveurs de login. Les activités normales (connexion, édition, compilation, lancement et suivi de jobs, ...) sont impactés par des transferts réalisés de différentes manières. J'ai été amené à verrouiller ce type d'accès. Dans votre cas, cela correspond à des commandes scp sur datarmor1 et datarmor3. Pouvez vous m'indiquer quels sont les machines/espaces qui sont l'objet de ces transferts (source et destination) ? Merci Denis Le 22/03/2020 à 16:05, slehuta a écrit :
Bonjour,
je lance des simulation ISIS-Fish sur datarmor en utilisant la configuration habituelle qui normalement ne pose pas probleme. Je transmet le message à code lutin car je ne comprends pas ce que vous demandez.
Avez vous interompu mes jobs?
Eric, vaut il mieux que je configure les lancements datarmor pour utiliser le isis-database-4 sur mon datawork plutot qu en local ?
Merci
Le 2020-03-22 12:11, Denis Croizé-Fillon a écrit :
Bonjour,
Merci de ne pas faire de transfert (rsync cp scp ...) via les noeuds de login :
Pour les échanges avec l'extérieur : - un accès ftp est possible à votre repertoire scratch : /home1/scratch/slehuta/eftp qui correspond au répertoire scratch une fois connecter en ftp sur eftp.ifremer.fr avec login et password extranet - un échange via la queue ftp est possible : /appli/services/exemples/pbs/ftp.pbs
Pour des échanges importants au sein des espaces de stockage de datarmor : lancer un job en interactif sur sequentiel et réaliser le traitement. Voici un exemple pour 1h avec 10 Go de mémoire réservé
qsub -I -l select=1:ncpus=1:mem=10gb -l walltime=01:00:00
Pour les questions sur l'usage de la machine : assistance@ifremer.fr <mailto:assistance@ifremer.fr>
Denis
Le 22/03/2020 à 17:27, Denis Croizé-Fillon a écrit :
Bonjour,
Depuis le lancement de datarmor, il a été demandé de ne pas utiliser les noeuds de login (les serveurs sur lesquels on se connecte en ssh, donc, plus globalement, datarmor.ifremer.fr) pour faire du transfert de données.
Je constate pourtant de plus en plus de problèmes sur les serveurs de login. Les activités normales (connexion, édition, compilation, lancement et suivi de jobs, ...) sont impactés par des transferts réalisés de différentes manières. J'ai été amené à verrouiller ce type d'accès.
Bonjour, En effet nous utilisons actuellement une seule connexion SSH sur "datarmor.ifremer.fr" pour tout.
Dans votre cas, cela correspond à des commandes scp sur datarmor1 et datarmor3.
Il faut donc que j'ouvre: - une connexion SSH sur "datarmor" pour les commandes qsub ? - une seconde connexion sur "datarmor1" ou "datarmor3" pour les transferts SCP ?
Pouvez vous m'indiquer quels sont les machines/espaces qui sont l'objet de ces transferts (source et destination) ?
De mémoire, je dirais le poste local de l'utilisateur (n'importe où) vers $HOME/isis-fish-4 depuis le noeud de login (donc /home1/datahome/slehuta ?) (il est possible que ce dossier soit un lien symbolique sur /home1/datawork/slehuta/isis-fish-4 pour certains utilisateur). -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
Bonjour, - une connexion SSH sur "datarmor" pour les commandes qsub ? OUI - une seconde connexion sur "datarmor1" ou "datarmor3" pour les transferts SCP ? NON Les résultats à transférer sont placés ou copiés dans /home1/scratch/slehuta/eftp (scratch : durée de conservation de 15 jours, donc c'est du temporaire). Non, pas de lien Le contenu du /home1/scratch/slehuta/eftp est alors accessible en ftp par server : eftp.ifremer.fr login : login et password extranet directory : scratch L'exemple pris ici (scratch de slehuta) est transposable pour chaque compte datarmor Merci Denis Le 23/03/2020 à 10:20, Eric Chatellier a écrit :
Le 22/03/2020 à 17:27, Denis Croizé-Fillon a écrit :
Bonjour,
Depuis le lancement de datarmor, il a été demandé de ne pas utiliser les noeuds de login (les serveurs sur lesquels on se connecte en ssh, donc, plus globalement, datarmor.ifremer.fr) pour faire du transfert de données.
Je constate pourtant de plus en plus de problèmes sur les serveurs de login. Les activités normales (connexion, édition, compilation, lancement et suivi de jobs, ...) sont impactés par des transferts réalisés de différentes manières. J'ai été amené à verrouiller ce type d'accès.
Bonjour,
En effet nous utilisons actuellement une seule connexion SSH sur "datarmor.ifremer.fr" pour tout.
Dans votre cas, cela correspond à des commandes scp sur datarmor1 et datarmor3.
Il faut donc que j'ouvre:
- une connexion SSH sur "datarmor" pour les commandes qsub ?
- une seconde connexion sur "datarmor1" ou "datarmor3" pour les transferts SCP ?
Pouvez vous m'indiquer quels sont les machines/espaces qui sont l'objet de ces transferts (source et destination) ?
De mémoire, je dirais le poste local de l'utilisateur (n'importe où) vers $HOME/isis-fish-4 depuis le noeud de login (donc /home1/datahome/slehuta ?)
(il est possible que ce dossier soit un lien symbolique sur /home1/datawork/slehuta/isis-fish-4 pour certains utilisateur).
Le 23/03/2020 à 10:26, D Croizé-Fillon a écrit :
Les résultats à transférer sont placés ou copiés dans /home1/scratch/slehuta/eftp (scratch : durée de conservation de 15 jours, donc c'est du temporaire). Non, pas de lien
Le contenu du /home1/scratch/slehuta/eftp est alors accessible en ftp par
server : eftp.ifremer.fr
login : login et password extranet
directory : scratch
Ok, par contre, actuellement dans la logiciel IsisFish, nous n'utilisons que du SSH pour l'instant. La modification pour ajouter le support FTP risque de me prendre un moment. Y a-t-il une solution temporaire où nous pourrions utiliser SSH (et scp) sur des noeuds de connexion différents ? -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
Vous pouvez essayer datasession0.ifremer.fr C'est une machine temporaire sur laquelle nous avons encore des actions en cours mais cela vous permettra d'avancer. Bonne journée, Denis Le 23/03/2020 à 10:33, Eric Chatellier a écrit :
Le 23/03/2020 à 10:26, D Croizé-Fillon a écrit :
Les résultats à transférer sont placés ou copiés dans /home1/scratch/slehuta/eftp (scratch : durée de conservation de 15 jours, donc c'est du temporaire). Non, pas de lien
Le contenu du /home1/scratch/slehuta/eftp est alors accessible en ftp par
server : eftp.ifremer.fr
login : login et password extranet
directory : scratch
Ok, par contre, actuellement dans la logiciel IsisFish, nous n'utilisons que du SSH pour l'instant. La modification pour ajouter le support FTP risque de me prendre un moment.
Y a-t-il une solution temporaire où nous pourrions utiliser SSH (et scp) sur des noeuds de connexion différents ?
Le 23/03/2020 à 10:41, D Croizé-Fillon a écrit :
Vous pouvez essayer datasession0.ifremer.fr
C'est une machine temporaire sur laquelle nous avons encore des actions en cours mais cela vous permettra d'avancer.
@Sigrid: Tu veux une modification d'Isis pour qu'il utilise cette machine ? Tu es sur une version 4.2 ? -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
Je suis en 4.4.2.5 a cause des problemes rencontres avec la nouvelle version. du coup j aimerai eviter tant que je n ai pas pris le temps de verifier la 4.4.4.1. je n ai pas compris grand chose a vos échanges mais si le probleme vient du rapatriement des resultats en local, n est il pas plus simple d indiquer a isis dans la config datarmor d utiliser un isis fish 4 sur mon datawork ? comme pour calibrar ? Ca marcherait ? Merci Le 2020-03-23 10:44, Eric Chatellier a écrit :
Le 23/03/2020 à 10:41, D Croizé-Fillon a écrit :
Vous pouvez essayer datasession0.ifremer.fr
C'est une machine temporaire sur laquelle nous avons encore des actions en cours mais cela vous permettra d'avancer.
@Sigrid: Tu veux une modification d'Isis pour qu'il utilise cette machine ?
Tu es sur une version 4.2 ?
Le 23/03/2020 à 15:45, slehuta a écrit :
Je suis en 4.4.2.5 a cause des problemes rencontres avec la nouvelle version. du coup j aimerai eviter tant que je n ai pas pris le temps de verifier la 4.4.4.1.
Je pense que dans la configuration datarmor, tu peux remplacer "datarmor" par "datasession0". Ca devrait aller dans un premier temps.
je n ai pas compris grand chose a vos échanges mais si le probleme vient du rapatriement des resultats en local, n est il pas plus simple d indiquer a isis dans la config datarmor d utiliser un isis fish 4 sur mon datawork ? comme pour calibrar ? Ca marcherait ?
Le problème actuel est que le ISIS "pilote" envoie les données de simulation, les lance et récupére les résultats (le tout à distance). Calibrar "pitlote" tout depuis datarmor directement, je crois, donc ce n'est pas le même fonctionnement. -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
Bien que ne connaissant pas du tout la chaine en place, je réagis sur un point : "le ISIS "pilote" envoie les données de simulation, les lance et récupére les résultats" l'envoi et la récupération de données via datasession0 devrait marcher de manière similaire aux noeuds de login. Par contre l'appel à PBS pour faire des simulations ne marchera pas. Il faut là (et c'est leur rôle) passer par un des noeuds de login. Ces rôles ont ils été distingués dans la configuration ? Denis Le 23/03/2020 à 16:13, Eric Chatellier a écrit :
Le 23/03/2020 à 15:45, slehuta a écrit :
Je suis en 4.4.2.5 a cause des problemes rencontres avec la nouvelle version. du coup j aimerai eviter tant que je n ai pas pris le temps de verifier la 4.4.4.1.
Je pense que dans la configuration datarmor, tu peux remplacer "datarmor" par "datasession0". Ca devrait aller dans un premier temps.
je n ai pas compris grand chose a vos échanges mais si le probleme vient du rapatriement des resultats en local, n est il pas plus simple d indiquer a isis dans la config datarmor d utiliser un isis fish 4 sur mon datawork ? comme pour calibrar ? Ca marcherait ?
Le problème actuel est que le ISIS "pilote" envoie les données de simulation, les lance et récupére les résultats (le tout à distance).
Calibrar "pitlote" tout depuis datarmor directement, je crois, donc ce n'est pas le même fonctionnement.
Le 23/03/2020 à 16:19, D Croizé-Fillon a écrit :
Bien que ne connaissant pas du tout la chaine en place, je réagis sur un point :
"le ISIS "pilote" envoie les données de simulation, les lance et récupére les résultats"
l'envoi et la récupération de données via datasession0 devrait marcher de manière similaire aux noeuds de login. Par contre l'appel à PBS pour faire des simulations ne marchera pas. Il faut là (et c'est leur rôle) passer par un des noeuds de login.
Ces rôles ont ils été distingués dans la configuration ? Non, je vais en effet devoir faire une version corrective pour cela.
-- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
Bonjour, pourriez vous essayer en ne changeant que le serveur cible ? La soumission de job est possible (mais je n'ai pas beaucoup validé, c'est du test). Le qsub interactif ne fonctionne pour l'instant pas. Merci Denis Le 23/03/2020 à 16:59, Eric Chatellier a écrit :
Le 23/03/2020 à 16:19, D Croizé-Fillon a écrit :
Bien que ne connaissant pas du tout la chaine en place, je réagis sur un point :
"le ISIS "pilote" envoie les données de simulation, les lance et récupére les résultats"
l'envoi et la récupération de données via datasession0 devrait marcher de manière similaire aux noeuds de login. Par contre l'appel à PBS pour faire des simulations ne marchera pas. Il faut là (et c'est leur rôle) passer par un des noeuds de login.
Ces rôles ont ils été distingués dans la configuration ? Non, je vais en effet devoir faire une version corrective pour cela.
Le 24/03/2020 à 09:00, D Croizé-Fillon a écrit :
Bonjour,
pourriez vous essayer en ne changeant que le serveur cible ?
La soumission de job est possible (mais je n'ai pas beaucoup validé, c'est du test). Le qsub interactif ne fonctionne pour l'instant pas.
Bonjour, Je voulais tester, mais j'ai l'impression que la machine est inacessible ssh echatell@datasession0.ifremer.fr ssh: connect to host datasession0.ifremer.fr port 22: Connection timed out J'y arrive sans problème sur "datarmor.ifremer.fr" -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
C'est un problème d'accès via pulse. J'attends des ajustements mais ce n'est pas encore en place. Pour l'instant, elle vous est inaccessible via pulse mais Sigrid a l'accès Denis Le 24/03/2020 à 10:11, Eric Chatellier a écrit :
Le 24/03/2020 à 09:00, D Croizé-Fillon a écrit :
Bonjour,
pourriez vous essayer en ne changeant que le serveur cible ?
La soumission de job est possible (mais je n'ai pas beaucoup validé, c'est du test). Le qsub interactif ne fonctionne pour l'instant pas.
Bonjour,
Je voulais tester, mais j'ai l'impression que la machine est inacessible
ssh echatell@datasession0.ifremer.fr ssh: connect to host datasession0.ifremer.fr port 22: Connection timed out
J'y arrive sans problème sur "datarmor.ifremer.fr"
Oui Merci. j ai fait un essai de connection réussi hier et je teste cet apres midi le lancement de simulations. Le 2020-03-24 10:17, D Croizé-Fillon a écrit :
C'est un problème d'accès via pulse.
J'attends des ajustements mais ce n'est pas encore en place.
Pour l'instant, elle vous est inaccessible via pulse mais Sigrid a l'accès
Denis
Le 24/03/2020 à 10:11, Eric Chatellier a écrit : Le 24/03/2020 à 09:00, D Croizé-Fillon a écrit : Bonjour,
pourriez vous essayer en ne changeant que le serveur cible ?
La soumission de job est possible (mais je n'ai pas beaucoup validé, c'est du test). Le qsub interactif ne fonctionne pour l'instant pas. Bonjour,
Je voulais tester, mais j'ai l'impression que la machine est inacessible
ssh echatell@datasession0.ifremer.fr ssh: connect to host datasession0.ifremer.fr port 22: Connection timed out
J'y arrive sans problème sur "datarmor.ifremer.fr"
Cela devrait également être possible pour vous maintenant Denis Le 24/03/2020 à 10:17, D Croizé-Fillon a écrit :
C'est un problème d'accès via pulse.
J'attends des ajustements mais ce n'est pas encore en place.
Pour l'instant, elle vous est inaccessible via pulse mais Sigrid a l'accès
Denis
Le 24/03/2020 à 10:11, Eric Chatellier a écrit :
Le 24/03/2020 à 09:00, D Croizé-Fillon a écrit :
Bonjour,
pourriez vous essayer en ne changeant que le serveur cible ?
La soumission de job est possible (mais je n'ai pas beaucoup validé, c'est du test). Le qsub interactif ne fonctionne pour l'instant pas.
Bonjour,
Je voulais tester, mais j'ai l'impression que la machine est inacessible
ssh echatell@datasession0.ifremer.fr ssh: connect to host datasession0.ifremer.fr port 22: Connection timed out
J'y arrive sans problème sur "datarmor.ifremer.fr"
Bonsoir, J ai testé une simu simple sur datarmor en remplacant le serveur datarmor par datasession0 la simu s arrete en janvier 0 et voici le debug. je n y vois rien d instructif... Et toi ? Merci 2020-03-24 23:11:33,378 INFO [AWT-EventQueue-0] (SimulationControl.java:206) setText - backup database en cours 2020-03-24 23:11:33,430 INFO [AWT-EventQueue-0] (SimulationControl.java:206) setText - backup database terminé 2020-03-24 23:11:33,435 INFO [AWT-EventQueue-0] (SimulationControl.java:206) setText - Compilation des scripts 2020-03-24 23:11:33,816 INFO [AWT-EventQueue-0] (SimulationControl.java:206) setText - Temps de compilation 0.379s 2020-03-24 23:11:33,928 INFO [pool-4-thread-1] (SimulationJob.java:210) run - Start simulation: sim_Test_datasession0_2020-03-24-23-11 2020-03-24 23:11:33,932 INFO [pool-4-thread-1] (SimulationMonitor.java:347) simulationStart - Saving simulation sim_Test_datasession0_2020-03-24-23-11 as started 2020-03-24 23:11:33,932 INFO [pool-4-thread-1] (SSHSimulatorLauncher.java:166) message - Connexion à Datarmor 2020-03-24 23:11:33,932 INFO [pool-4-thread-1] (SimulationControl.java:206) setText - Connexion à Datarmor 2020-03-24 23:11:33,937 INFO [pool-4-thread-1] (SSHSimulatorLauncher.java:532) openSSHSession - Try to log on slehuta@datasession0:22 2020-03-24 23:11:33,937 INFO [pool-4-thread-1] (SSHSimulatorLauncher.java:548) openSSHSession - Can't read ssh key : C:\Users\slehuta\.ssh\isis_rsa 2020-03-24 23:11:33,941 INFO [AWT-EventQueue-0] (SimulationStorage.java:571) getSimulation - Try to open simulation sim_Test_datasession0_2020-03-24-23-11(C:\Users\slehuta\isis-fish-4\isis-database\simulations\sim_Test_datasession0_2020-03-24-23-11) 2020-03-24 23:11:39,616 INFO [pool-4-thread-1] (SSHSimulatorLauncher.java:166) message - Upload de la simulation 2020-03-24 23:11:39,617 INFO [pool-4-thread-1] (SimulationControl.java:206) setText - Upload de la simulation 2020-03-24 23:11:39,617 INFO [pool-4-thread-1] (SSHSimulatorLauncher.java:700) uploadSimulation - Creating remote temp directory (if not exists) /home1/datahome/slehuta/isis-tmp/ 2020-03-24 23:11:40,094 INFO [pool-4-thread-1] (SSHUtils.java:221) exec - JSch channel exit-status: 0 2020-03-24 23:11:44,227 INFO [pool-4-thread-1] (SSHSimulatorLauncher.java:166) message - Attente du démarrage de la simulation 2020-03-24 23:11:44,228 INFO [pool-4-thread-1] (SimulationControl.java:206) setText - Attente du démarrage de la simulation 2020-03-24 23:11:45,477 INFO [pool-4-thread-1] (SSHUtils.java:221) exec - JSch channel exit-status: 0 2020-03-24 23:11:45,477 INFO [pool-4-thread-1] (SSHSimulatorLauncher.java:1159) sendStartSimulationRequest - Job submitted with job id : 8129535.datarmor0 2020-03-24 23:15:35,949 INFO [monitor-thread] (SimulationControl.java:206) setText - Téléchargement des résultats 2020-03-24 23:15:40,421 INFO [monitor-thread] (SimulationControl.java:206) setText - Simulation terminée 2020-03-24 23:15:40,422 INFO [monitor-thread] (SimulationControl.java:206) setText - Suppression des fichiers de simulation 2020-03-24 23:15:40,807 INFO [monitor-thread] (SSHUtils.java:221) exec - JSch channel exit-status: 0 2020-03-24 23:15:41,065 WARN [monitor-thread] (SimulationMonitor.java:533) checkProgression - Simulation exception : java.lang.NullPointerException at fr.ifremer.isisfish.result.ResultInfoHelper.extractRecursiveResults(ResultInfoHelper.java:93) at fr.ifremer.isisfish.result.ResultInfoHelper.extractAllNecessaryResults(ResultInfoHelper.java:71) at fr.ifremer.isisfish.simulator.ResultManager.isEnabled(ResultManager.java:208) at simulators.DefaultSimulator.simulate(DefaultSimulator.java:178) at fr.ifremer.isisfish.simulator.launcher.InProcessSimulatorLauncher.localSimulateSameThread(InProcessSimulatorLauncher.java:430) at fr.ifremer.isisfish.simulator.launcher.InProcessSimulatorLauncher$SimThread.run(InProcessSimulatorLauncher.java:260) 2020-03-24 23:15:41,065 INFO [monitor-thread] (SimulationMonitor.java:457) waitAndCheckProgression - Job sim_Test_datasession0_2020-03-24-23-11 finished 2020-03-24 23:15:41,065 INFO [monitor-thread] (SimulationMonitor.java:568) doPostSimulationOperation - Do post simulation operation for sim_Test_datasession0_2020-03-24-23-11 2020-03-24 23:15:41,066 INFO [monitor-thread] (SimulationMonitor.java:391) simulationStop - Saving simulation sim_Test_datasession0_2020-03-24-23-11 as stopped 2020-03-24 23:24:05,559 INFO [AWT-EventQueue-0] (LogConsoleHandler.java:103) <init> - fr.ifremer.isisfish.logging.console.LogConsoleHandler@389b7dbd 2020-03-24 23:24:05,563 INFO [AWT-EventQueue-0] (LogConsoleHandler.java:399) getLevelReader - (levels:[])(file:simulation.log (offsetfile:offsets_0, nbLines:30)) 2020-03-24 23:24:05,564 INFO [AWT-EventQueue-0] (LogConsoleHandler.java:125) start - with reader (levels:[])(file:simulation.log (offsetfile:offsets_0, nbLines:30)) in 5 2020-03-24 23:24:05,564 INFO [AWT-EventQueue-0] (LogConsole.java:118) newConsole - handler start in 5 2020-03-24 23:24:05,590 INFO [AWT-EventQueue-0] (LogConsole.java:160) <init> - fr.ifremer.isisfish.logging.console.LogConsole[$JFrame0,0,0,543x509,invalid,hidden,layout=java.awt.BorderLayout,title=Console de log simulation 'sim_Test_datasession0_2020-03-24-23-11',resizable,normal,defaultCloseOperation=DISPOSE_ON_CLOSE,rootPane=javax.swing.JRootPane[,8,31,527x470,invalid,layout=javax.swing.JRootPane$RootLayout,alignmentX=0.0,alignmentY=0.0,border=javax.swing.plaf.synth.SynthBorder@1d31d011,flags=16777673,maximumSize=,minimumSize=,preferredSize=],rootPaneCheckingEnabled=true] 2020-03-24 23:24:05,590 INFO [AWT-EventQueue-0] (LogConsoleHandler.java:263) propertyChange - change newLinesInEditor : 30 --> 26 2020-03-24 23:24:05,605 INFO [AWT-EventQueue-0] (SimulationLoggerUtil.java:82) showSimulationLogConsole - affichage de la console de log pour la simulation sim_Test_datasession0_2020-03-24-23-11 2020-03-24 23:24:05,613 INFO [AWT-EventQueue-0] (LogConsoleHandler.java:263) propertyChange - change newLinesInEditor : 26 --> 25 2020-03-24 23:24:07,383 INFO [AWT-EventQueue-0] (LogConsoleHandler.java:263) propertyChange - change newLinesInEditor : 25 --> 67 Le 2020-03-24 14:36, D Croizé-Fillon a écrit :
Cela devrait également être possible pour vous maintenant
Denis
Le 24/03/2020 à 10:17, D Croizé-Fillon a écrit : C'est un problème d'accès via pulse.
J'attends des ajustements mais ce n'est pas encore en place.
Pour l'instant, elle vous est inaccessible via pulse mais Sigrid a l'accès
Denis
Le 24/03/2020 à 10:11, Eric Chatellier a écrit : Le 24/03/2020 à 09:00, D Croizé-Fillon a écrit : Bonjour,
pourriez vous essayer en ne changeant que le serveur cible ?
La soumission de job est possible (mais je n'ai pas beaucoup validé, c'est du test). Le qsub interactif ne fonctionne pour l'instant pas. Bonjour,
Je voulais tester, mais j'ai l'impression que la machine est inacessible
ssh echatell@datasession0.ifremer.fr ssh: connect to host datasession0.ifremer.fr port 22: Connection timed out
J'y arrive sans problème sur "datarmor.ifremer.fr"
Isis-fish-users mailing list Isis-fish-users@list.isis-fish.org http://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-users
Autant pour moi la simu "simple" etait foireuse. Ca marche avec datasession0. J ai aussi trouvé un moyen de lancer les plans de simus depuis datarmor sans transferts de fichiers (meme system qu avec calibrar avec un wrapper R). Je privilegierai ce system autant que possible avant la prochaine version. Merci Le 2020-03-24 23:31, slehuta a écrit :
Bonsoir,
J ai testé une simu simple sur datarmor en remplacant le serveur datarmor par datasession0
la simu s arrete en janvier 0 et voici le debug. je n y vois rien d instructif... Et toi ?
Merci
2020-03-24 23:11:33,378 INFO [AWT-EventQueue-0] (SimulationControl.java:206) setText - backup database en cours 2020-03-24 23:11:33,430 INFO [AWT-EventQueue-0] (SimulationControl.java:206) setText - backup database terminé 2020-03-24 23:11:33,435 INFO [AWT-EventQueue-0] (SimulationControl.java:206) setText - Compilation des scripts 2020-03-24 23:11:33,816 INFO [AWT-EventQueue-0] (SimulationControl.java:206) setText - Temps de compilation 0.379s 2020-03-24 23:11:33,928 INFO [pool-4-thread-1] (SimulationJob.java:210) run - Start simulation: sim_Test_datasession0_2020-03-24-23-11 2020-03-24 23:11:33,932 INFO [pool-4-thread-1] (SimulationMonitor.java:347) simulationStart - Saving simulation sim_Test_datasession0_2020-03-24-23-11 as started 2020-03-24 23:11:33,932 INFO [pool-4-thread-1] (SSHSimulatorLauncher.java:166) message - Connexion à Datarmor 2020-03-24 23:11:33,932 INFO [pool-4-thread-1] (SimulationControl.java:206) setText - Connexion à Datarmor 2020-03-24 23:11:33,937 INFO [pool-4-thread-1] (SSHSimulatorLauncher.java:532) openSSHSession - Try to log on slehuta@datasession0:22 2020-03-24 23:11:33,937 INFO [pool-4-thread-1] (SSHSimulatorLauncher.java:548) openSSHSession - Can't read ssh key : C:\Users\slehuta\.ssh\isis_rsa 2020-03-24 23:11:33,941 INFO [AWT-EventQueue-0] (SimulationStorage.java:571) getSimulation - Try to open simulation sim_Test_datasession0_2020-03-24-23-11(C:\Users\slehuta\isis-fish-4\isis-database\simulations\sim_Test_datasession0_2020-03-24-23-11) 2020-03-24 23:11:39,616 INFO [pool-4-thread-1] (SSHSimulatorLauncher.java:166) message - Upload de la simulation 2020-03-24 23:11:39,617 INFO [pool-4-thread-1] (SimulationControl.java:206) setText - Upload de la simulation 2020-03-24 23:11:39,617 INFO [pool-4-thread-1] (SSHSimulatorLauncher.java:700) uploadSimulation - Creating remote temp directory (if not exists) /home1/datahome/slehuta/isis-tmp/ 2020-03-24 23:11:40,094 INFO [pool-4-thread-1] (SSHUtils.java:221) exec - JSch channel exit-status: 0 2020-03-24 23:11:44,227 INFO [pool-4-thread-1] (SSHSimulatorLauncher.java:166) message - Attente du démarrage de la simulation 2020-03-24 23:11:44,228 INFO [pool-4-thread-1] (SimulationControl.java:206) setText - Attente du démarrage de la simulation 2020-03-24 23:11:45,477 INFO [pool-4-thread-1] (SSHUtils.java:221) exec - JSch channel exit-status: 0 2020-03-24 23:11:45,477 INFO [pool-4-thread-1] (SSHSimulatorLauncher.java:1159) sendStartSimulationRequest - Job submitted with job id : 8129535.datarmor0 2020-03-24 23:15:35,949 INFO [monitor-thread] (SimulationControl.java:206) setText - Téléchargement des résultats 2020-03-24 23:15:40,421 INFO [monitor-thread] (SimulationControl.java:206) setText - Simulation terminée 2020-03-24 23:15:40,422 INFO [monitor-thread] (SimulationControl.java:206) setText - Suppression des fichiers de simulation 2020-03-24 23:15:40,807 INFO [monitor-thread] (SSHUtils.java:221) exec - JSch channel exit-status: 0 2020-03-24 23:15:41,065 WARN [monitor-thread] (SimulationMonitor.java:533) checkProgression - Simulation exception : java.lang.NullPointerException at fr.ifremer.isisfish.result.ResultInfoHelper.extractRecursiveResults(ResultInfoHelper.java:93) at fr.ifremer.isisfish.result.ResultInfoHelper.extractAllNecessaryResults(ResultInfoHelper.java:71) at fr.ifremer.isisfish.simulator.ResultManager.isEnabled(ResultManager.java:208) at simulators.DefaultSimulator.simulate(DefaultSimulator.java:178) at fr.ifremer.isisfish.simulator.launcher.InProcessSimulatorLauncher.localSimulateSameThread(InProcessSimulatorLauncher.java:430) at fr.ifremer.isisfish.simulator.launcher.InProcessSimulatorLauncher$SimThread.run(InProcessSimulatorLauncher.java:260)
2020-03-24 23:15:41,065 INFO [monitor-thread] (SimulationMonitor.java:457) waitAndCheckProgression - Job sim_Test_datasession0_2020-03-24-23-11 finished 2020-03-24 23:15:41,065 INFO [monitor-thread] (SimulationMonitor.java:568) doPostSimulationOperation - Do post simulation operation for sim_Test_datasession0_2020-03-24-23-11 2020-03-24 23:15:41,066 INFO [monitor-thread] (SimulationMonitor.java:391) simulationStop - Saving simulation sim_Test_datasession0_2020-03-24-23-11 as stopped 2020-03-24 23:24:05,559 INFO [AWT-EventQueue-0] (LogConsoleHandler.java:103) <init> - fr.ifremer.isisfish.logging.console.LogConsoleHandler@389b7dbd 2020-03-24 23:24:05,563 INFO [AWT-EventQueue-0] (LogConsoleHandler.java:399) getLevelReader - (levels:[])(file:simulation.log (offsetfile:offsets_0, nbLines:30)) 2020-03-24 23:24:05,564 INFO [AWT-EventQueue-0] (LogConsoleHandler.java:125) start - with reader (levels:[])(file:simulation.log (offsetfile:offsets_0, nbLines:30)) in 5 2020-03-24 23:24:05,564 INFO [AWT-EventQueue-0] (LogConsole.java:118) newConsole - handler start in 5 2020-03-24 23:24:05,590 INFO [AWT-EventQueue-0] (LogConsole.java:160) <init> - fr.ifremer.isisfish.logging.console.LogConsole[$JFrame0,0,0,543x509,invalid,hidden,layout=java.awt.BorderLayout,title=Console de log simulation 'sim_Test_datasession0_2020-03-24-23-11',resizable,normal,defaultCloseOperation=DISPOSE_ON_CLOSE,rootPane=javax.swing.JRootPane[,8,31,527x470,invalid,layout=javax.swing.JRootPane$RootLayout,alignmentX=0.0,alignmentY=0.0,border=javax.swing.plaf.synth.SynthBorder@1d31d011,flags=16777673,maximumSize=,minimumSize=,preferredSize=],rootPaneCheckingEnabled=true] 2020-03-24 23:24:05,590 INFO [AWT-EventQueue-0] (LogConsoleHandler.java:263) propertyChange - change newLinesInEditor : 30 --> 26 2020-03-24 23:24:05,605 INFO [AWT-EventQueue-0] (SimulationLoggerUtil.java:82) showSimulationLogConsole - affichage de la console de log pour la simulation sim_Test_datasession0_2020-03-24-23-11 2020-03-24 23:24:05,613 INFO [AWT-EventQueue-0] (LogConsoleHandler.java:263) propertyChange - change newLinesInEditor : 26 --> 25 2020-03-24 23:24:07,383 INFO [AWT-EventQueue-0] (LogConsoleHandler.java:263) propertyChange - change newLinesInEditor : 25 --> 67
Le 2020-03-24 14:36, D Croizé-Fillon a écrit : Cela devrait également être possible pour vous maintenant
Denis
Le 24/03/2020 à 10:17, D Croizé-Fillon a écrit : C'est un problème d'accès via pulse.
J'attends des ajustements mais ce n'est pas encore en place.
Pour l'instant, elle vous est inaccessible via pulse mais Sigrid a l'accès
Denis
Le 24/03/2020 à 10:11, Eric Chatellier a écrit : Le 24/03/2020 à 09:00, D Croizé-Fillon a écrit : Bonjour,
pourriez vous essayer en ne changeant que le serveur cible ?
La soumission de job est possible (mais je n'ai pas beaucoup validé, c'est du test). Le qsub interactif ne fonctionne pour l'instant pas. Bonjour,
Je voulais tester, mais j'ai l'impression que la machine est inacessible
ssh echatell@datasession0.ifremer.fr ssh: connect to host datasession0.ifremer.fr port 22: Connection timed out
J'y arrive sans problème sur "datarmor.ifremer.fr"
Isis-fish-users mailing list Isis-fish-users@list.isis-fish.org http://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-users _______________________________________________ Isis-fish-users mailing list Isis-fish-users@list.isis-fish.org http://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-users
Le 24/03/2020 à 23:31, slehuta a écrit :
Bonsoir,
J ai testé une simu simple sur datarmor en remplacant le serveur datarmor par datasession0
la simu s arrete en janvier 0 et voici le debug. je n y vois rien d instructif... Et toi ?
Effectivement, quelque chose ne va pas mais le détail doit être dans le simulation.log de la simulation. L'as tu en local ? -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
Salut eric * merci de ta réponse. le probleme datarmor est réglé. C'etait entre le clavier et la chaise (Comme dit Benji) =des resultats demandés qui ne pouvaient pas etre calculés car ils sont crées dans une regle que je n avais pas ajoutée. * Par contre le log de la simu dans l interface etait tronqué avec des moitiés de mots (par exemple "llPointerException: null" mais pas le debut de la ligne). Voila le log copié depuis le fichier. Ce n est pas la premiere fois que je le remarque. j essaierai de aire une capture d ecran la prochaine fois. INFO|22:12:08,709|InProcessSimulatorLauncher.java|338|localSimulateSameThread|24/03/20 22:12 Java version: 1.8.0_212-b10 Isis-fish version: 4.4.2.5 INFO|22:12:09,852|InProcessSimulatorLauncher.java|199|message|Mise en place des aspects Cache INFO|22:12:09,852|SimulationControl.java|206|setText|Mise en place des aspects Cache INFO|22:12:13,056|DataStorage.java|162|getMemStorage|Create new memory storage for sim_Test_datasession0_2020-03-24-23-11 INFO|22:12:13,673|DataStorage.java|205|getStorage|Create new storage for sim_Test_datasession0_2020-03-24-23-11 INFO|22:12:13,673|TopiaContextImpl.java|247|loadServices|Service 'topia.service.migration' chargé par 'org.nuiton.topia.migration.TopiaMigrationEngine' INFO|22:12:15,610|TopiaMigrationEngine.java|547|detectDbVersion|Version de base détectée : 4.4 INFO|22:12:15,610|TopiaMigrationEngine.java|313|migrateSchema|Démarrage du service de mise à jour - version de l'application : 4.4, version de la base : 4.4 INFO|22:12:15,660|TopiaMigrationEngine.java|338|migrateSchema|La base est à jour, aucune migration nécessaire. INFO|22:12:16,926|InProcessSimulatorLauncher.java|199|message|Simulation execution INFO|22:12:16,926|SimulationControl.java|206|setText|Simulation execution INFO|22:12:16,940|SimulationContext.java|486|message|Exécution des scripts de Presimulation INFO|22:12:16,941|SimulationControl.java|206|setText|Exécution des scripts de Presimulation INFO|22:12:16,950|InProcessSimulatorLauncher.java|428|localSimulateSameThread|Matrix backend: org.nuiton.math.matrix.DoubleBigVector and org.nuiton.math.matrix.DoubleSparseHashVector threshold: 1000 INFO|22:12:17,193|IsisCacheBackendOnGuava.java|238|adjustedCache|Cache size ajusted to 1,4Go (equivalent to 0 step need) INFO|22:12:17,788|SimulationControl.java|206|setText|Rules initialisation:[] INFO|22:12:17,805|SimulationControl.java|206|setText|begin step janvier 0 INFO|22:12:17,806|SimulationControl.java|206|setText|Reloading parameters ERROR|22:14:26,368|InProcessSimulatorLauncher.java|480|localSimulateSameThread|Error during simulation java.lang.NullPointerException: null at fr.ifremer.isisfish.result.ResultInfoHelper.extractRecursiveResults(ResultInfoHelper.java:93) ~[isis-fish-4.4.2.5.jar:4.4.2.5] at fr.ifremer.isisfish.result.ResultInfoHelper.extractAllNecessaryResults(ResultInfoHelper.java:71) ~[isis-fish-4.4.2.5.jar:4.4.2.5] at fr.ifremer.isisfish.simulator.ResultManager.isEnabled(ResultManager.java:208) ~[isis-fish-4.4.2.5.jar:4.4.2.5] at simulators.DefaultSimulator.simulate(DefaultSimulator.java:178) ~[?:?] at fr.ifremer.isisfish.simulator.launcher.InProcessSimulatorLauncher.localSimulateSameThread(InProcessSimulatorLauncher.java:430) [isis-fish-4.4.2.5.jar:4.4.2.5] at fr.ifremer.isisfish.simulator.launcher.InProcessSimulatorLauncher$SimThread.run(InProcessSimulatorLauncher.java:260) [isis-fish-4.4.2.5.jar:4.4.2.5] INFO|22:14:26,387|InProcessSimulatorLauncher.java|509|localSimulateSameThread|Simulation time: 137.608 INFO|22:14:26,389|IsisCacheBackendOnGuava.java|238|adjustedCache|Cache size ajusted to 228o (equivalent to 2 step need) INFO|22:14:27,116|InProcessSimulatorLauncher.java|199|message|Simulation terminée INFO|22:14:27,116|SimulationControl.java|206|setText|Simulation terminée Le 2020-03-25 08:59, Eric Chatellier a écrit :
Le 24/03/2020 à 23:31, slehuta a écrit :
Bonsoir,
J ai testé une simu simple sur datarmor en remplacant le serveur datarmor par datasession0
la simu s arrete en janvier 0 et voici le debug. je n y vois rien d instructif... Et toi ? Effectivement, quelque chose ne va pas mais le détail doit être dans le simulation.log de la simulation. L'as tu en local ?
participants (4)
-
D Croizé-Fillon -
Denis Croizé-Fillon
-
Eric Chatellier -
slehuta