Accélération des temps de simulation : demande de tests/retours utilisateurs
Bonjour à toutes et tous, Suite aux retours de la dernière journée utilisateurs, nous travaillons sur l'optimisation des temps de simulation sur ISIS-Fish et nous avons un développement qui mériterait validation. Nous somme partis d'une simulation de 12 mois sur Defipel pour analyser les temps de calculs. Sur cette simulation test, il s'est avéré que 80% du temps de calcul était dédié au calcul de la matrice de mortalité par pêche par la méthode 'SiMatrix.totalFishingMortality()'. Cette méthode prend un tableau de (stratégie, métier, classe, zone) et retourne une matrice de taille #classes x #zones, obtenue en faisant la somme sur les stratégies et sur les métiers des données d'entrée. Avec Benjamin, nous avons amélioré l'algorithme en charge de sommer un tableau le long d'un axe, ce qui a divisé par ~2.8 le temps de calcul de la simulation test. Souhaiteriez-vous tester cette nouvelle version ? Nous aimerions en particulier vérifier que les résultats sont toujours les mêmes, à epsilon près. En effet, nous sommes ici sur un problème d'arithmétique sur des nombres à virgules flottantes (en double précision dans le cas d'ISIS). Pour rappel, les nombres flottants sont des représentations de nombres réels, équivalentes à une notation scientifique en base 2. Ces nombres ont un nombre limité de chiffres significatifs (environ 16 sur des type "double"). Il s'en suit qu'un nombre réel pour lequel il n'existe pas de représentation à virgule flottante est approximé. Cette approximation ne peut être égale à la valeur réelle qu'"à un certain epsilon près". Lorsque des opérations arithmétiques sont effectuées sur des flottants, des erreurs d'approximations peuvent s'accumuler. De plus, contrairement au corps des réels, l'addition sur les flottants n'est pas associative : (a + b) + c n'est pas nécessairement égal à a + (b + c). Le nouvel algorithme n'effectuant pas les additions dans les même ordre qu'avant, et les résultats obtenus peuvent varier. Sur mes tests, la différence *relative* entre la précédente et la nouvelle implantation sont de l'ordre de 10^(-15), ce qui me semble acceptable, étant donnée la précision limitée des flottants de type `double`. Il est impossible de dire que l'une des deux implantations donne des résultats plus corrects que l'autre, étant donnée la précision limitée des flottants de type `double`. Cependant, je souhaiterais savoir si sur de vraies simulations, les différences d'approximation sont également raisonnables. Si certain(e)s sont intéressé(e)s pour tester ce développement, nous mettrons à disposition une pré-release de cette nouvelle version d'ISIS. En vous souhaitant une belle semaine, Sarah Bordage
Bonjour Sarah, merci beaucoup pour cette proposition et ces explications très claires. Ca me parait très prometteur. Et en effet, je doute qu'une précision à 10^-15 soit nécessaire. Il faudra tout de même réfléchir aux grandeurs pour lesquelles cela pourrait l'être (Steph ? à première vue tant que l'effort est en jours/heures et les captures en kg (même ne tonnes), on ne devrait jamais avoir besoin de ce niveau de précision). Mais en effet ça se teste. Je serais volontaire pour essayer et cela tombe à pic car nous évaluons en ce moment la faisabilité d'une région très "grosse" pour voir jusqu'où il est raisonnable de pousser les développements. Cela pourra faire un bon test. Sigrid Le 04/03/2024 à 11:25, Sarah Bordage a écrit :
Bonjour à toutes et tous,
Suite aux retours de la dernière journée utilisateurs, nous travaillons sur l'optimisation des temps de simulation sur ISIS-Fish et nous avons un développement qui mériterait validation.
Nous somme partis d'une simulation de 12 mois sur Defipel pour analyser les temps de calculs. Sur cette simulation test, il s'est avéré que 80% du temps de calcul était dédié au calcul de la matrice de mortalité par pêche par la méthode 'SiMatrix.totalFishingMortality()'. Cette méthode prend un tableau de (stratégie, métier, classe, zone) et retourne une matrice de taille #classes x #zones, obtenue en faisant la somme sur les stratégies et sur les métiers des données d'entrée.
Avec Benjamin, nous avons amélioré l'algorithme en charge de sommer un tableau le long d'un axe, ce qui a divisé par ~2.8 le temps de calcul de la simulation test.
Souhaiteriez-vous tester cette nouvelle version ? Nous aimerions en particulier vérifier que les résultats sont toujours les mêmes, à epsilon près.
En effet, nous sommes ici sur un problème d'arithmétique sur des nombres à virgules flottantes (en double précision dans le cas d'ISIS). Pour rappel, les nombres flottants sont des représentations de nombres réels, équivalentes à une notation scientifique en base 2. Ces nombres ont un nombre limité de chiffres significatifs (environ 16 sur des type "double"). Il s'en suit qu'un nombre réel pour lequel il n'existe pas de représentation à virgule flottante est approximé. Cette approximation ne peut être égale à la valeur réelle qu'"à un certain epsilon près".
Lorsque des opérations arithmétiques sont effectuées sur des flottants, des erreurs d'approximations peuvent s'accumuler. De plus, contrairement au corps des réels, l'addition sur les flottants n'est pas associative : (a + b) + c n'est pas nécessairement égal à a + (b + c). Le nouvel algorithme n'effectuant pas les additions dans les même ordre qu'avant, et les résultats obtenus peuvent varier.
Sur mes tests, la différence *relative* entre la précédente et la nouvelle implantation sont de l'ordre de 10^(-15), ce qui me semble acceptable, étant donnée la précision limitée des flottants de type `double`. Il est impossible de dire que l'une des deux implantations donne des résultats plus corrects que l'autre, étant donnée la précision limitée des flottants de type `double`. Cependant, je souhaiterais savoir si sur de vraies simulations, les différences d'approximation sont également raisonnables.
Si certain(e)s sont intéressé(e)s pour tester ce développement, nous mettrons à disposition une pré-release de cette nouvelle version d'ISIS.
En vous souhaitant une belle semaine,
Sarah Bordage
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sigrid LEHUTA ~ ><> ~ Fisheries modeller IFREMER unit HALGO, Ecology and modeling for fisheries science lab (EMH) Member of the Mixed Research Unit DECOD: Dynamics and sustainability of ecosystems: from source to sea Member of l'Association Française d'Halieutique IFREMER, Centre Atlantique Rue de l'Ile d'Yeu - BP 21105 44311 Nantes Cedex 03, France Tél : 02 40 37 42 38 (N° interne : 8238) https://halgo.ifremer.fr/en https://www.umr-decod.fr/en https://www.association-francaise-halieutique.fr/
Bonjour, Merci Sigrid pour ton retour. La version à tester est à disposition sur la forge : https://forge.codelutin.com/attachments/8181 (isis-fish-4.4.8.2-SNAPSHOT-optimisationmatrix) Belle journée, Sarah On 04/03/2024 13:52, Sigrid LEHUTA wrote:
Bonjour Sarah,
merci beaucoup pour cette proposition et ces explications très claires. Ca me parait très prometteur. Et en effet, je doute qu'une précision à 10^-15 soit nécessaire. Il faudra tout de même réfléchir aux grandeurs pour lesquelles cela pourrait l'être (Steph ? à première vue tant que l'effort est en jours/heures et les captures en kg (même ne tonnes), on ne devrait jamais avoir besoin de ce niveau de précision). Mais en effet ça se teste.
Je serais volontaire pour essayer et cela tombe à pic car nous évaluons en ce moment la faisabilité d'une région très "grosse" pour voir jusqu'où il est raisonnable de pousser les développements. Cela pourra faire un bon test.
Sigrid
Le 04/03/2024 à 11:25, Sarah Bordage a écrit :
Bonjour à toutes et tous,
Suite aux retours de la dernière journée utilisateurs, nous travaillons sur l'optimisation des temps de simulation sur ISIS-Fish et nous avons un développement qui mériterait validation.
Nous somme partis d'une simulation de 12 mois sur Defipel pour analyser les temps de calculs. Sur cette simulation test, il s'est avéré que 80% du temps de calcul était dédié au calcul de la matrice de mortalité par pêche par la méthode 'SiMatrix.totalFishingMortality()'. Cette méthode prend un tableau de (stratégie, métier, classe, zone) et retourne une matrice de taille #classes x #zones, obtenue en faisant la somme sur les stratégies et sur les métiers des données d'entrée.
Avec Benjamin, nous avons amélioré l'algorithme en charge de sommer un tableau le long d'un axe, ce qui a divisé par ~2.8 le temps de calcul de la simulation test.
Souhaiteriez-vous tester cette nouvelle version ? Nous aimerions en particulier vérifier que les résultats sont toujours les mêmes, à epsilon près.
En effet, nous sommes ici sur un problème d'arithmétique sur des nombres à virgules flottantes (en double précision dans le cas d'ISIS). Pour rappel, les nombres flottants sont des représentations de nombres réels, équivalentes à une notation scientifique en base 2. Ces nombres ont un nombre limité de chiffres significatifs (environ 16 sur des type "double"). Il s'en suit qu'un nombre réel pour lequel il n'existe pas de représentation à virgule flottante est approximé. Cette approximation ne peut être égale à la valeur réelle qu'"à un certain epsilon près".
Lorsque des opérations arithmétiques sont effectuées sur des flottants, des erreurs d'approximations peuvent s'accumuler. De plus, contrairement au corps des réels, l'addition sur les flottants n'est pas associative : (a + b) + c n'est pas nécessairement égal à a + (b + c). Le nouvel algorithme n'effectuant pas les additions dans les même ordre qu'avant, et les résultats obtenus peuvent varier.
Sur mes tests, la différence *relative* entre la précédente et la nouvelle implantation sont de l'ordre de 10^(-15), ce qui me semble acceptable, étant donnée la précision limitée des flottants de type `double`. Il est impossible de dire que l'une des deux implantations donne des résultats plus corrects que l'autre, étant donnée la précision limitée des flottants de type `double`. Cependant, je souhaiterais savoir si sur de vraies simulations, les différences d'approximation sont également raisonnables.
Si certain(e)s sont intéressé(e)s pour tester ce développement, nous mettrons à disposition une pré-release de cette nouvelle version d'ISIS.
En vous souhaitant une belle semaine,
Sarah Bordage
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sigrid LEHUTA ~ ><> ~ Fisheries modeller IFREMER unit HALGO, Ecology and modeling for fisheries science lab (EMH) Member of the Mixed Research Unit DECOD: Dynamics and sustainability of ecosystems: from source to sea Member of l'Association Française d'Halieutique
IFREMER, Centre Atlantique Rue de l'Ile d'Yeu - BP 21105 44311 Nantes Cedex 03, France Tél : 02 40 37 42 38 (N° interne : 8238)
https://halgo.ifremer.fr/en https://www.umr-decod.fr/en https://www.association-francaise-halieutique.fr/
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sarah Bordage Code Lutin
Bonjour j'ai testé hier la 4.4.8.2-optim et j'ai eu un souci des le lancement des anciennes simu. J'ai plein d'error qui apparaissent et les simus plantent à t=0 le debug, la region et les simu sont là : https://filesender.renater.fr/?s=download&token=9370b5da-b66f-4ac2-91aa-18da1e1ba7cf Stéphanie Le 05/03/2024 à 14:02, Sarah Bordage a écrit :
Bonjour,
Merci Sigrid pour ton retour.
La version à tester est à disposition sur la forge : https://forge.codelutin.com/attachments/8181 (isis-fish-4.4.8.2-SNAPSHOT-optimisationmatrix)
Belle journée,
Sarah
On 04/03/2024 13:52, Sigrid LEHUTA wrote:
Bonjour Sarah,
merci beaucoup pour cette proposition et ces explications très claires. Ca me parait très prometteur. Et en effet, je doute qu'une précision à 10^-15 soit nécessaire. Il faudra tout de même réfléchir aux grandeurs pour lesquelles cela pourrait l'être (Steph ? à première vue tant que l'effort est en jours/heures et les captures en kg (même ne tonnes), on ne devrait jamais avoir besoin de ce niveau de précision). Mais en effet ça se teste.
Je serais volontaire pour essayer et cela tombe à pic car nous évaluons en ce moment la faisabilité d'une région très "grosse" pour voir jusqu'où il est raisonnable de pousser les développements. Cela pourra faire un bon test.
Sigrid
Le 04/03/2024 à 11:25, Sarah Bordage a écrit :
Bonjour à toutes et tous,
Suite aux retours de la dernière journée utilisateurs, nous travaillons sur l'optimisation des temps de simulation sur ISIS-Fish et nous avons un développement qui mériterait validation.
Nous somme partis d'une simulation de 12 mois sur Defipel pour analyser les temps de calculs. Sur cette simulation test, il s'est avéré que 80% du temps de calcul était dédié au calcul de la matrice de mortalité par pêche par la méthode 'SiMatrix.totalFishingMortality()'. Cette méthode prend un tableau de (stratégie, métier, classe, zone) et retourne une matrice de taille #classes x #zones, obtenue en faisant la somme sur les stratégies et sur les métiers des données d'entrée.
Avec Benjamin, nous avons amélioré l'algorithme en charge de sommer un tableau le long d'un axe, ce qui a divisé par ~2.8 le temps de calcul de la simulation test.
Souhaiteriez-vous tester cette nouvelle version ? Nous aimerions en particulier vérifier que les résultats sont toujours les mêmes, à epsilon près.
En effet, nous sommes ici sur un problème d'arithmétique sur des nombres à virgules flottantes (en double précision dans le cas d'ISIS). Pour rappel, les nombres flottants sont des représentations de nombres réels, équivalentes à une notation scientifique en base 2. Ces nombres ont un nombre limité de chiffres significatifs (environ 16 sur des type "double"). Il s'en suit qu'un nombre réel pour lequel il n'existe pas de représentation à virgule flottante est approximé. Cette approximation ne peut être égale à la valeur réelle qu'"à un certain epsilon près".
Lorsque des opérations arithmétiques sont effectuées sur des flottants, des erreurs d'approximations peuvent s'accumuler. De plus, contrairement au corps des réels, l'addition sur les flottants n'est pas associative : (a + b) + c n'est pas nécessairement égal à a + (b + c). Le nouvel algorithme n'effectuant pas les additions dans les même ordre qu'avant, et les résultats obtenus peuvent varier.
Sur mes tests, la différence *relative* entre la précédente et la nouvelle implantation sont de l'ordre de 10^(-15), ce qui me semble acceptable, étant donnée la précision limitée des flottants de type `double`. Il est impossible de dire que l'une des deux implantations donne des résultats plus corrects que l'autre, étant donnée la précision limitée des flottants de type `double`. Cependant, je souhaiterais savoir si sur de vraies simulations, les différences d'approximation sont également raisonnables.
Si certain(e)s sont intéressé(e)s pour tester ce développement, nous mettrons à disposition une pré-release de cette nouvelle version d'ISIS.
En vous souhaitant une belle semaine,
Sarah Bordage
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sigrid LEHUTA ~ ><> ~ Fisheries modeller IFREMER unit HALGO, Ecology and modeling for fisheries science lab (EMH) Member of the Mixed Research Unit DECOD: Dynamics and sustainability of ecosystems: from source to sea Member of l'Association Française d'Halieutique
IFREMER, Centre Atlantique Rue de l'Ile d'Yeu - BP 21105 44311 Nantes Cedex 03, France Tél : 02 40 37 42 38 (N° interne : 8238)
https://halgo.ifremer.fr/en https://www.umr-decod.fr/en https://www.association-francaise-halieutique.fr/
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sarah Bordage Code Lutin
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/ Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33 o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
Bonjour, Merci Stéphanie pour ton retour, et désolée pour le bug sur tes simulations. Normalement c'est corrigé, je viens de mettre à jour la version de test 4.4.8.2 : https://forge.codelutin.com/attachments/download/8212/isis-fish-4.4.8.2-SNAP... Bonne journée, Sarah On 14/03/2024 11:23, Stephanie MAHEVAS wrote:
Bonjour
j'ai testé hier la 4.4.8.2-optim et j'ai eu un souci des le lancement des anciennes simu. J'ai plein d'error qui apparaissent et les simus plantent à t=0
le debug, la region et les simu sont là : https://filesender.renater.fr/?s=download&token=9370b5da-b66f-4ac2-91aa-18da1e1ba7cf
Stéphanie Le 05/03/2024 à 14:02, Sarah Bordage a écrit :
Bonjour,
Merci Sigrid pour ton retour.
La version à tester est à disposition sur la forge : https://forge.codelutin.com/attachments/8181 (isis-fish-4.4.8.2-SNAPSHOT-optimisationmatrix)
Belle journée,
Sarah
On 04/03/2024 13:52, Sigrid LEHUTA wrote:
Bonjour Sarah,
merci beaucoup pour cette proposition et ces explications très claires. Ca me parait très prometteur. Et en effet, je doute qu'une précision à 10^-15 soit nécessaire. Il faudra tout de même réfléchir aux grandeurs pour lesquelles cela pourrait l'être (Steph ? à première vue tant que l'effort est en jours/heures et les captures en kg (même ne tonnes), on ne devrait jamais avoir besoin de ce niveau de précision). Mais en effet ça se teste.
Je serais volontaire pour essayer et cela tombe à pic car nous évaluons en ce moment la faisabilité d'une région très "grosse" pour voir jusqu'où il est raisonnable de pousser les développements. Cela pourra faire un bon test.
Sigrid
Le 04/03/2024 à 11:25, Sarah Bordage a écrit :
Bonjour à toutes et tous,
Suite aux retours de la dernière journée utilisateurs, nous travaillons sur l'optimisation des temps de simulation sur ISIS-Fish et nous avons un développement qui mériterait validation.
Nous somme partis d'une simulation de 12 mois sur Defipel pour analyser les temps de calculs. Sur cette simulation test, il s'est avéré que 80% du temps de calcul était dédié au calcul de la matrice de mortalité par pêche par la méthode 'SiMatrix.totalFishingMortality()'. Cette méthode prend un tableau de (stratégie, métier, classe, zone) et retourne une matrice de taille #classes x #zones, obtenue en faisant la somme sur les stratégies et sur les métiers des données d'entrée.
Avec Benjamin, nous avons amélioré l'algorithme en charge de sommer un tableau le long d'un axe, ce qui a divisé par ~2.8 le temps de calcul de la simulation test.
Souhaiteriez-vous tester cette nouvelle version ? Nous aimerions en particulier vérifier que les résultats sont toujours les mêmes, à epsilon près.
En effet, nous sommes ici sur un problème d'arithmétique sur des nombres à virgules flottantes (en double précision dans le cas d'ISIS). Pour rappel, les nombres flottants sont des représentations de nombres réels, équivalentes à une notation scientifique en base 2. Ces nombres ont un nombre limité de chiffres significatifs (environ 16 sur des type "double"). Il s'en suit qu'un nombre réel pour lequel il n'existe pas de représentation à virgule flottante est approximé. Cette approximation ne peut être égale à la valeur réelle qu'"à un certain epsilon près".
Lorsque des opérations arithmétiques sont effectuées sur des flottants, des erreurs d'approximations peuvent s'accumuler. De plus, contrairement au corps des réels, l'addition sur les flottants n'est pas associative : (a + b) + c n'est pas nécessairement égal à a + (b + c). Le nouvel algorithme n'effectuant pas les additions dans les même ordre qu'avant, et les résultats obtenus peuvent varier.
Sur mes tests, la différence *relative* entre la précédente et la nouvelle implantation sont de l'ordre de 10^(-15), ce qui me semble acceptable, étant donnée la précision limitée des flottants de type `double`. Il est impossible de dire que l'une des deux implantations donne des résultats plus corrects que l'autre, étant donnée la précision limitée des flottants de type `double`. Cependant, je souhaiterais savoir si sur de vraies simulations, les différences d'approximation sont également raisonnables.
Si certain(e)s sont intéressé(e)s pour tester ce développement, nous mettrons à disposition une pré-release de cette nouvelle version d'ISIS.
En vous souhaitant une belle semaine,
Sarah Bordage
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sigrid LEHUTA ~ ><> ~ Fisheries modeller IFREMER unit HALGO, Ecology and modeling for fisheries science lab (EMH) Member of the Mixed Research Unit DECOD: Dynamics and sustainability of ecosystems: from source to sea Member of l'Association Française d'Halieutique
IFREMER, Centre Atlantique Rue de l'Ile d'Yeu - BP 21105 44311 Nantes Cedex 03, France Tél : 02 40 37 42 38 (N° interne : 8238)
https://halgo.ifremer.fr/en https://www.umr-decod.fr/en https://www.association-francaise-halieutique.fr/
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sarah Bordage Code Lutin
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sarah Bordage Code Lutin
Bonjour Sarah Merci. Pour info les simus ont tourné. Des que je trouve 5 minutes je fais les comparaisons anvciennes/nouvelles simu :) a+ Stephnaie Le 18/03/2024 à 11:17, Sarah Bordage a écrit :
Bonjour,
Merci Stéphanie pour ton retour, et désolée pour le bug sur tes simulations. Normalement c'est corrigé, je viens de mettre à jour la version de test 4.4.8.2 : https://forge.codelutin.com/attachments/download/8212/isis-fish-4.4.8.2-SNAP...
Bonne journée,
Sarah
On 14/03/2024 11:23, Stephanie MAHEVAS wrote:
Bonjour
j'ai testé hier la 4.4.8.2-optim et j'ai eu un souci des le lancement des anciennes simu. J'ai plein d'error qui apparaissent et les simus plantent à t=0
le debug, la region et les simu sont là : https://filesender.renater.fr/?s=download&token=9370b5da-b66f-4ac2-91aa-18da1e1ba7cf
Stéphanie Le 05/03/2024 à 14:02, Sarah Bordage a écrit :
Bonjour,
Merci Sigrid pour ton retour.
La version à tester est à disposition sur la forge : https://forge.codelutin.com/attachments/8181 (isis-fish-4.4.8.2-SNAPSHOT-optimisationmatrix)
Belle journée,
Sarah
On 04/03/2024 13:52, Sigrid LEHUTA wrote:
Bonjour Sarah,
merci beaucoup pour cette proposition et ces explications très claires. Ca me parait très prometteur. Et en effet, je doute qu'une précision à 10^-15 soit nécessaire. Il faudra tout de même réfléchir aux grandeurs pour lesquelles cela pourrait l'être (Steph ? à première vue tant que l'effort est en jours/heures et les captures en kg (même ne tonnes), on ne devrait jamais avoir besoin de ce niveau de précision). Mais en effet ça se teste.
Je serais volontaire pour essayer et cela tombe à pic car nous évaluons en ce moment la faisabilité d'une région très "grosse" pour voir jusqu'où il est raisonnable de pousser les développements. Cela pourra faire un bon test.
Sigrid
Le 04/03/2024 à 11:25, Sarah Bordage a écrit :
Bonjour à toutes et tous,
Suite aux retours de la dernière journée utilisateurs, nous travaillons sur l'optimisation des temps de simulation sur ISIS-Fish et nous avons un développement qui mériterait validation.
Nous somme partis d'une simulation de 12 mois sur Defipel pour analyser les temps de calculs. Sur cette simulation test, il s'est avéré que 80% du temps de calcul était dédié au calcul de la matrice de mortalité par pêche par la méthode 'SiMatrix.totalFishingMortality()'. Cette méthode prend un tableau de (stratégie, métier, classe, zone) et retourne une matrice de taille #classes x #zones, obtenue en faisant la somme sur les stratégies et sur les métiers des données d'entrée.
Avec Benjamin, nous avons amélioré l'algorithme en charge de sommer un tableau le long d'un axe, ce qui a divisé par ~2.8 le temps de calcul de la simulation test.
Souhaiteriez-vous tester cette nouvelle version ? Nous aimerions en particulier vérifier que les résultats sont toujours les mêmes, à epsilon près.
En effet, nous sommes ici sur un problème d'arithmétique sur des nombres à virgules flottantes (en double précision dans le cas d'ISIS). Pour rappel, les nombres flottants sont des représentations de nombres réels, équivalentes à une notation scientifique en base 2. Ces nombres ont un nombre limité de chiffres significatifs (environ 16 sur des type "double"). Il s'en suit qu'un nombre réel pour lequel il n'existe pas de représentation à virgule flottante est approximé. Cette approximation ne peut être égale à la valeur réelle qu'"à un certain epsilon près".
Lorsque des opérations arithmétiques sont effectuées sur des flottants, des erreurs d'approximations peuvent s'accumuler. De plus, contrairement au corps des réels, l'addition sur les flottants n'est pas associative : (a + b) + c n'est pas nécessairement égal à a + (b + c). Le nouvel algorithme n'effectuant pas les additions dans les même ordre qu'avant, et les résultats obtenus peuvent varier.
Sur mes tests, la différence *relative* entre la précédente et la nouvelle implantation sont de l'ordre de 10^(-15), ce qui me semble acceptable, étant donnée la précision limitée des flottants de type `double`. Il est impossible de dire que l'une des deux implantations donne des résultats plus corrects que l'autre, étant donnée la précision limitée des flottants de type `double`. Cependant, je souhaiterais savoir si sur de vraies simulations, les différences d'approximation sont également raisonnables.
Si certain(e)s sont intéressé(e)s pour tester ce développement, nous mettrons à disposition une pré-release de cette nouvelle version d'ISIS.
En vous souhaitant une belle semaine,
Sarah Bordage
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sigrid LEHUTA ~ ><> ~ Fisheries modeller IFREMER unit HALGO, Ecology and modeling for fisheries science lab (EMH) Member of the Mixed Research Unit DECOD: Dynamics and sustainability of ecosystems: from source to sea Member of l'Association Française d'Halieutique
IFREMER, Centre Atlantique Rue de l'Ile d'Yeu - BP 21105 44311 Nantes Cedex 03, France Tél : 02 40 37 42 38 (N° interne : 8238)
https://halgo.ifremer.fr/en https://www.umr-decod.fr/en https://www.association-francaise-halieutique.fr/
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sarah Bordage Code Lutin
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel -- Sarah Bordage Code Lutin
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/ Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33 o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
Bonjour Stéphanie et Sigrid, Je reviens vers vous à propos de l'accélération des temps de calcul, sujet sur lequel nous avions échangé il y a quelques temps. Avez-vous pu tester si avec la nouvelle version : 1) les temps de simulations étaient améliorés et, 2) les résultats obtenus étaient toujours corrects ? Si besoin, la version de test est toujours disponible ici : https://forge.codelutin.com/attachments/download/8212/isis-fish-4.4.8.2-SNAP.... Très bon week-end, Sarah On 19/03/2024 14:50, Stephanie MAHEVAS wrote:
Bonjour Sarah
Merci. Pour info les simus ont tourné. Des que je trouve 5 minutes je fais les comparaisons anvciennes/nouvelles simu :)
a+
Stephnaie
Le 18/03/2024 à 11:17, Sarah Bordage a écrit :
Bonjour,
Merci Stéphanie pour ton retour, et désolée pour le bug sur tes simulations. Normalement c'est corrigé, je viens de mettre à jour la version de test 4.4.8.2 : https://forge.codelutin.com/attachments/download/8212/isis-fish-4.4.8.2-SNAP...
Bonne journée,
Sarah
On 14/03/2024 11:23, Stephanie MAHEVAS wrote:
Bonjour
j'ai testé hier la 4.4.8.2-optim et j'ai eu un souci des le lancement des anciennes simu. J'ai plein d'error qui apparaissent et les simus plantent à t=0
le debug, la region et les simu sont là : https://filesender.renater.fr/?s=download&token=9370b5da-b66f-4ac2-91aa-18da1e1ba7cf
Stéphanie Le 05/03/2024 à 14:02, Sarah Bordage a écrit :
Bonjour,
Merci Sigrid pour ton retour.
La version à tester est à disposition sur la forge : https://forge.codelutin.com/attachments/8181 (isis-fish-4.4.8.2-SNAPSHOT-optimisationmatrix)
Belle journée,
Sarah
On 04/03/2024 13:52, Sigrid LEHUTA wrote:
Bonjour Sarah,
merci beaucoup pour cette proposition et ces explications très claires. Ca me parait très prometteur. Et en effet, je doute qu'une précision à 10^-15 soit nécessaire. Il faudra tout de même réfléchir aux grandeurs pour lesquelles cela pourrait l'être (Steph ? à première vue tant que l'effort est en jours/heures et les captures en kg (même ne tonnes), on ne devrait jamais avoir besoin de ce niveau de précision). Mais en effet ça se teste.
Je serais volontaire pour essayer et cela tombe à pic car nous évaluons en ce moment la faisabilité d'une région très "grosse" pour voir jusqu'où il est raisonnable de pousser les développements. Cela pourra faire un bon test.
Sigrid
Le 04/03/2024 à 11:25, Sarah Bordage a écrit :
Bonjour à toutes et tous,
Suite aux retours de la dernière journée utilisateurs, nous travaillons sur l'optimisation des temps de simulation sur ISIS-Fish et nous avons un développement qui mériterait validation.
Nous somme partis d'une simulation de 12 mois sur Defipel pour analyser les temps de calculs. Sur cette simulation test, il s'est avéré que 80% du temps de calcul était dédié au calcul de la matrice de mortalité par pêche par la méthode 'SiMatrix.totalFishingMortality()'. Cette méthode prend un tableau de (stratégie, métier, classe, zone) et retourne une matrice de taille #classes x #zones, obtenue en faisant la somme sur les stratégies et sur les métiers des données d'entrée.
Avec Benjamin, nous avons amélioré l'algorithme en charge de sommer un tableau le long d'un axe, ce qui a divisé par ~2.8 le temps de calcul de la simulation test.
Souhaiteriez-vous tester cette nouvelle version ? Nous aimerions en particulier vérifier que les résultats sont toujours les mêmes, à epsilon près.
En effet, nous sommes ici sur un problème d'arithmétique sur des nombres à virgules flottantes (en double précision dans le cas d'ISIS). Pour rappel, les nombres flottants sont des représentations de nombres réels, équivalentes à une notation scientifique en base 2. Ces nombres ont un nombre limité de chiffres significatifs (environ 16 sur des type "double"). Il s'en suit qu'un nombre réel pour lequel il n'existe pas de représentation à virgule flottante est approximé. Cette approximation ne peut être égale à la valeur réelle qu'"à un certain epsilon près".
Lorsque des opérations arithmétiques sont effectuées sur des flottants, des erreurs d'approximations peuvent s'accumuler. De plus, contrairement au corps des réels, l'addition sur les flottants n'est pas associative : (a + b) + c n'est pas nécessairement égal à a + (b + c). Le nouvel algorithme n'effectuant pas les additions dans les même ordre qu'avant, et les résultats obtenus peuvent varier.
Sur mes tests, la différence *relative* entre la précédente et la nouvelle implantation sont de l'ordre de 10^(-15), ce qui me semble acceptable, étant donnée la précision limitée des flottants de type `double`. Il est impossible de dire que l'une des deux implantations donne des résultats plus corrects que l'autre, étant donnée la précision limitée des flottants de type `double`. Cependant, je souhaiterais savoir si sur de vraies simulations, les différences d'approximation sont également raisonnables.
Si certain(e)s sont intéressé(e)s pour tester ce développement, nous mettrons à disposition une pré-release de cette nouvelle version d'ISIS.
En vous souhaitant une belle semaine,
Sarah Bordage
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sigrid LEHUTA ~ ><> ~ Fisheries modeller IFREMER unit HALGO, Ecology and modeling for fisheries science lab (EMH) Member of the Mixed Research Unit DECOD: Dynamics and sustainability of ecosystems: from source to sea Member of l'Association Française d'Halieutique
IFREMER, Centre Atlantique Rue de l'Ile d'Yeu - BP 21105 44311 Nantes Cedex 03, France Tél : 02 40 37 42 38 (N° interne : 8238)
https://halgo.ifremer.fr/en https://www.umr-decod.fr/en https://www.association-francaise-halieutique.fr/
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sarah Bordage Code Lutin
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel -- Sarah Bordage Code Lutin
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sarah Bordage Code Lutin
Bonjour Sarah je m'excuse pour mon manque de réactivité. J'avais fait les simulations des tests en parallèle de la restitution d'un projet et j'avoue ne pas avoir tout bien analysé. Mon souvenir est qu'il y avait des différences entre les résultats mais que je n'ai pas pris le temps d'approfondir face aux autre urgences du moment. Je veux bien que l'on se fixe une date pour reprendre ces résultats, histoire que je me bloque 2 heures dans mon agenda et que l'on echange à la suite. Serais-tu disponible le 10/07 de 11h à 12h ? merci bonne journée Stephanie Le 28/06/2024 à 15:09, Sarah Bordage a écrit :
Bonjour Stéphanie et Sigrid,
Je reviens vers vous à propos de l'accélération des temps de calcul, sujet sur lequel nous avions échangé il y a quelques temps.
Avez-vous pu tester si avec la nouvelle version : 1) les temps de simulations étaient améliorés et, 2) les résultats obtenus étaient toujours corrects ?
Si besoin, la version de test est toujours disponible ici : https://forge.codelutin.com/attachments/download/8212/isis-fish-4.4.8.2-SNAP....
Très bon week-end,
Sarah
On 19/03/2024 14:50, Stephanie MAHEVAS wrote:
Bonjour Sarah
Merci. Pour info les simus ont tourné. Des que je trouve 5 minutes je fais les comparaisons anvciennes/nouvelles simu :)
a+
Stephnaie
Le 18/03/2024 à 11:17, Sarah Bordage a écrit :
Bonjour,
Merci Stéphanie pour ton retour, et désolée pour le bug sur tes simulations. Normalement c'est corrigé, je viens de mettre à jour la version de test 4.4.8.2 : https://forge.codelutin.com/attachments/download/8212/isis-fish-4.4.8.2-SNAP...
Bonne journée,
Sarah
On 14/03/2024 11:23, Stephanie MAHEVAS wrote:
Bonjour
j'ai testé hier la 4.4.8.2-optim et j'ai eu un souci des le lancement des anciennes simu. J'ai plein d'error qui apparaissent et les simus plantent à t=0
le debug, la region et les simu sont là : https://filesender.renater.fr/?s=download&token=9370b5da-b66f-4ac2-91aa-18da1e1ba7cf
Stéphanie Le 05/03/2024 à 14:02, Sarah Bordage a écrit :
Bonjour,
Merci Sigrid pour ton retour.
La version à tester est à disposition sur la forge : https://forge.codelutin.com/attachments/8181 (isis-fish-4.4.8.2-SNAPSHOT-optimisationmatrix)
Belle journée,
Sarah
On 04/03/2024 13:52, Sigrid LEHUTA wrote:
Bonjour Sarah,
merci beaucoup pour cette proposition et ces explications très claires. Ca me parait très prometteur. Et en effet, je doute qu'une précision à 10^-15 soit nécessaire. Il faudra tout de même réfléchir aux grandeurs pour lesquelles cela pourrait l'être (Steph ? à première vue tant que l'effort est en jours/heures et les captures en kg (même ne tonnes), on ne devrait jamais avoir besoin de ce niveau de précision). Mais en effet ça se teste.
Je serais volontaire pour essayer et cela tombe à pic car nous évaluons en ce moment la faisabilité d'une région très "grosse" pour voir jusqu'où il est raisonnable de pousser les développements. Cela pourra faire un bon test.
Sigrid
Le 04/03/2024 à 11:25, Sarah Bordage a écrit : > > Bonjour à toutes et tous, > > Suite aux retours de la dernière journée utilisateurs, nous > travaillons sur l'optimisation des temps de simulation sur > ISIS-Fish et nous avons un développement qui mériterait validation. > > Nous somme partis d'une simulation de 12 mois sur Defipel pour > analyser les temps de calculs. Sur cette simulation test, il > s'est avéré que 80% du temps de calcul était dédié au calcul de > la matrice de mortalité par pêche par la méthode > 'SiMatrix.totalFishingMortality()'. Cette méthode prend un > tableau de (stratégie, métier, classe, zone) et retourne une > matrice de taille #classes x #zones, obtenue en faisant la somme > sur les stratégies et sur les métiers des données d'entrée. > > Avec Benjamin, nous avons amélioré l'algorithme en charge de > sommer un tableau le long d'un axe, ce qui a divisé par ~2.8 le > temps de calcul de la simulation test. > > Souhaiteriez-vous tester cette nouvelle version ? Nous aimerions > en particulier vérifier que les résultats sont toujours les > mêmes, à epsilon près. > > En effet, nous sommes ici sur un problème d'arithmétique sur des > nombres à virgules flottantes (en double précision dans le cas > d'ISIS). Pour rappel, les nombres flottants sont des > représentations de nombres réels, équivalentes à une notation > scientifique en base 2. Ces nombres ont un nombre limité de > chiffres significatifs (environ 16 sur des type "double"). Il > s'en suit qu'un nombre réel pour lequel il n'existe pas de > représentation à virgule flottante est approximé. Cette > approximation ne peut être égale à la valeur réelle qu'"à un > certain epsilon près". > > Lorsque des opérations arithmétiques sont effectuées sur des > flottants, des erreurs d'approximations peuvent s'accumuler. De > plus, contrairement au corps des réels, l'addition sur les > flottants n'est pas associative : (a + b) + c n'est pas > nécessairement égal à a + (b + c). Le nouvel algorithme > n'effectuant pas les additions dans les même ordre qu'avant, et > les résultats obtenus peuvent varier. > > Sur mes tests, la différence *relative* entre la précédente et > la nouvelle implantation sont de l'ordre de 10^(-15), ce qui me > semble acceptable, étant donnée la précision limitée des > flottants de type `double`. Il est impossible de dire que l'une > des deux implantations donne des résultats plus corrects que > l'autre, étant donnée la précision limitée des flottants de type > `double`. Cependant, je souhaiterais savoir si sur de vraies > simulations, les différences d'approximation sont également > raisonnables. > > Si certain(e)s sont intéressé(e)s pour tester ce développement, > nous mettrons à disposition une pré-release de cette nouvelle > version d'ISIS. > > En vous souhaitant une belle semaine, > > Sarah Bordage > > > _______________________________________________ > Isis-fish-devel mailing list > Isis-fish-devel@list.isis-fish.org > https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel -- Sigrid LEHUTA ~ ><> ~ Fisheries modeller IFREMER unit HALGO, Ecology and modeling for fisheries science lab (EMH) Member of the Mixed Research Unit DECOD: Dynamics and sustainability of ecosystems: from source to sea Member of l'Association Française d'Halieutique
IFREMER, Centre Atlantique Rue de l'Ile d'Yeu - BP 21105 44311 Nantes Cedex 03, France Tél : 02 40 37 42 38 (N° interne : 8238)
https://halgo.ifremer.fr/en https://www.umr-decod.fr/en https://www.association-francaise-halieutique.fr/
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sarah Bordage Code Lutin
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel -- Sarah Bordage Code Lutin
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sarah Bordage Code Lutin
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/ Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33 o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
Bonjour Stéphanie, Aucun soucis. Je suis disponible le 10/07 à 11h. Bonne journée, Sarah On 02/07/2024 10:37, Stephanie MAHEVAS wrote:
Bonjour Sarah
je m'excuse pour mon manque de réactivité.
J'avais fait les simulations des tests en parallèle de la restitution d'un projet et j'avoue ne pas avoir tout bien analysé. Mon souvenir est qu'il y avait des différences entre les résultats mais que je n'ai pas pris le temps d'approfondir face aux autre urgences du moment.
Je veux bien que l'on se fixe une date pour reprendre ces résultats, histoire que je me bloque 2 heures dans mon agenda et que l'on echange à la suite.
Serais-tu disponible le 10/07 de 11h à 12h ?
merci
bonne journée
Stephanie
Le 28/06/2024 à 15:09, Sarah Bordage a écrit :
Bonjour Stéphanie et Sigrid,
Je reviens vers vous à propos de l'accélération des temps de calcul, sujet sur lequel nous avions échangé il y a quelques temps.
Avez-vous pu tester si avec la nouvelle version : 1) les temps de simulations étaient améliorés et, 2) les résultats obtenus étaient toujours corrects ?
Si besoin, la version de test est toujours disponible ici : https://forge.codelutin.com/attachments/download/8212/isis-fish-4.4.8.2-SNAP....
Très bon week-end,
Sarah
On 19/03/2024 14:50, Stephanie MAHEVAS wrote:
Bonjour Sarah
Merci. Pour info les simus ont tourné. Des que je trouve 5 minutes je fais les comparaisons anvciennes/nouvelles simu :)
a+
Stephnaie
Le 18/03/2024 à 11:17, Sarah Bordage a écrit :
Bonjour,
Merci Stéphanie pour ton retour, et désolée pour le bug sur tes simulations. Normalement c'est corrigé, je viens de mettre à jour la version de test 4.4.8.2 : https://forge.codelutin.com/attachments/download/8212/isis-fish-4.4.8.2-SNAP...
Bonne journée,
Sarah
On 14/03/2024 11:23, Stephanie MAHEVAS wrote:
Bonjour
j'ai testé hier la 4.4.8.2-optim et j'ai eu un souci des le lancement des anciennes simu. J'ai plein d'error qui apparaissent et les simus plantent à t=0
le debug, la region et les simu sont là : https://filesender.renater.fr/?s=download&token=9370b5da-b66f-4ac2-91aa-18da1e1ba7cf
Stéphanie Le 05/03/2024 à 14:02, Sarah Bordage a écrit :
Bonjour,
Merci Sigrid pour ton retour.
La version à tester est à disposition sur la forge : https://forge.codelutin.com/attachments/8181 (isis-fish-4.4.8.2-SNAPSHOT-optimisationmatrix)
Belle journée,
Sarah
On 04/03/2024 13:52, Sigrid LEHUTA wrote: > > Bonjour Sarah, > > merci beaucoup pour cette proposition et ces explications très > claires. Ca me parait très prometteur. Et en effet, je doute > qu'une précision à 10^-15 soit nécessaire. Il faudra tout de > même réfléchir aux grandeurs pour lesquelles cela pourrait > l'être (Steph ? à première vue tant que l'effort est en > jours/heures et les captures en kg (même ne tonnes), on ne > devrait jamais avoir besoin de ce niveau de précision). Mais en > effet ça se teste. > > Je serais volontaire pour essayer et cela tombe à pic car nous > évaluons en ce moment la faisabilité d'une région très "grosse" > pour voir jusqu'où il est raisonnable de pousser les > développements. Cela pourra faire un bon test. > > Sigrid > > > Le 04/03/2024 à 11:25, Sarah Bordage a écrit : >> >> Bonjour à toutes et tous, >> >> Suite aux retours de la dernière journée utilisateurs, nous >> travaillons sur l'optimisation des temps de simulation sur >> ISIS-Fish et nous avons un développement qui mériterait >> validation. >> >> Nous somme partis d'une simulation de 12 mois sur Defipel pour >> analyser les temps de calculs. Sur cette simulation test, il >> s'est avéré que 80% du temps de calcul était dédié au calcul de >> la matrice de mortalité par pêche par la méthode >> 'SiMatrix.totalFishingMortality()'. Cette méthode prend un >> tableau de (stratégie, métier, classe, zone) et retourne une >> matrice de taille #classes x #zones, obtenue en faisant la >> somme sur les stratégies et sur les métiers des données d'entrée. >> >> Avec Benjamin, nous avons amélioré l'algorithme en charge de >> sommer un tableau le long d'un axe, ce qui a divisé par ~2.8 le >> temps de calcul de la simulation test. >> >> Souhaiteriez-vous tester cette nouvelle version ? Nous >> aimerions en particulier vérifier que les résultats sont >> toujours les mêmes, à epsilon près. >> >> En effet, nous sommes ici sur un problème d'arithmétique sur >> des nombres à virgules flottantes (en double précision dans le >> cas d'ISIS). Pour rappel, les nombres flottants sont des >> représentations de nombres réels, équivalentes à une notation >> scientifique en base 2. Ces nombres ont un nombre limité de >> chiffres significatifs (environ 16 sur des type "double"). Il >> s'en suit qu'un nombre réel pour lequel il n'existe pas de >> représentation à virgule flottante est approximé. Cette >> approximation ne peut être égale à la valeur réelle qu'"à un >> certain epsilon près". >> >> Lorsque des opérations arithmétiques sont effectuées sur des >> flottants, des erreurs d'approximations peuvent s'accumuler. De >> plus, contrairement au corps des réels, l'addition sur les >> flottants n'est pas associative : (a + b) + c n'est pas >> nécessairement égal à a + (b + c). Le nouvel algorithme >> n'effectuant pas les additions dans les même ordre qu'avant, et >> les résultats obtenus peuvent varier. >> >> Sur mes tests, la différence *relative* entre la précédente et >> la nouvelle implantation sont de l'ordre de 10^(-15), ce qui me >> semble acceptable, étant donnée la précision limitée des >> flottants de type `double`. Il est impossible de dire que l'une >> des deux implantations donne des résultats plus corrects que >> l'autre, étant donnée la précision limitée des flottants de >> type `double`. Cependant, je souhaiterais savoir si sur de >> vraies simulations, les différences d'approximation sont >> également raisonnables. >> >> Si certain(e)s sont intéressé(e)s pour tester ce développement, >> nous mettrons à disposition une pré-release de cette nouvelle >> version d'ISIS. >> >> En vous souhaitant une belle semaine, >> >> Sarah Bordage >> >> >> _______________________________________________ >> Isis-fish-devel mailing list >> Isis-fish-devel@list.isis-fish.org >> https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel > -- > Sigrid LEHUTA > ~ ><> ~ > Fisheries modeller > IFREMER unit HALGO, Ecology and modeling for fisheries science lab (EMH) > Member of the Mixed Research Unit DECOD: Dynamics and sustainability of ecosystems: from source to sea > Member of l'Association Française d'Halieutique > > IFREMER, Centre Atlantique > Rue de l'Ile d'Yeu - BP 21105 > 44311 Nantes Cedex 03, France > Tél : 02 40 37 42 38 (N° interne : 8238) > > https://halgo.ifremer.fr/en > https://www.umr-decod.fr/en > https://www.association-francaise-halieutique.fr/ > > _______________________________________________ > Isis-fish-devel mailing list > Isis-fish-devel@list.isis-fish.org > https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel -- Sarah Bordage Code Lutin
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel -- Sarah Bordage Code Lutin
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sarah Bordage Code Lutin
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sarah Bordage Code Lutin
Bonjour Sarah Je ne suis pas sure d'avoir valider. Dans le doute, je te renvoie un mail et je te propose de se retrouver là : https://meet.jit.si/Point_ISIS-fish_divers <https://meet.jit.si/Point_ISIS-fish_divers> Bonne soirée Stephanie Le 02/07/2024 à 11:02, Sarah Bordage a écrit :
Bonjour Stéphanie,
Aucun soucis. Je suis disponible le 10/07 à 11h.
Bonne journée,
Sarah
On 02/07/2024 10:37, Stephanie MAHEVAS wrote:
Bonjour Sarah
je m'excuse pour mon manque de réactivité.
J'avais fait les simulations des tests en parallèle de la restitution d'un projet et j'avoue ne pas avoir tout bien analysé. Mon souvenir est qu'il y avait des différences entre les résultats mais que je n'ai pas pris le temps d'approfondir face aux autre urgences du moment.
Je veux bien que l'on se fixe une date pour reprendre ces résultats, histoire que je me bloque 2 heures dans mon agenda et que l'on echange à la suite.
Serais-tu disponible le 10/07 de 11h à 12h ?
merci
bonne journée
Stephanie
Le 28/06/2024 à 15:09, Sarah Bordage a écrit :
Bonjour Stéphanie et Sigrid,
Je reviens vers vous à propos de l'accélération des temps de calcul, sujet sur lequel nous avions échangé il y a quelques temps.
Avez-vous pu tester si avec la nouvelle version : 1) les temps de simulations étaient améliorés et, 2) les résultats obtenus étaient toujours corrects ?
Si besoin, la version de test est toujours disponible ici : https://forge.codelutin.com/attachments/download/8212/isis-fish-4.4.8.2-SNAP....
Très bon week-end,
Sarah
On 19/03/2024 14:50, Stephanie MAHEVAS wrote:
Bonjour Sarah
Merci. Pour info les simus ont tourné. Des que je trouve 5 minutes je fais les comparaisons anvciennes/nouvelles simu :)
a+
Stephnaie
Le 18/03/2024 à 11:17, Sarah Bordage a écrit :
Bonjour,
Merci Stéphanie pour ton retour, et désolée pour le bug sur tes simulations. Normalement c'est corrigé, je viens de mettre à jour la version de test 4.4.8.2 : https://forge.codelutin.com/attachments/download/8212/isis-fish-4.4.8.2-SNAP...
Bonne journée,
Sarah
On 14/03/2024 11:23, Stephanie MAHEVAS wrote:
Bonjour
j'ai testé hier la 4.4.8.2-optim et j'ai eu un souci des le lancement des anciennes simu. J'ai plein d'error qui apparaissent et les simus plantent à t=0
le debug, la region et les simu sont là : https://filesender.renater.fr/?s=download&token=9370b5da-b66f-4ac2-91aa-18da1e1ba7cf
Stéphanie Le 05/03/2024 à 14:02, Sarah Bordage a écrit : > > Bonjour, > > Merci Sigrid pour ton retour. > > La version à tester est à disposition sur la forge : > https://forge.codelutin.com/attachments/8181 > (isis-fish-4.4.8.2-SNAPSHOT-optimisationmatrix) > > Belle journée, > > Sarah > > On 04/03/2024 13:52, Sigrid LEHUTA wrote: >> >> Bonjour Sarah, >> >> merci beaucoup pour cette proposition et ces explications très >> claires. Ca me parait très prometteur. Et en effet, je doute >> qu'une précision à 10^-15 soit nécessaire. Il faudra tout de >> même réfléchir aux grandeurs pour lesquelles cela pourrait >> l'être (Steph ? à première vue tant que l'effort est en >> jours/heures et les captures en kg (même ne tonnes), on ne >> devrait jamais avoir besoin de ce niveau de précision). Mais en >> effet ça se teste. >> >> Je serais volontaire pour essayer et cela tombe à pic car nous >> évaluons en ce moment la faisabilité d'une région très "grosse" >> pour voir jusqu'où il est raisonnable de pousser les >> développements. Cela pourra faire un bon test. >> >> Sigrid >> >> >> Le 04/03/2024 à 11:25, Sarah Bordage a écrit : >>> >>> Bonjour à toutes et tous, >>> >>> Suite aux retours de la dernière journée utilisateurs, nous >>> travaillons sur l'optimisation des temps de simulation sur >>> ISIS-Fish et nous avons un développement qui mériterait >>> validation. >>> >>> Nous somme partis d'une simulation de 12 mois sur Defipel pour >>> analyser les temps de calculs. Sur cette simulation test, il >>> s'est avéré que 80% du temps de calcul était dédié au calcul >>> de la matrice de mortalité par pêche par la méthode >>> 'SiMatrix.totalFishingMortality()'. Cette méthode prend un >>> tableau de (stratégie, métier, classe, zone) et retourne une >>> matrice de taille #classes x #zones, obtenue en faisant la >>> somme sur les stratégies et sur les métiers des données d'entrée. >>> >>> Avec Benjamin, nous avons amélioré l'algorithme en charge de >>> sommer un tableau le long d'un axe, ce qui a divisé par ~2.8 >>> le temps de calcul de la simulation test. >>> >>> Souhaiteriez-vous tester cette nouvelle version ? Nous >>> aimerions en particulier vérifier que les résultats sont >>> toujours les mêmes, à epsilon près. >>> >>> En effet, nous sommes ici sur un problème d'arithmétique sur >>> des nombres à virgules flottantes (en double précision dans le >>> cas d'ISIS). Pour rappel, les nombres flottants sont des >>> représentations de nombres réels, équivalentes à une notation >>> scientifique en base 2. Ces nombres ont un nombre limité de >>> chiffres significatifs (environ 16 sur des type "double"). Il >>> s'en suit qu'un nombre réel pour lequel il n'existe pas de >>> représentation à virgule flottante est approximé. Cette >>> approximation ne peut être égale à la valeur réelle qu'"à un >>> certain epsilon près". >>> >>> Lorsque des opérations arithmétiques sont effectuées sur des >>> flottants, des erreurs d'approximations peuvent s'accumuler. >>> De plus, contrairement au corps des réels, l'addition sur les >>> flottants n'est pas associative : (a + b) + c n'est pas >>> nécessairement égal à a + (b + c). Le nouvel algorithme >>> n'effectuant pas les additions dans les même ordre qu'avant, >>> et les résultats obtenus peuvent varier. >>> >>> Sur mes tests, la différence *relative* entre la précédente et >>> la nouvelle implantation sont de l'ordre de 10^(-15), ce qui >>> me semble acceptable, étant donnée la précision limitée des >>> flottants de type `double`. Il est impossible de dire que >>> l'une des deux implantations donne des résultats plus corrects >>> que l'autre, étant donnée la précision limitée des flottants >>> de type `double`. Cependant, je souhaiterais savoir si sur de >>> vraies simulations, les différences d'approximation sont >>> également raisonnables. >>> >>> Si certain(e)s sont intéressé(e)s pour tester ce >>> développement, nous mettrons à disposition une pré-release de >>> cette nouvelle version d'ISIS. >>> >>> En vous souhaitant une belle semaine, >>> >>> Sarah Bordage >>> >>> >>> _______________________________________________ >>> Isis-fish-devel mailing list >>> Isis-fish-devel@list.isis-fish.org >>> https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel >> -- >> Sigrid LEHUTA >> ~ ><> ~ >> Fisheries modeller >> IFREMER unit HALGO, Ecology and modeling for fisheries science lab (EMH) >> Member of the Mixed Research Unit DECOD: Dynamics and sustainability of ecosystems: from source to sea >> Member of l'Association Française d'Halieutique >> >> IFREMER, Centre Atlantique >> Rue de l'Ile d'Yeu - BP 21105 >> 44311 Nantes Cedex 03, France >> Tél : 02 40 37 42 38 (N° interne : 8238) >> >> https://halgo.ifremer.fr/en >> https://www.umr-decod.fr/en >> https://www.association-francaise-halieutique.fr/ >> >> _______________________________________________ >> Isis-fish-devel mailing list >> Isis-fish-devel@list.isis-fish.org >> https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel > -- > Sarah Bordage > Code Lutin > > _______________________________________________ > Isis-fish-devel mailing list > Isis-fish-devel@list.isis-fish.org > https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel -- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel -- Sarah Bordage Code Lutin
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sarah Bordage Code Lutin
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sarah Bordage Code Lutin
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/ Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33 o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
grrrrrrrrr validé Le 09/07/2024 à 18:37, Stephanie MAHEVAS a écrit :
Bonjour Sarah
Je ne suis pas sure d'avoir valider. Dans le doute, je te renvoie un mail et je te propose de se retrouver
là : https://meet.jit.si/Point_ISIS-fish_divers <https://meet.jit.si/Point_ISIS-fish_divers>
Bonne soirée
Stephanie
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/ Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33 o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
Bonjour Stephanie, Ça marche, merci pour le lien. Bonne soirée et à demain, Sarah On 09/07/2024 18:51, Stephanie MAHEVAS wrote:
grrrrrrrrr validé
Le 09/07/2024 à 18:37, Stephanie MAHEVAS a écrit :
Bonjour Sarah
Je ne suis pas sure d'avoir valider. Dans le doute, je te renvoie un mail et je te propose de se retrouver
là : https://meet.jit.si/Point_ISIS-fish_divers <https://meet.jit.si/Point_ISIS-fish_divers>
Bonne soirée
Stephanie
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sarah Bordage Code Lutin
Bonjour à tous la réunion de ce matin montre 1) des differences entre les 2 versions optim/pas optim d'ISIS mais 2) un gain de 1/3 de temps de simu sur une simu de 3h dans la version sans optim. Ces differences que Sarah expliquent par des approximations numériques dans les sommes (qui existent dans les 2 versions) qui ne se font pas dans le même ordre dans les 2 versions d'ISIS (problème numérique du fait de troncature des valeurs dans les sommes et encore plus marqué avec des sommes de valeurs d'ordres différents, connu en analyse numérique). Cela veut dire que des 2 versions d'ISIS, on ne peut pas dire laquelle est la plus juste. Les différences absolues peuvent etre importantes (de l'ordre de 10e4 pour des valeurs 10e8), les différences relatives sont au max en 10-3 pour des biomasses et l'abondance. *J'aurais donc envie de dire, prenons la version la plus rapide. Pour valider tout ca, je vous propose une réunion le vendredi 26 juillet de 11h à 12h. Benjamin et Sigrid, etes vous dispo ?* J'ai fait un zip des 2 simus de comparaison + exports en csv des caluls de différences : https://filesender.renater.fr/?s=download&token=d1521ea7-e066-4932-8c89-1aa560223631 A+ Stephanie Le 09/07/2024 à 19:20, Sarah Bordage a écrit :
Bonjour Stephanie,
Ça marche, merci pour le lien.
Bonne soirée et à demain,
Sarah
On 09/07/2024 18:51, Stephanie MAHEVAS wrote:
grrrrrrrrr validé
Le 09/07/2024 à 18:37, Stephanie MAHEVAS a écrit :
Bonjour Sarah
Je ne suis pas sure d'avoir valider. Dans le doute, je te renvoie un mail et je te propose de se retrouver
là : https://meet.jit.si/Point_ISIS-fish_divers <https://meet.jit.si/Point_ISIS-fish_divers>
Bonne soirée
Stephanie
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sarah Bordage Code Lutin
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/ Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33 o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
super merci ! je bloque le creneau du 23 dans mon agenda. Sigrid Le 10/07/2024 à 14:52, Stephanie MAHEVAS a écrit :
Bonjour à tous
la réunion de ce matin montre 1) des differences entre les 2 versions optim/pas optim d'ISIS mais 2) un gain de 1/3 de temps de simu sur une simu de 3h dans la version sans optim.
Ces differences que Sarah expliquent par des approximations numériques dans les sommes (qui existent dans les 2 versions) qui ne se font pas dans le même ordre dans les 2 versions d'ISIS (problème numérique du fait de troncature des valeurs dans les sommes et encore plus marqué avec des sommes de valeurs d'ordres différents, connu en analyse numérique). Cela veut dire que des 2 versions d'ISIS, on ne peut pas dire laquelle est la plus juste.
Les différences absolues peuvent etre importantes (de l'ordre de 10e4 pour des valeurs 10e8), les différences relatives sont au max en 10-3 pour des biomasses et l'abondance.
*J'aurais donc envie de dire, prenons la version la plus rapide. Pour valider tout ca, je vous propose une réunion le vendredi 26 juillet de 11h à 12h. Benjamin et Sigrid, etes vous dispo ?*
J'ai fait un zip des 2 simus de comparaison + exports en csv des caluls de différences : https://filesender.renater.fr/?s=download&token=d1521ea7-e066-4932-8c89-1aa560223631
A+ Stephanie
Le 09/07/2024 à 19:20, Sarah Bordage a écrit :
Bonjour Stephanie,
Ça marche, merci pour le lien.
Bonne soirée et à demain,
Sarah
On 09/07/2024 18:51, Stephanie MAHEVAS wrote:
grrrrrrrrr validé
Le 09/07/2024 à 18:37, Stephanie MAHEVAS a écrit :
Bonjour Sarah
Je ne suis pas sure d'avoir valider. Dans le doute, je te renvoie un mail et je te propose de se retrouver
là : https://meet.jit.si/Point_ISIS-fish_divers <https://meet.jit.si/Point_ISIS-fish_divers>
Bonne soirée
Stephanie
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sarah Bordage Code Lutin
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sigrid LEHUTA ~ ><> ~ Fisheries modeller IFREMER unit HALGO, Ecology and modeling for fisheries science lab (EMH) Member of the Mixed Research Unit DECOD: Dynamics and sustainability of ecosystems: from source to sea Member of l'Association Française d'Halieutique IFREMER, Centre Atlantique Rue de l'Ile d'Yeu - BP 21105 44311 Nantes Cedex 03, France Tél : 02 40 37 42 38 (N° interne : 8238) https://halgo.ifremer.fr/en https://www.umr-decod.fr/en https://www.association-francaise-halieutique.fr/
Salut, Ok aussi pour moi, ce serait en visio ? Le Wed, 10 Jul 2024 17:16:20 +0200, Sigrid LEHUTA <Sigrid.Lehuta@ifremer.fr> a écrit :
super merci !
je bloque le creneau du 23 dans mon agenda.
Sigrid
Le 10/07/2024 à 14:52, Stephanie MAHEVAS a écrit :
Bonjour à tous
la réunion de ce matin montre 1) des differences entre les 2 versions optim/pas optim d'ISIS mais 2) un gain de 1/3 de temps de simu sur une simu de 3h dans la version sans optim.
Ces differences que Sarah expliquent par des approximations numériques dans les sommes (qui existent dans les 2 versions) qui ne se font pas dans le même ordre dans les 2 versions d'ISIS (problème numérique du fait de troncature des valeurs dans les sommes et encore plus marqué avec des sommes de valeurs d'ordres différents, connu en analyse numérique). Cela veut dire que des 2 versions d'ISIS, on ne peut pas dire laquelle est la plus juste.
Les différences absolues peuvent etre importantes (de l'ordre de 10e4 pour des valeurs 10e8), les différences relatives sont au max en 10-3 pour des biomasses et l'abondance.
*J'aurais donc envie de dire, prenons la version la plus rapide. Pour valider tout ca, je vous propose une réunion le vendredi 26 juillet de 11h à 12h. Benjamin et Sigrid, etes vous dispo ?*
J'ai fait un zip des 2 simus de comparaison + exports en csv des caluls de différences : https://filesender.renater.fr/?s=download&token=d1521ea7-e066-4932-8c89-1aa560223631
A+ Stephanie
Le 09/07/2024 à 19:20, Sarah Bordage a écrit :
Bonjour Stephanie,
Ça marche, merci pour le lien.
Bonne soirée et à demain,
Sarah
On 09/07/2024 18:51, Stephanie MAHEVAS wrote:
grrrrrrrrr validé
Le 09/07/2024 à 18:37, Stephanie MAHEVAS a écrit :
Bonjour Sarah
Je ne suis pas sure d'avoir valider. Dans le doute, je te renvoie un mail et je te propose de se retrouver
là : https://meet.jit.si/Point_ISIS-fish_divers <https://meet.jit.si/Point_ISIS-fish_divers>
Bonne soirée
Stephanie
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sarah Bordage Code Lutin
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Benjamin POUSSIN -------------------- tél: +33 (0) 2 40 50 29 28 email: poussin@codelutin.com http://www.codelutin.com
nan nan on t'attend à Sète ;) je vous enverrai un lien visio A vendredi Stephanie Le 23/07/2024 à 09:46, Benjamin POUSSIN a écrit :
Salut,
Ok aussi pour moi, ce serait en visio ?
Le Wed, 10 Jul 2024 17:16:20 +0200, Sigrid LEHUTA<Sigrid.Lehuta@ifremer.fr> a écrit :
super merci !
je bloque le creneau du 23 dans mon agenda.
Sigrid
Le 10/07/2024 à 14:52, Stephanie MAHEVAS a écrit :
Bonjour à tous
la réunion de ce matin montre 1) des differences entre les 2 versions optim/pas optim d'ISIS mais 2) un gain de 1/3 de temps de simu sur une simu de 3h dans la version sans optim.
Ces differences que Sarah expliquent par des approximations numériques dans les sommes (qui existent dans les 2 versions) qui ne se font pas dans le même ordre dans les 2 versions d'ISIS (problème numérique du fait de troncature des valeurs dans les sommes et encore plus marqué avec des sommes de valeurs d'ordres différents, connu en analyse numérique). Cela veut dire que des 2 versions d'ISIS, on ne peut pas dire laquelle est la plus juste.
Les différences absolues peuvent etre importantes (de l'ordre de 10e4 pour des valeurs 10e8), les différences relatives sont au max en 10-3 pour des biomasses et l'abondance.
*J'aurais donc envie de dire, prenons la version la plus rapide. Pour valider tout ca, je vous propose une réunion le vendredi 26 juillet de 11h à 12h. Benjamin et Sigrid, etes vous dispo ?*
J'ai fait un zip des 2 simus de comparaison + exports en csv des caluls de différences : https://filesender.renater.fr/?s=download&token=d1521ea7-e066-4932-8c89-1aa560223631
A+ Stephanie
Le 09/07/2024 à 19:20, Sarah Bordage a écrit :
Bonjour Stephanie,
Ça marche, merci pour le lien.
Bonne soirée et à demain,
Sarah
On 09/07/2024 18:51, Stephanie MAHEVAS wrote:
grrrrrrrrr validé
Le 09/07/2024 à 18:37, Stephanie MAHEVAS a écrit :
Bonjour Sarah
Je ne suis pas sure d'avoir valider. Dans le doute, je te renvoie un mail et je te propose de se retrouver
là :https://meet.jit.si/Point_ISIS-fish_divers <https://meet.jit.si/Point_ISIS-fish_divers>
Bonne soirée
Stephanie
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel -- Sarah Bordage Code Lutin
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel -- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/ Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33 o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
Le Tue, 23 Jul 2024 09:46:40 +0200, Benjamin POUSSIN <poussin@codelutin.com> a écrit :
Ok aussi pour moi, ce serait en visio ?
Salut, Ca va être compliqué pour moi si ce n'est pas en visio, j'ai une réunion avant et un impératif à 12h. Si c'est à l'Ifremer de Nantes ça doit pouvoir le faire aussi. Dans les 2 cas, je devrais m'absenter vers 11h50 A demain -- Benjamin POUSSIN -------------------- tél: +33 (0) 2 40 50 29 28 email: poussin@codelutin.com http://www.codelutin.com
Salut perso je n'avais pas prevu de venir à Nantes, fait trop froid visio : https://meet.jit.si/Point_ISIS-fish_divers à demain 11h Steph Le 25/07/2024 à 12:29, Benjamin POUSSIN a écrit :
Le Tue, 23 Jul 2024 09:46:40 +0200, Benjamin POUSSIN<poussin@codelutin.com> a écrit :
Ok aussi pour moi, ce serait en visio ? Salut,
Ca va être compliqué pour moi si ce n'est pas en visio, j'ai une réunion avant et un impératif à 12h.
Si c'est à l'Ifremer de Nantes ça doit pouvoir le faire aussi.
Dans les 2 cas, je devrais m'absenter vers 11h50
A demain
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/ Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33 o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
Bonjour Sarah, Sigrid et Benjamin C'est une super nouvelle. Merci à toi et Benjamin d'avoir exploré le problème du temps de simulation. Pour ce qui est des erreurs d'arrondis à 10^-15, il me semble que les paramètres qui pourraient etre concernés sont ceux décrits par une fonction continue avec des queues de distribution (par ex. la sélectivité) qui pourraient avoir des valeurs très proches de 0 pour certaines longueurs. Certaines variables peuvent aussi approcher 0 dans certaines config défavorables (par ex Captures en poids, Biomasses quand les stocks s'effondrent) mais bon 10^-15 ou 10^-10 c'est du même acabits. Mais je me pose plus la question de l'incidence de l'arrondi dans les équations de calcul de l'effort et de F où y'a plein de somme sur les metiers de valeurs proches de 0 (propstr, select, target,...)... On verra ce que cela donne en testant. Je teste avec la base macco (apres avoir sauvegardé mon isis-fish-4 ;) ) a+ Steph Le 04/03/2024 à 13:52, Sigrid LEHUTA a écrit :
Bonjour Sarah,
merci beaucoup pour cette proposition et ces explications très claires. Ca me parait très prometteur. Et en effet, je doute qu'une précision à 10^-15 soit nécessaire. Il faudra tout de même réfléchir aux grandeurs pour lesquelles cela pourrait l'être (Steph ? à première vue tant que l'effort est en jours/heures et les captures en kg (même ne tonnes), on ne devrait jamais avoir besoin de ce niveau de précision). Mais en effet ça se teste.
Je serais volontaire pour essayer et cela tombe à pic car nous évaluons en ce moment la faisabilité d'une région très "grosse" pour voir jusqu'où il est raisonnable de pousser les développements. Cela pourra faire un bon test.
Sigrid
Le 04/03/2024 à 11:25, Sarah Bordage a écrit :
Bonjour à toutes et tous,
Suite aux retours de la dernière journée utilisateurs, nous travaillons sur l'optimisation des temps de simulation sur ISIS-Fish et nous avons un développement qui mériterait validation.
Nous somme partis d'une simulation de 12 mois sur Defipel pour analyser les temps de calculs. Sur cette simulation test, il s'est avéré que 80% du temps de calcul était dédié au calcul de la matrice de mortalité par pêche par la méthode 'SiMatrix.totalFishingMortality()'. Cette méthode prend un tableau de (stratégie, métier, classe, zone) et retourne une matrice de taille #classes x #zones, obtenue en faisant la somme sur les stratégies et sur les métiers des données d'entrée.
Avec Benjamin, nous avons amélioré l'algorithme en charge de sommer un tableau le long d'un axe, ce qui a divisé par ~2.8 le temps de calcul de la simulation test.
Souhaiteriez-vous tester cette nouvelle version ? Nous aimerions en particulier vérifier que les résultats sont toujours les mêmes, à epsilon près.
En effet, nous sommes ici sur un problème d'arithmétique sur des nombres à virgules flottantes (en double précision dans le cas d'ISIS). Pour rappel, les nombres flottants sont des représentations de nombres réels, équivalentes à une notation scientifique en base 2. Ces nombres ont un nombre limité de chiffres significatifs (environ 16 sur des type "double"). Il s'en suit qu'un nombre réel pour lequel il n'existe pas de représentation à virgule flottante est approximé. Cette approximation ne peut être égale à la valeur réelle qu'"à un certain epsilon près".
Lorsque des opérations arithmétiques sont effectuées sur des flottants, des erreurs d'approximations peuvent s'accumuler. De plus, contrairement au corps des réels, l'addition sur les flottants n'est pas associative : (a + b) + c n'est pas nécessairement égal à a + (b + c). Le nouvel algorithme n'effectuant pas les additions dans les même ordre qu'avant, et les résultats obtenus peuvent varier.
Sur mes tests, la différence *relative* entre la précédente et la nouvelle implantation sont de l'ordre de 10^(-15), ce qui me semble acceptable, étant donnée la précision limitée des flottants de type `double`. Il est impossible de dire que l'une des deux implantations donne des résultats plus corrects que l'autre, étant donnée la précision limitée des flottants de type `double`. Cependant, je souhaiterais savoir si sur de vraies simulations, les différences d'approximation sont également raisonnables.
Si certain(e)s sont intéressé(e)s pour tester ce développement, nous mettrons à disposition une pré-release de cette nouvelle version d'ISIS.
En vous souhaitant une belle semaine,
Sarah Bordage
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- Sigrid LEHUTA ~ ><> ~ Fisheries modeller IFREMER unit HALGO, Ecology and modeling for fisheries science lab (EMH) Member of the Mixed Research Unit DECOD: Dynamics and sustainability of ecosystems: from source to sea Member of l'Association Française d'Halieutique
IFREMER, Centre Atlantique Rue de l'Ile d'Yeu - BP 21105 44311 Nantes Cedex 03, France Tél : 02 40 37 42 38 (N° interne : 8238)
https://halgo.ifremer.fr/en https://www.umr-decod.fr/en https://www.association-francaise-halieutique.fr/
_______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-devel
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/ Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33 o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
participants (4)
-
Benjamin POUSSIN -
Sarah Bordage -
Sigrid LEHUTA -
Stephanie MAHEVAS