- Echobase-devel - mailman.cloud.codelutin.com

Re: [Echobase-devel] requête echotypes
by Jean Couteau 29 Apr '19

29 Apr '19

Salut, On Fri, 26 Apr 2019 15:36:21 +0200 mdoray <Mathieu.Doray(a)ifremer.fr> wrote: > Je viens d'arriver sur le bateau et n'ai plus le temps de m'occuper > d'EchoBase maintenant (et je ne pourrais pas tester une nouvelle > version à bord). > > Je serai de retour le 27/05. Ok > > Je pense qu'il faudrait se bloquer un créneau en juin où l'on sera > tous les deux dispos pour finaliser efficacement l'export Atlantos. Appelle moi dès ton retour qu'on cale quelquechose. > Je ne comprend pas bien toutes tes questions, car les données d'import > n'ont pas changé et je ne comprends pas pourquoi nous avons ces > problèmes maintenant. Je pense que c'est parce que ça a bougé dans Atlantos avec les echotypes > > J'ai essayé de te répondre dans le texte ci-dessous pour te permettre > d'avancer d'ici juin. > > Second soucis : J'ai des erreurs Combination of EchoType, DataType, > > and DataUnit should be unique per Sample. Car j'ai des samples avec > > plusieurs fois le même echotype. Ça viens du fait que tu as un > > result par species et par echotype et pas un result par echotype. > > Puis-je prendre le premier result par echotype ? Est-ce possible > > que la valeur du result soit différente pour un même echotype ? > > > > IL Y A DEUX IMPORTS DE RÉSULTATS DIFFÉRENTS : UN PAR ESDU ET > > ECHOTYPE, ET UN AUTRE PAR ESDU, PAR ECHOTYPE ET PAR ESPECE. IL Y A > > DONC DES RÉSULTATS PAR ESDU ET ECHOTYPE (DE TYPE "NASC"), ET DES > > RÉSULTATS PAR ESDU, PAR ECHOTYPE ET PAR ESPECE (DE DIVERS TYPES).IL > > FAUT PRENDRE LES RÉSULTATS PAR ESDU ET ÉCHOTYPES (DE TYPE "NASC") > > POUR L'EXPORT CIEM. Le problème c'est que tu as une colonne NASC dans l'import de résultats par esdu/echotype/espece avec des valeurs ou des 0 et donc j'ai ces résultats dans la base et ce sont eux qui posent problème. La solution : Soit on ignore la colonne à l'import (mais au niveau métier est-ce que c'est pertinent), soit tu mets des NA quand il ne faut pas qu'il y ai de résultat de type "NASC". > > Troisième soucis : J'ai modifié pour avoir des speciesCategory en > > String -> import Atlantos impossible car seul integer est autorisé. > > > > OK, il faut donc recoder les speciesCategory en integer pour > > atlantos : 0 = 0, P = 1, G = 2 ... La colonne est maintenant prise à l'import et est de type integer. > > > > Pour le biotic : > > Actuellement on prends toujours le premier transect correspondant à > > un bateau pour exporter ses opérations. Sauf que dans tes données, > > c'est le 7ème qui a les opérations donc j'ai rien d'exporté. > > > > ??? C'EST TRÈS GÊNANT ÇA CAR JE NE CONTRÔLE PAS L'ORDRE DANS LEQUEL > > LES TRANSECTS SONT IMPORTÉS, DONC ÇA NE CONVIENT PAS DE PRENDRE LE > > PREMIER. IL FAUDRAIT PAR EXEMPLE QUE LES OPÉRATIONS DU CHALUT > > "76X70" SOIENT RATTACHÉES AU TRANSECT "76X70" ET QUE L'ON PRENNE > > LES TRANSECTS CHALUTS POUR L'EXPORT ATLANTOS. Là je pense qu'on a potentiellement un gros soucis par contre. Il va falloir qu'on en rediscute, mais ça touche aussi l'import des opérations... Jean

1 0

Re: [Echobase-devel] requête echotypes
by Jean Couteau 13 Mar '19

13 Mar '19

Mathieu, je suis bon sur l'acoustique. J'ai "juste" un problème de données sur le D8 dans ma base qui n'a pas d'espèces associées (ce qui est interdit par le CIEM). J'ai des soucis sur 2 marées dans le biotic (marées 44 et 69), mais ça me semble être également des soucis de données (je me rappelle pourtant pas en avoir eu la dernière fois, mais je me trompe sûrement). Concernant la colonne "id", c'est un entier, le problème vient sûrement de là. Cela devrait peut-être être une chaîne de caractères. Jean On Tue, 5 Mar 2019 19:34:49 +0100 Mathieu Doray <mathieu.doray(a)ifremer.fr> wrote: > oui je pense que ça doit fonctionner comme ça. > > > Je vais quand même vérifier que les sizecategory s'importent bien > dans la table echotypes car ce n'est pas normal qu'il n'y ait que des > "zéros" dans la colonne "id" > > > A+ > > > M > > > Le 05/03/2019 à 14:19, Jean Couteau a écrit : > > re, > > > > j'ai l'impression qu'on se fait des noeuds au cerveau pour rien. > > > > Quand on avait échangé au début, tu m'avais dis qu'il fallait mettre > > <SpeciesCategory>sizeCategory.name</SpeciesCategory> (en tout cas > > c'est ce que je faisait dans le code) > > > > donc si echotype.id = sizeCategory.name, on n'a pas besoin de > > récupérer la speciesCategory. > > > > Sinon j'ai un code qui fonctionne, mais je voudrais valider ça avec > > toi. > > > > Hésite pas à m'appeler. > > > > Jean > > > > On Tue, 5 Mar 2019 12:13:01 +0100 > > Mathieu Doray <mathieu.doray(a)ifremer.fr> wrote: > > > >> re, > >> > >> > >> Je n'arrive pas à faire la requête complète. J'ai ça : > >> > >> > >> SELECT voyage.name voyage, echotype.name echotype, > >> species.baracoudacode species, sizecategory.name sizeCategory, > >> depthstratum.id depthStratum FROM public.echotype_species > >> echotype_species, public.echotype echotype, public.species species, > >> public.speciescategory speciescategory, public.voyage voyage, > >> public.sizecategory sizecategory, public.depthstratum depthstratum > >> WHERE echotype_species.echotype = echotype.topiaid AND > >> echotype_species.species = species.topiaid AND > >> speciescategory.species = species.topiaid AND echotype.voyage = > >> voyage.topiaid AND speciescategory.sizecategory = > >> sizecategory.topiaid AND echotype.depthstratum = > >> depthstratum.topiaid > >> > >> > >> mais il manque le lien entre echotype.id et sizecategory.name. > >> Quand je le fais dans libreoffice base j'ai une erreur? > >> > >> > >> Peux tu me dire comment modifier la requête pour avoir seulement > >> les speciescategory dont la sizecategory est égale à echotype.id? > >> (bien tordu effectivement ;-)) > >> > >> > >> Merci > >> > >> > >> Mathieu > > _______________________________________________ > > Echobase-devel mailing list > > Echobase-devel(a)list.forge.codelutin.com > > http://list.forge.codelutin.com/cgi-bin/mailman/listinfo/echobase-devel

1 0

Re: [Echobase-devel] requête echotypes
by Jean Couteau 05 Mar '19

05 Mar '19

re, j'ai l'impression qu'on se fait des noeuds au cerveau pour rien. Quand on avait échangé au début, tu m'avais dis qu'il fallait mettre <SpeciesCategory>sizeCategory.name</SpeciesCategory> (en tout cas c'est ce que je faisait dans le code) donc si echotype.id = sizeCategory.name, on n'a pas besoin de récupérer la speciesCategory. Sinon j'ai un code qui fonctionne, mais je voudrais valider ça avec toi. Hésite pas à m'appeler. Jean On Tue, 5 Mar 2019 12:13:01 +0100 Mathieu Doray <mathieu.doray(a)ifremer.fr> wrote: > re, > > > Je n'arrive pas à faire la requête complète. J'ai ça : > > > SELECT voyage.name voyage, echotype.name echotype, > species.baracoudacode species, sizecategory.name sizeCategory, > depthstratum.id depthStratum FROM public.echotype_species > echotype_species, public.echotype echotype, public.species species, > public.speciescategory speciescategory, public.voyage voyage, > public.sizecategory sizecategory, public.depthstratum depthstratum > WHERE echotype_species.echotype = echotype.topiaid AND > echotype_species.species = species.topiaid AND > speciescategory.species = species.topiaid AND echotype.voyage = > voyage.topiaid AND speciescategory.sizecategory = > sizecategory.topiaid AND echotype.depthstratum = depthstratum.topiaid > > > mais il manque le lien entre echotype.id et sizecategory.name. Quand > je le fais dans libreoffice base j'ai une erreur? > > > Peux tu me dire comment modifier la requête pour avoir seulement les > speciescategory dont la sizecategory est égale à echotype.id? (bien > tordu effectivement ;-)) > > > Merci > > > Mathieu

1 0

Re: [Echobase-devel] Implementing Echotype
by Jean Couteau 04 Mar '19

04 Mar '19

On Fri, 1 Mar 2019 14:55:51 +0100 Mathieu Doray <mathieu.doray(a)ifremer.fr> wrote: > Tu as trouvé la solution pour les "CodeTypes"? Oui, je pense en passant l'URL de la ref en https. > > Concernant le problème avec les AC_Stratum vocabulary, il faudrait > convertir les valeurs qui ne sont pas dans le vocabulaire comme ça : > > ‘SURFS’ = 'SURF' > ‘CLASF’ = 'CLAS' > 'CLASD’ ='CLAS' > ‘SURFM’ = 'SURF' > > peut on le contourner en complétant la table "VocabularyCIEM"? Exactement. Du coup, je ne pense pas qu'il faille forcer ça en dur dans le code. Jean

1 0

Re: [Echobase-devel] Echotypes dans BD CIEM
by Jean Couteau 01 Mar '19

01 Mar '19

Salut Mathieu, On Wed, 27 Feb 2019 15:36:20 +0100 Mathieu Doray <mathieu.doray(a)ifremer.fr> wrote: > La base CIEM a (enfin) été mise à jour avec les échotypes, tu peux > donc tester les imports complets. > > La documentation a aussi été mise à jours sur leur site. Super, je fait mes tests avec Pelgas 2015. > > J'ai pas mal retravaillé sur les imports biotiques de PELGAS. J'ai > importé et validé les 10 premières années dans la base en PJ. J'y ai > aussi mis à jour les espèces à exporter vers la base CIEM dans la > table "species". Je testerai avec ces données quand ce sera ok sur pelgas 2015. Actuellement, j'identifie 2 problématiques : - Sur acoustique, - The element 'Vocabulary' has invalid child element 'EchoType'. - Sur biotic : - The element 'Haul' has invalid child element 'DepthStratum'. List of possible elements expected: 'StartLatitude'. - The value of the 'CodeType' attribute does not equal its fixed value. sur quelques lignes comme : <Code ID="SHIPC_35HT" CodeType="http://acoustic.ices.dk/Services/Schema/XML/SHIPC.xml">35HT</Code> Il faut que je paufine avec la doc, mais ça me semble être plus que du détail. Jean

2 3

Re: [Echobase-devel] Acoustic format change request?
by Jean Couteau 25 Jan '19

25 Jan '19

Salut Mathieu, On Thu, 24 Jan 2019 18:59:59 +0100 Mathieu Doray <mathieu.doray(a)ifremer.fr> wrote: > J'importe sans problème ton fichier biotic avec mon code R et les > données semblent cohérentes. Bon signe :D > Mais il semble que je n'ai pas les mêmes données PELGAS2015 dans mon > Echobase pour comparer. Il y a plus de données biotic dans ton export > xml... J'utilise EB v 4.0.15. Bizarre, c'est une base avec que PELGAS2015 > > Je vais essayer de ré-importer les données PELGAS2015 dans une base > neuve pour voir si ça change quelque chose. > > > Quand je compare ton format biotic à celui de données récentes > importées dans la base CIEM, je vois que la structure n'est pas la > même. > > > Le CIEM garde à jour une description de ses formats de données > acoustic et biotic ici : > > > http://ices.dk/marine-data/Documents/Acoustic/ICES_Acoustic_data_format_des… Ce que je n'ai pas : Sur le Haul : <CodendMesh>22</CodendMesh> <SweepLength>75</SweepLength> <GearExceptions IDREF="AC_GearExceptions_B" /> <DoorType IDREF="AC_DoorType_R" /> <WarpLength>80</WarpLength> <WarpDiameter>20</WarpDiameter> <WarpDensity>75</WarpDensity> <DoorSurface>1.4</DoorSurface> <DoorWeight>780</DoorWeight> <DoorSpread>15</DoorSpread> <WingSpread>25</WingSpread> <Buoyancy>350</Buoyancy> <KiteArea>4</KiteArea> <GroundRopeWeight>450</GroundRopeWeight> <Rigging>10</Rigging> <Tickler>12</Tickler> <HydrographicStationID>204578902</HydrographicStationID> <TowDirection>184</TowDirection> <SpeedGround>4</SpeedGround> <SpeedWater>5</SpeedWater> <WindDirection>340</WindDirection> <WindSpeed>4</WindSpeed> <SwellDirection>240</SwellDirection> <SwellHeight>0.6</SwellHeight> <LogDistance>14500</LogDistance> Sur le Biology : <StockCode IDREF="ICES_StockCode_her-47d3" /> <IndividualVertebraeCount>143</IndividualVertebraeCount> Ce que eux n'ont pas : Sur le Vocabulary : <DepthStratum> Sur le Haul : <DepthStratum IDREF="AC_DepthStratum_SURFS"/> Sur le Catch : <SpeciesSex/> > Je te dis dès que j'ai des nouvelles de l'implémentation des > echotypes dans leur base. Ok. > Je ne serai pas là demain mais de retour lundi pour échanger. Je t'appelle lundi matin alors. Jean

1 0

Re: [Echobase-devel] Acoustic format change request?
by Jean Couteau 23 Jan '19

23 Jan '19

Je pense qu'il y a des soucis côté CIEM, car j'ai sur le meme fichier : https://acoustic.ices.dk/ValidationReport/Index/Biotic/0123141312_Validatio… On Tue, 22 Jan 2019 16:28:09 +0100 Mathieu Doray <mathieu.doray(a)ifremer.fr> wrote: > houla, pas très bon ce rapport de validation du biotic : > > > https://acoustic.ices.dk/ValidationReport/Index/Biotic/0122211411_Validatio… > > > ?? > > > Le 22/01/2019 à 11:41, Jean Couteau a écrit : > > Bonjour Mathieu, > > > > tu trouveras en pièce-jointe un test d'export ICES de PELGAS2015. Ça > > devrait te permettre de vérifier le Biotic, et me dire pour > > l'Acoustic, car pour tous les echotypes, je n'ai jamais de > > SpeciesCategory dans les results (j'ai bien une category, mais elle > > n'a pas de speciesCategory ou sizeCategory, donc impossible de > > faire le lien avec les espèces (que j'ai bien)). > > > > Jean > > > >>> Dans l'echotype, j'ai les species, mais pas leur catégorie (à > >>> moins que ce soit le EchotypeCategory). > >>> Dans le Biotic, je récupère les category via le > >>> subsample.getCategories.getSpecies. Chose que je ne peux pas faire > >>> ici... > >>> > >>> Que dois-je donc mettre ici ? > >> Il faut utiliser en plus la table "echotype_species" en plus de la > >> table "echotype" pour avoir toutes les infos sur les échotypes. > >> Exemple de requête : > >> > >> SELECT voyage.name voyage, echotype.name echotype, > >> species.baracoudacode species, sizecategory.name sizeCategory, > >> depthstratum.id depthStratum FROM public.echotype_species > >> echotype_species, public.echotype echotype, public.species species, > >> public.speciescategory speciescategory, public.voyage voyage, > >> public.sizecategory sizecategory, public.depthstratum depthstratum > >> WHERE echotype_species.echotype = echotype.topiaid AND > >> echotype_species.species = species.topiaid AND > >> speciescategory.species = species.topiaid AND echotype.voyage = > >> voyage.topiaid AND speciescategory.sizecategory = > >> sizecategory.topiaid AND echotype.depthstratum = > >> depthstratum.topiaid > >> > >> _______________________________________________ > >> Echobase-devel mailing list > >> Echobase-devel(a)list.forge.codelutin.com > >> http://list.forge.codelutin.com/cgi-bin/mailman/listinfo/echobase-devel

2 2

Re: [Echobase-devel] Acoustic format change request?
by Jean Couteau 22 Jan '19

22 Jan '19

Bonjour Mathieu, tu trouveras en pièce-jointe un test d'export ICES de PELGAS2015. Ça devrait te permettre de vérifier le Biotic, et me dire pour l'Acoustic, car pour tous les echotypes, je n'ai jamais de SpeciesCategory dans les results (j'ai bien une category, mais elle n'a pas de speciesCategory ou sizeCategory, donc impossible de faire le lien avec les espèces (que j'ai bien)). Jean > > Dans l'echotype, j'ai les species, mais pas leur catégorie (à moins > > que ce soit le EchotypeCategory). > > > Dans le Biotic, je récupère les category via le > > subsample.getCategories.getSpecies. Chose que je ne peux pas faire > > ici... > > > > Que dois-je donc mettre ici ? > Il faut utiliser en plus la table "echotype_species" en plus de la > table "echotype" pour avoir toutes les infos sur les échotypes. > Exemple de requête : > > SELECT voyage.name voyage, echotype.name echotype, > species.baracoudacode species, sizecategory.name sizeCategory, > depthstratum.id depthStratum FROM public.echotype_species > echotype_species, public.echotype echotype, public.species species, > public.speciescategory speciescategory, public.voyage voyage, > public.sizecategory sizecategory, public.depthstratum depthstratum > WHERE echotype_species.echotype = echotype.topiaid AND > echotype_species.species = species.topiaid AND > speciescategory.species = species.topiaid AND echotype.voyage = > voyage.topiaid AND speciescategory.sizecategory = > sizecategory.topiaid AND echotype.depthstratum = depthstratum.topiaid

1 0

Re: [Echobase-devel] Acoustic format change request?
by Jean Couteau 21 Jan '19

21 Jan '19

Bonjour Mathieu, tout d'abord meilleurs voeux pour cette année 2019. J'ai commencé à bosser sur Echobase. Je dois être bon sur le Biotic. Je m'attaque à l'Acoustic... > P.S. An example is given here: > > For Acoustic: > > EchoType will be added to the acoustic format as a metadata entry and > as a reference on the data level as optional. SaCategory at the data > level will change from mandatory to optional. > > <EchoType ID="D1"> > > <DepthStratum IDREF="AC_DepthStratum_SURF" /> > > <Species> > > <SpeciesCode IDREF="SpecWoRMS_126417" /> > > <SpeciesCategory>1</SpeciesCategory> > > </Species> > > <Species> > > <SpeciesCode IDREF="SpecWoRMS_126436" /> > > <SpeciesCategory>1</SpeciesCategory> > > </Species> > > </EchoType> > > <Data> > > <EchoType IDREF="D1" /> > > <Type IDREF="AC_AcousticDataType_C" /> > > <Unit IDREF="AC_DataUnit_m2nmi-2" /> > > <Value>0</Value> > > </Data> Sur ce que je comprends. Pour l'instant on a : <Data> <SaCategory>AC_SaCategory_D4</SaCategory> <Type IDREF="AC_AcousticDataType_C"/> <Unit IDREF="AC_DataUnit_m2nmi-2"/> <Value>0</Value> </Data> Donc on remplace SaCategory par <EchoType ID="D4"/> Et on ajoute (Dans le vocabularyCode ou ailleurs ?) : <EchoType IDREF="D4"> <DepthStratum... </EchoType> C'est bien ça ? Jean

1 1

Nouvelle version Echobase : 4.0.15
by Jean Couteau 26 Mar '18

26 Mar '18

Bonjour, nous avons produit une nouvelle version d'Echobase que vous trouverez ici : https://forge.codelutin.com/attachments/download/5131/echobase-embedded-4.0… https://forge.codelutin.com/attachments/download/5132/echobase-referentiel-… https://forge.codelutin.com/attachments/download/5133/echobase-ui-4.0.15-fu… https://forge.codelutin.com/attachments/download/5134/echobase-ui-4.0.15-li… La procédure de mise à jour reste la même que d'habitude : http://echobase.codelutin.com/v/latest/update.html Bonne journée. Jean

1 0