Echobase-devel

Download

echobase-devel@list.forge.codelutin.com

July 2015

1 participants
1 discussions

Re: [Echobase-devel] Implementation of metadata standard
by Tony Chemit 02 Jul '15

02 Jul '15

On Fri, 08 May 2015 19:04:57 +0200 Mathieu.Doray(a)ifremer.fr wrote: > Salut Julien, Salut Julien et Mathieu, Je viens de publier une nouvelle version d'EchoBase, la 2.9. Elle améliore la documentation d'installation de la partie spatiale, d'apache. On peut reprendre contact quand vous le souhaitez pour continuer à avancer sur le sujet. Bon week-end, tony. > > Super que tu essayes Echobase. > > Je suis en ce moment en mer en plein dans PELGAS, donc je ne vais pas > avoir le temps de te répondre en détails. Quelques éléments dans le > texte. > > julien <julien.barde(a)ird.fr> a écrit : > > > Bonjour Mathieu et Tony, > > > > je suis actuellement en mission à Dakar avec Patrice Brehmer et je > > teste l'import de données acoustique IRD dans Echobase. Si la > > solution s'avère intéressante pour les collègues, à terme, l'idée > > serait de proposer la migration des données historiques de campagnes > > de pêche acoustiques de l'IRD dans la base. On analysera au passage > > d'éventuels besoins supplémentaires et, Inch allah, tentera de > > financer les développements nécessaires dans des futures versions. > > On peut toujours rêver. > > inch allah > > > > Vu que l'échantillon des données IRD sur lesquelles je travaille > > vient de la Thalassa, ça paraissait gagné d'avance mais je rencontre > > quelques petits problèmes ou points de blocage et j'en profite pour > > vous faire un retour en espérant que ça vous intéresse et qu'il y > > ait un peu de doc pour m'aider sur certains points: > > > > * *installation de l'application sur le serveur*: j'ai fait > > l'essentiel de l'installation sur un serveur (machine virtuelle > > Centos) mis à disposition par l'IRD, tout s'est bien passé sauf la > > partie Qgis Server / Vliz qui me donne une erreur dans les > > interfaces Web d'Echobase. Malgré tout en suivant la documentation, > > je me suis souvent posé des questions sur l'utilisateur qui doit > > réaliser certaines parties de l'installation (root / tomcat..). > > Dommage pour la partie carto que j'aurai bien aimé pouvoir montrer > > aux collègues mais j'ai peut être fait une boulettre en l'installant > > (la machine Centos n'a pas tout à fait les mêmes répertoires et > > paquets que Debian), > > A voir avec Tony, je suis incompétent là dessus. Tony? > > > * *import des données par fichiers CSV*: je m'en sors à peu prés mais > > ce qui me bloque le plus est de pouvoir consulter un dictionnaire de > > données qui définisse clairement les colonnes des différentes tables > > de la base (j'ai téléchargé le modèle UML mais je n'ai pas vu de > > définition dans les attributs des classes). Avez-vous un > > dictionnaire de données pour toutes la base (par exemple ) ? Les > > fichiers CSV fourni en exemple dans la doc sont parfois un peu > > courts (une ligne). Il serait intéressant de mettre plus d'exemples > > (plus de lignes) avec des données pipos, > > J'ai des fonctions intégrées dans EchoR qui font la passerelle entre > des données de campagne au format Ifremer et Echobase. > > > * *saisie des données à bord*: les fichiers excel un peu foireux > > utilisé par l'IRD pour saisir les donnée qui changent d'une campagne > > à l'autre. Est-ce que vous utilisez Allegro pour faciliter la saisie > > et l'import dans echobase ou directement les CSV importés dans > > Echobase? > > tu parles de Tutti? Si oui on importe les données depuis tutti dans > Echobase depuis cette année. > > Question liée: est-ce que echobase pourrait également > > permettre de gérer les données de pêche scientifiques saisie avec > > Allegro ? > > oui, Echobase a été conçu pour stocker des données de pêche > scientifique. Et j'ai des scripts EchoR pour récupérer les données de > tutti et les mettre au format Echobase. > > > * je n'ai pas commencé l'import des données acoustiques, pour ça j'ai > > besoin que Patrice m'aide à comprendre comment la chaîne de > > traitements appliqué par l'IRD peut être adaptée pour fournir > > l'information nécessaire aux CSV attendus par Echobase. > > * Dernier détail pour la route: je n'ai peut être pas bien vu ou > > cherché mais il serait intéressant sur le site de mettre des > > captures d'écran / exemples d'indicateurs (cartes ou plots) produits > > en sortie de l'application et avec les codes echoR. > > > OK je note > > > Bref ce sont des détails car j'ai pu assez facilement installée > > l'essentiel de l'application et je pense arriver avec Patrice à > > comprendre le sens des colonnes que je ne comprends pas seul. Reste > > à trouver le temps d'en discuter avec lui. > > Je suis preneur, si vous avez des liens sur de la documentation qui > > peut m'aider. > > Pas beaucoup de docs dispos désolé. L'essentiel est là : > http://echobase.codelutin.com/v/latest/ > Mais je vais essayer de répondre à tes questions par mail. > > A+ > > Mathieu > > > > bonne journée > > > > julien > > > > > > > > > > > > On 26/02/2014 18:59, Mathieu Doray wrote: > >> Dear all, > >> > >> good question, indeed... > >> > >> We, at Ifremer, have designed Echobase, an open source, > >> server-based, relational database, which is fully aligned on the > >> ICES metadata standard. > >> It is powered by a postgreSQL database, and can be queried within a > >> web browser, through a java interface, LibreOffice base, R, or > >> Quantum GIS. > >> I have attached a slideshow describing the Echobase main features. > >> The software includes English menus and can be freely downloaded here: > >> http://maven-site.forge.codelutin.com/echobase/en/index.html > >> The database model is available there: > >> http://maven-site.forge.codelutin.com/echobase/en/model.html > >> > >> The ICES metadata standard works quite well for us. We collect all > >> mandatory metadata. Data inputs in Echobase are based on text files > >> automatically generated in R, so inputing lots of metadata is not a > >> problem, as long as they can be automatically produced by R, based > >> on raw informations from the cruise. > >> > >> I unfortunately will not attend the WAST meeting this year (I will > >> at sea, echo-counting anchovies in the Bay of Biscay...). However, > >> Laurent, who actively participated in the Echobase design, should > >> be there. Also, feel free to ask me questions on Echobase. > >> > >> Cheers, > >> > >> Mathieu > >> > >> Le 25/02/2014 04:37, Gauthier, Stephane a écrit : > >>> RE: Implementation of metadata standard > >>> > >>> Hi Adam (& co), > >>> I also have someone here in Canada who is working on a relational > >>> database fully aligned with the ICES metadata standard. I'll get > >>> in touch with him and get back to you. > >>> -sg > >>> > >>> > >>> -----Original Message----- > >>> From: Adam Dunford [mailto:Adam.Dunford@niwa.co.nz] > >>> Sent: Mon 2/24/2014 7:23 PM > >>> To: Carrie Wall Bell - NOAA Affiliate; Michael Jech - NOAA Federal > >>> Cc: Tim.Ryan(a)csiro.au; alex.derobertis(a)noaa.gov; Chris Taylor - > >>> NOAA Federal; ddoolittle(a)ku.edu; davidm(a)echoview.com; > >>> Ryan.Downie(a)csiro.au; erwan.josse(a)ird.fr; gavinj(a)imr.no; > >>> nilsolav(a)imr.no; Hassan.Moustahfid(a)noaa.gov; > >>> jeff.condiotty(a)simrad.com; jhorne(a)u.washington.edu; > >>> julien.barde(a)ird.fr; Gordon.Keith(a)csiro.au; > >>> lars.nonboe.andersen(a)simrad.com; Laura Kracker - NOAA Federal; > >>> Laurent.Berger(a)ifremer.fr; Mathieu.Doray(a)ifremer.fr; Melvin, Gary > >>> D; niklas.larson(a)slu.se; nolwenn.behagle(a)ird.fr; > >>> hector.pena(a)imr.no; Reka Domokos - NOAA Federal; Richard > >>> O'Driscoll; Rick Towler - NOAA Federal; s_elayoubi(a)hotmail.com; > >>> sascha.fassler(a)wur.nl; sigurdur(a)hafro.is; sof(a)bas.ac.uk; Gauthier, > >>> Stephane; sromain(a)gmail.com; Taina.Honkalehto(a)noaa.gov; > >>> tomasz.laczkowski(a)mir.gdynia.pl; Verena.Trenkel(a)ifremer.fr; Brent > >>> Wood > >>> Subject: RE: Implementation of metadata standard > >>> > >>> Hi all, > >>> We also have implemented a relational database for our acoustic > >>> metadata. The ERD is attached, and like the NOAA WCD one from > >>> Carrie, we've also implemented an organisation/hierarchy that is > >>> closely aligned with the ICES metadata convention. > >>> > >>> We've provided WFS access to our acoustic metadata via QGIS and, > >>> using QGIS's action feature (developed by Gavin Macaulay, one of > >>> the lead DB creators), we can provide access to echogram images > >>> for all transects in the database. > >>> > >>> The echogram images for all transects are stored in an Atlas > >>> database which NIWA hosts and public access is available via > >>> atlas.niwa.co.nz/public.jsp (click on toggle images/documents on > >>> the RH sidebar once logged in to display all 70K pictures - note > >>> not all are echograms) > >>> > >>> As the database is slightly customised to our own system, and as > >>> we're now moving to a different system paradigm with its own > >>> particularities I'm designing a multi-schema database which will > >>> have a public-facing schema which is fully ICES metadata > >>> compliant. Probably as a materialised view, drawn from a number of > >>> private schema which are more data/format/system specific. > >>> > >>> So I'm particularly interested in whether anyone has tried to > >>> implement a relational model which is totally based on the ICES > >>> metadata convention. > >>> > >>> Cheers, > >>> Adam > >>> > >>> From: Carrie Wall Bell - NOAA Affiliate [mailto:carrie.wall@noaa.gov] > >>> Sent: Tuesday, 25 February 2014 9:50 a.m. > >>> To: Michael Jech - NOAA Federal > >>> Cc: Tim.Ryan(a)csiro.au; alex.derobertis(a)noaa.gov; Chris Taylor - > >>> NOAA Federal; ddoolittle(a)ku.edu; davidm(a)echoview.com; > >>> Ryan.Downie(a)csiro.au; erwan.josse(a)ird.fr; gavinj(a)imr.no; > >>> nilsolav(a)imr.no; Hassan.Moustahfid(a)noaa.gov; > >>> jeff.condiotty(a)simrad.com; jhorne(a)u.washington.edu; > >>> julien.barde(a)ird.fr; Gordon.Keith(a)csiro.au; > >>> lars.nonboe.andersen(a)simrad.com; Laura Kracker - NOAA Federal; > >>> Laurent.Berger(a)ifremer.fr; Mathieu.Doray(a)ifremer.fr; > >>> Gary.Melvin(a)dfo-mpo.gc.ca; niklas.larson(a)slu.se; > >>> nolwenn.behagle(a)ird.fr; hector.pena(a)imr.no; Reka Domokos - NOAA > >>> Federal; Richard O'Driscoll; Rick Towler - NOAA Federal; > >>> s_elayoubi(a)hotmail.com; sascha.fassler(a)wur.nl; sigurdur(a)hafro.is; > >>> sof(a)bas.ac.uk; Stephane.Gauthier(a)dfo-mpo.gc.ca; sromain(a)gmail.com; > >>> Taina.Honkalehto(a)noaa.gov; tomasz.laczkowski(a)mir.gdynia.pl; > >>> Verena.Trenkel(a)ifremer.fr; Adam Dunford > >>> Subject: Re: Implementation of metadata standard > >>> > >>> Hi all, > >>> > >>> I provided the attached metadata schematic to Tim earlier today > >>> but perhaps it's more prudent to disseminate it to the group and > >>> thus directly to Adam. We have implemented a relational database > >>> and it seems to be working quite well for us currently. Some of > >>> our terminology is slightly different from that of ICES but the > >>> general hierarchy and fields are very closely aligned. Please > >>> note the floating dark green cubes are views for our web-based map > >>> service and can be ignored. > >>> > >>> I will be at WGFAST in May and am looking forward to presenting an > >>> update on the archive and our metadata efforts. I would be > >>> delighted to have a follow-up discussion at the meeting and am > >>> open to either an informal or formal setting. > >>> > >>> Until then, if you have any questions about the attached or other > >>> aspects of our metadata/archive project, please don't hesitate to > >>> let me know. > >>> > >>> Carrie. > >>> > >>> > >>> > >>> -- > >>> > >>> Carrie C. Wall, PhD > >>> > >>> Fisheries Acoustician > >>> > >>> > >>> > >>> Cooperative Institute for Research in Environmental Sciences (CIRES) > >>> > >>> University of Colorado at Boulder > >>> > >>> NOAA/NGDC Marine Geology and Geophysics Division > >>> > >>> 325 Broadway E/GC3, Boulder, CO 80305 > >>> > >>> > >>> > >>> T: 303-497-4459, F: 303-497-6513 > >>> > >>> Office: 1B121, NOAA David Skaggs Research Center > >>> > >>> On Mon, Feb 24, 2014 at 1:38 PM, Michael Jech - NOAA Federal > >>> <michael.jech(a)noaa.gov<mailto:michael.jech@noaa.gov>> wrote: > >>> Hi Tim and Adam, > >>> I'm glad Carrie Wall is on this list because she and Chuck Anderson > >>> are leading the US effort to archive and set up metadata for the water > >>> column acoustic data coming off the NOAA vessels. Adam should contact > >>> her directly, and hopefully can avoid re-inventing the wheel in > >>> different hemispheres. > >>> > >>> I'm hoping Carrie will give a presentation at the WGFAST meeting this > >>> year, to give everyone an update on our progress. If there is enough > >>> interest, we could get together after a day of the meeting, or we > >>> could meet informally for beers and discussion. If you want to meet a > >>> bit more formally, let me know - I know the co-hosts of the meeting to > >>> set up a room :) > >>> > >>> Thanks, > >>> mike > >>> > >>> On 2/23/14, Tim.Ryan(a)csiro.au<mailto:Tim.Ryan@csiro.au> > >>> <Tim.Ryan(a)csiro.au<mailto:Tim.Ryan@csiro.au>> wrote: > >>>> Hi all, > >>>> > >>>> I trust everybody is well. > >>>> > >>>> Email below from Adam Dunford (NIWA) asking about implementation of the > >>>> metadata convention in a relational database. If you have some > >>>> experience of > >>>> this and can help please contact Adam. > >>>> > >>>> > >>>> I'm trying to get my head around the ICES metadata convention with the > >>>> intention of implementing it in a relational database. Scary, I know - and > >>>> making my head hurt at times as I try and talk to our DB people > >>>> and metadata > >>>> experts :) > >>>> But I was wondering if you knew of anyone else trying to do the > >>>> same sort of > >>>> thing and if so what relational model they ended up with. No point > >>>> re-inventing the wheel. > >>>> > >>>> I know that the final report carefully avoids both recommending any > >>>> particular implementation or even being so closely aligned to one > >>>> particular > >>>> methodology that it's obvious for (e.g. netCDF). I just wondered if at > >>>> various times through the iteration of the metadata convention you had any > >>>> discussions as to how it might be done as an RDB if one was going > >>>> to do so. > >>>> Adam Dunford [Adam.Dunford(a)niwa.co.nz<mailto:Adam.Dunford@niwa.co.nz>] > >>>> > >>>> > >>>> More generically, as people implement the metadata they are bound to find > >>>> aspects that could be improved or elements that are missing. Are people on > >>>> this mailing list happy to continue as a group that can serve to > >>>> update the > >>>> metadata convention in response to user feedback? Hopefully this would not > >>>> be too much work and could be done mostly by email, but with the > >>>> possibility > >>>> of meeting up either formally or informally at FAST if warranted. > >>>> > >>>> If you want out, let me know and I can take you off the email list, > >>>> otherwise I'll renew your free lifetime membership :). > >>>> > >>>> > >>>> Best regards > >>>> > >>>> > >>>> > >>>> > >>>> Tim > >>>> > >>> > >>> > >>> -- > >>> ######################################################## > >>> # J. Michael Jech > >>> # NEFSC > >>> # 166 Water St. (voice) > >>> 508-495-2353<tel:508-495-2353> > >>> # Woods Hole, MA 02543 (fax) 508-495-2115<tel:508-495-2115> > >>> # michael.jech(a)noaa.gov<mailto:michael.jech@noaa.gov> > >>> ######################################################## > >>> > >>> -- > >>> Please consider the environment before printing this email. > >>> NIWA is the trading name of the National Institute of Water & > >>> Atmospheric Research Ltd. > >>> > >> > >> > >> -- > >> Mathieu Doray, PhD > >> > >> Ifremer > >> Département Ecologie et Modèles pour l'Halieutique > >> rue de l'Ile d'Yeu > >> B.P. 21105 > >> 44311 Nantes Cedex 03 > >> mathieu.doray(a)ifremer.fr > >> Tel./Phone: 02 40 37 41 65 / International: 332 40 37 41 65 > >> Fax : 02.40.37.40.01 / International: 332 40 37 40 01 > >> > >> CV / resume:http://annuaire.ifremer.fr/cv/17093/ > > > > > > > > > -- Tony Chemit -------------------- tél: +33 (0) 2 40 50 29 28 http://www.codelutin.com email: chemit(a)codelutin.com twitter: https://twitter.com/tchemit

2 1