- Topia-devel - mailman.cloud.codelutin.com

Implantation d'un storage sur JDBC - 2
by Arnaud Thimel Aug. 19, 2005

Aug. 19, 2005

Document ajouté sur le CVS pour la nouvelle manière d'implanter la persistence. Voici le contenu : ====================================== Implantation d'un storage sur JDBC - 2 ====================================== :Authors: Benjamin POUSSIN <poussin(a)codelutin.com> & Arnaud THIMEL <thimel(a)codelutin.com> :Version: $Revision: 1.1 $ :Date: $Date: 2005/08/19 16:02:28 $ Le problème avec la première implantation ----------------------------------------- Le première version de la persistence JDBC a été réalisée. Elle a mis en avant quelques défauts : - Difficulté pour certaines bases (Postgre / Derby) à convertir les valeurs de la colonne "value" de BLOB à un format numérique (DOUBLE PRECISION principalement). Ces bases nécessitent un CAST explicite (où du moins la création supplémentaire d'un CAST implicite) souvent difficilement réalisable. - La compléxité des requêtes envoyées à la base pour faire les find. Certaines bases s'emmelent les pinceaux avec les requêtes (MySQL en tête !). Exemple de requête générée pour récupérer les Companies visibles par la transaction '1123170253913' dont le nom est 'Code Lutin' : |SELECT DISTINCT id FROM data |WHERE (field='nom' AND value='Code Lutin') |AND (id,longdate) IN ( | SELECT id, min(longdate) FROM management | WHERE (id,longdate) IN ( | SELECT id, max(longdate) FROM management | WHERE class='org.codelutin.test2.entities.Company' | AND (longdate in (-1123170253913) OR (longdate>0 AND longdate<=1123170253913)) | AND id NOT IN ( | SELECT id FROM management | WHERE isDeleted=true | AND (longdate in (-1123170253913) OR (longdate>0 AND longdate<=1123170253913)) | ) | GROUP BY id | UNION | SELECT id, longdate FROM management | WHERE class='org.codelutin.test2.entities.Company' | AND isDeleted=false | AND longdate in (-1123170253913) | ) | GROUP BY id |) La solution ----------- On se propose donc de changer la manière dont les informations sont stockées et de se rapprocher d'une implantation plus conventionnelle : On génère pour chaque entité un schéma de table qui lui est propre. Etant donné que les nom d'entité (et encore plus des classes d'associations générées) peut être très long, on crééra un nom de table pour chaque table. On aura donc autant de tables que d'entités, plus une table management, dont le rôle sera de faire l'association entre le nom des entités et le nom de la table associée pour une version de schéma donnée. Dans le première version, la table management recenssait toutes les entités à un instant précis avec leut état à cet instant. (classe, new, deleted, schemaVersion). On souhaite toutefois conserver ces informations. Elle seront donc toutes rajoutées dans les tables générées à l'exception de la classe et du schemaVersion (car dans management). Pour qu'il n'y ait pas d'ambiguïté avec les champs propres à l'entité, on préfixera ces champs du caratère '_'. Le nom des tables sera le nom de l'entité (sans le package) suivi du schemaVersion. Pour les classes d'associations générées (non comprises dans le modèle au départ), le nom étant trop grand, on ne prendra que la fin des noms des entités (avec le nom des attributs) suivies du schemaVersion. (cf. exemple plus bas) Le passage à une nouvelle version pour une entité sera effectué de la manière suivante : 1. On charge en mémoire toute la table actuelle ; 2. On supprime la table actuelle ; 3. On créé la nouvelle table ; 4. On convertit tous les objets remontés ; 5. On sauve tous les objets convertis dans la nouvelle table. Pour une relation entre Company et Employee (dont la classe d'association ne fait pas initialement partie du modèle), on obtient ainsi quatre tables : Company123456 : - _id : String (topiaId) - _longdate : long - nom : String - adresse : String - _isNew : boolean - _isDeleted : boolean Employee789012 : - _id : String (topiaId) - _longdate : long - nom : String - age : int - sexe : char - _isNew : boolean - _isDeleted : boolean Employee_company__Company_employee827923283 : - _id : String (topiaId) - _longdate : long - company : String (topiaId) - employee : String (topiaId) - _isNew : boolean - _isDeleted : boolean management - class : String (fullyQualifiedName) - table : String - schemaVersion : long Le contenu de la table management sera : +-------------------------------------+---------------------------------------------+----------------+ | class | table | schemaVersion | +=====================================+=============================================+================+ | org.codelutin.test2.Company | Company123456 | 123456 | +-------------------------------------+---------------------------------------------+----------------+ | org.codelutin.test2.Employee | Employee789012 | 789012 | +-------------------------------------+---------------------------------------------+----------------+ | org.codelutin.[...]Company_employee | Employee_company__Company_employee827923283 | 827923283 | +-------------------------------------+---------------------------------------------+----------------+ Conclusion ---------- Une telle persistence ne devrait à priori pas pauser de problème avec la grande majorité des bases de données. Elle simplifiera la lisibilité brute de la base, permettra la génération de reqêtes plus simples, et une maniulation des données plus aisée. Cependant, en se rapprochant d'un schéma de stockage de données plus classique, on s'expose aux mêmes problèmes que les solutions précedemment écartées telles que JDO.

1 0

tests performances bases topia
by Grégoire Dessard Aug. 9, 2005

Aug. 9, 2005

Bonjour, Pas automatiquement complètement représentatif (les configurations ne sotn pas tous identiques), mais cela donne une bonne idée. n = 4999, test lancé depuis eclipse sur mon ordinateur. A noter qu'oracle est sur le nouveau serveur. mysql et postgress tourne sur prof derby, mkoi tourne en local (donc machine moins puissante que les serveurs, mais pas de réseau). A noter que sur oracle j'ai un problème de récupération de données. Le tableau de bytes étant mal formé. Je n'arrive pas à résoudre le problème. ----------------- Apache Derby (Cloudscape) Embedded time to create(4999): 401 9%(6193/6193) 19%(4262/10455) 29%(4629/15084) 39%(4240/19324) 49%(3916/23240) 59%(4257/27497) 69%(3522/31019) 79%(3499/34518) 89%(4326/38844) 99%(3519/42363) time to store: 42446 time to commit: 38042 -- Total time: 80889 time_storeList: 0 time_storeOne: 42349 time_store: 32035 time_managementExists: 2283 time_saveManagement: 3982 time_saveData: 25666 time_objectToDatabase: 1092 time_databaseToObject: 0 INFO: ids.size: 0 ----------------- Mysql ---------------------- time to create(4999): 102 9%(2901/2901) 19%(2563/5464) 29%(2374/7838) 39%(3130/10968) 49%(2550/13518) 59%(2642/16160) 69%(2588/18748) 79%(2658/21406) 89%(2592/23998) 99%(2257/26255) time to store: 26299 time to commit: 4563 -- Total time: 30964 time_storeList: 0 time_storeOne: 26261 time_store: 21509 time_managementExists: 3146 time_saveManagement: 2625 time_saveData: 15680 time_objectToDatabase: 529 time_databaseToObject: 0 9 août 2005 15:41:02 INFO: ids.size: 5005 ----------------- Apache Derby (Cloudscape) Network time to create(4999): 128 9%(9113/9113) 19%(5933/15046) 29%(6373/21419) 39%(6123/27542) 49%(5591/33133) 59%(5987/39120) 69%(5070/44190) 79%(5418/49608) 89%(5975/55583) 99%(5368/60951) time to store: 61040 time to commit: 39259 -- Total time: 100427 time_storeList: 0 time_storeOne: 61007 time_store: 48506 time_managementExists: 7342 time_saveManagement: 5350 time_saveData: 35744 time_objectToDatabase: 615 time_databaseToObject: 0 INFO: ids.size: 0 ----------------- Mckoi Embedded ---------------------- time to create(4999): 94 9%(29002/29002) 19%(29706/58708) 29%(32774/91482) 39%(38446/129928) 49%(42870/172798) 59%(46945/219743) 69%(52695/272438) 79%(55663/328101) 89%(59455/387556) 99%(63894/451450) time to store: 452893 time to commit: 395023 -- Total time: 848010 time_storeList: 0 time_storeOne: 452851 time_store: 205851 time_managementExists: 6252 time_saveManagement: 9030 time_saveData: 190484 time_objectToDatabase: 1046 time_databaseToObject: 0 9 août 2005 15:57:15 INFO: ids.size: 5002 ----------------- Postgresql ---------------------- time to create(4999): 92 9%(17731/17731) 19%(17912/35643) 29%(19204/54847) 39%(20373/75220) 49%(22224/97444) 59%(24592/122036) 69%(25355/147391) 79%(25817/173208) 89%(25545/198753) 99%(24245/222998) time to store: 223439 time to commit: 27584 -- Total time: 251115 time_storeList: 0 time_storeOne: 223409 time_store: 84107 time_managementExists: 49942 time_saveManagement: 3893 time_saveData: 30201 time_objectToDatabase: 562 time_databaseToObject: 0 INFO: ids.size: 5002 ----------------- Oracle ---------------------- time to create(4999): 363 9%(7845/7845) 19%(9676/17521) 29%(8710/26231) 39%(8846/35077) 49%(8355/43432) 59%(9073/52505) 69%(9614/62119) 79%(8932/71051) 89%(9503/80554) 99%(8871/89425) time to store: 89547 time to commit: 25711 -- Total time: 115621 time_storeList: 0 time_storeOne: 89520 time_store: 39306 time_managementExists: 5461 time_saveManagement: 4788 time_saveData: 28968 time_objectToDatabase: 669 time_databaseToObject: 0 INFO: ids.size: 0 ----------------- Mckoi in Memory ---------------------- time to create(4999): 118 9%(37695/37695) 19%(38595/76290) 29%(41793/118083) 39%(46296/164379) 49%(50124/214503) 59%(54547/269050) 69%(59661/328711) 79%(67487/396198) 89%(78354/474552) 99%(82347/556899) time to store: 558499 time to commit: 539540 -- Total time: 1098157 time_storeList: 0 time_storeOne: 558460 time_store: 257374 time_managementExists: 6737 time_saveManagement: 9854 time_saveData: 240719 time_objectToDatabase: 1078 time_databaseToObject: 0 ----------------- Mckoi in Memory ---------------------- ----------------- Mckoi in Memory ---------------------- ----------------- Mckoi in Memory ---------------------- ----------------- Mckoi in Memory ---------------------- ----------------- Mckoi in Memory ---------------------- ----------------- Mckoi in Memory ---------------------- ----------------- Mckoi in Memory ---------------------- 9 août 2005 16:23:41 org.codelutin.topia.persistence.AbstractPersistenceStorageTestCase testGetAllId INFO: ids.size: 5002

1 0

Re: creation de table
by Benjamin POUSSIN Aug. 4, 2005

Aug. 4, 2005

On Thu, 04 Aug 2005 17:58:38 +0200 Grégoire Dessard <dessard(a)codelutin.com> wrote: > Pour info > > CREATE TABLE data ( > id varchar(100), > longdate number(21), > field varchar(100), > value blob, > type varchar(255), > PRIMARY KEY (id, longdate, field), FOREIGN KEY (id, longdate) > REFERENCES management (id, longdate) ON DELETE CASCADE ON UPDATE > CASCADE > ) > > value mot clef réservé. > ON UPDATE CASCADE n'existe pas sur oracle. > > > UPDATE management SET longdate=? WHERE longdate=-1123158468747 > > UPDATE data SET longdate=? WHERE longdate=? > > Ne marche pas, car bloque suite à une contrainte d'intégrité. Celle ci > est supprimé. > > > > J'ia regardé cloudspace appelé maintenant derby (base java opensource) et ...? ps: essai de plutot utiliser les listes de diffussion des projets, plutot que des mails perso a moi. Topia-devel(a)lists.labs.libre-entreprise.org http://lists.labs.libre-entreprise.org/mailman/listinfo/topia-devel -- Benjamin -------------------- email: poussin(a)codelutin.com () campagne du ruban ascii http://www.codelutin.com /\ pour les mails en ascii

1 0

J'ai pas trouvé la javadoc!
by olivier heintz March 14, 2005

March 14, 2005

Il semble que la javadoc ne soit pas généré pour le site généré par maven. Je voulais rechercher s'il existait un tag pour recevoir les attribues d'une class dans un certain ordre !! et pour ça je ne vois que la javadoc de util qui peux me le dire ! Olivier

2 2

pb sur maven-topia-plugin-0.27.jar
by olivier heintz Dec. 8, 2004

Dec. 8, 2004

Quelque chose à changé récement !!! dans ma config tous marchait correctement, mais en cherchant pourquoi Nicolas lui n'arrivait pas à généré, j'ai juste renomé le fichier maven-topia-plugin-0.27.jar que j'avais dans mon cache et alors quand j'ai relancé maven j'ai la même erreur que nicolas [holivier:accounting]$maven __ __ | \/ |__ _Apache__ ___ | |\/| / _` \ V / -_) ' \ ~ intelligent projects ~ |_| |_\__,_|\_/\___|_||_| v. 1.0 Tentative de téléchargement de maven-topia-plugin-0.27.jar. 29K downloaded Tentative de téléchargement de lutinutil-0.15.jar. 62K downloaded Tentative de téléchargement de xalan-2.6.0.jar. 1740K downloaded Tentative de téléchargement de lutingenerator-0.22.jar. 76K downloaded Tentative de téléchargement de lutinprocessor-0.12.jar. 31K downloaded Tentative de téléchargement de dom4j-1.4.jar. 475K downloaded Tentative de téléchargement de lutini18n-0.17.jar. 13K downloaded build:start: neogia:generate: topia:setproperties: Overriding previous definition of reference to maven-classpath Overriding previous definition of reference to maven.compile.src.set topia:prepare-filesystem: [echo] Preparation du répertoire cible: "/app/develLocal/neogia.ohe/components/accounting/target/gen" [mkdir] Created dir: /app/develLocal/neogia.ohe/components/accounting/target/gen/java [mkdir] Created dir: /app/develLocal/neogia.ohe/components/accounting/target/gen/xmi [mkdir] Created dir: /app/develLocal/neogia.ohe/components/accounting/target/gen/objectmodel [mkdir] Created dir: /app/develLocal/neogia.ohe/components/accounting/target/gen/uimodel [echo] Preparation du répertoire cible: "/app/develLocal/neogia.ohe/components/accounting/target/src-build" topia:process: [echo] Process file from /app/develLocal/neogia.ohe/components/accounting/target/src-build to /app/develLocal/neogia.ohe/components/accounting/target/src-build topia:setproperties: Overriding previous definition of reference to maven-classpath Overriding previous definition of reference to maven.compile.src.set topia:copy: topia:setproperties: Overriding previous definition of reference to maven-classpath Overriding previous definition of reference to maven.compile.src.set topia:zargo2xmi: [unzip] Expanding: /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi/accounting.zuml into /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi [unzip] Expanding: /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi/content.zuml into /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi [unzip] Expanding: /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi/component.zuml into /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi [unzip] Expanding: /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi/order.zuml into /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi [unzip] Expanding: /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi/party.zuml into /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi [unzip] Expanding: /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi/manufacturing.zuml into /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi [unzip] Expanding: /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi/common.zuml into /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi [unzip] Expanding: /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi/shipment.zuml into /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi [unzip] Expanding: /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi/servicemgnt.zuml into /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi [unzip] Expanding: /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi/product.zuml into /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi [unzip] Expanding: /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi/facility.zuml into /app/develLocal/neogia.ohe/components/accounting/target/src-build/xmi topia:xmi2ObjectModel: [echo] utilisation de fullPackagePath=org.neogia srcDir: xmi destDir: objectmodel style: xmi1.2ToObjectModel.xsl BUILD FAILED File...... /home/boulot/holivier/.maven/cache/maven-topia-plugin-0.27/plugin.jelly Element... ant:xsl Line...... 369 Column.... 36 Impossible de trouver le fichier Total time: 42 seconds Finished at: Wed Dec 08 23:51:51 CET 2004 Machine : cyrnos (Le 8 déc 04, 09:02:22) Rep : /local/devel/neogia.ohe/components/accounting [holivier:accounting]$ la solution c'est de revenir à maven-topia-plugin-0.25.jar ou c'est corrigeable chez vous

1 0

Pb de jar introuvable lors de la génération
by olivier heintz Nov. 4, 2004

Nov. 4, 2004

Lors du maven de génération de code il y a une dépendance introuvable BUILD FAILED File...... C:\ofbiz_ops\neogia\components\facility\maven.xml Element... attainGoal Line...... 16 Column.... 37 Le processus ne peut continuer à cause de la dépendance manquante suivante: jregex1.2_01.jar (try downloading from http://jregex.sourceforge.net/) Si on charge le jar manuellement ça marche. Qui peux faire la petite correction. Par avance Merci

2 2

interface pour les queries
by Benjamin POUSSIN Sept. 8, 2004

Sept. 8, 2004

Salut, pour l'instant on utilise lutinquery, mais je viens de tomber sur ca http://javamatch.sourceforge.net/ Est-ce que l'interface d'utilisation vous semble convenable ? et simple a utiliser ? Il prevoit de support JDO -- Benjamin -------------------- email: poussin(a)codelutin.com () campagne du ruban ascii http://www.codelutin.com /\ pour les mails en ascii

1 0

nouvelle version avec generation de doc
by Benjamin POUSSIN July 30, 2004

July 30, 2004

Salut, Voila, grace a notre gentil stagiaire (Jean-francois), nous avons une jolie génération de documentation html a partir du rst. Et tout cela est directement integre a maven avec le plugin maven-topia-plugin. la version du plugin qui prend en compte le rst est la 0.22. Elle ne change rien de plus par rapport a la 0.20. Comment ca marche ================= Il faut mettre dans son projet, dans le repertoire /doc, des fichiers avec l'extension .rst. Ensuite il faut ecrire un petit fichier /xdocs/navigation.xml qui permet de prendre en compte le fichier rst. Par exemple si j'ai le fichier /doc/JRst.rst le fichier /xdocs/navigation.xml contiendra par exemple:: <?xml version="1.0" encoding="ISO-8859-15"?> <project name="JRst"> <title>Implantation Java d'un générateur ReStructuredText</title> <body> <links> <item href="http://labs.libre-entreprise.org/" name="Labs"> </item> <item href="http://www.codelutin.com/" name="Code Lutin"> </item> </links> <menu name="Overview"> <item href="/JRst.html" name="A propos"> </item> </menu> </body> </project> Il faut ensuite modifier un peu le fichier maven.xml pour ajouter la regle suivante:: <preGoal name="site"> <attainGoal name="topia:docs"/> </preGoal> Et voila il ne reste plus qu'a lancer maven site ou maven site:deploy pour avoir un joli site avec une jolie documentation :) Limite ====== Pour l'instant il avant d'ecrire un titre il faut passer 2 lignes (normalement une devrait suffire dans le futur). Il n'y a pas encore tout le rst (par exemple les images). Mais la plupart des choses utile est implante -- Benjamin -------------------- email: poussin(a)codelutin.com () campagne du ruban ascii http://www.codelutin.com /\ pour les mails en ascii

1 1

nouvelle version de beaucoup de lib
by Benjamin POUSSIN June 23, 2004

June 23, 2004

Salut, Beaucoup de nouvelle version de lib (0.11). Le plus simple pour mettre a jour est de prendre les 2 plugins (maven-topia-plugin et maven-lutinprocessor-plugin) en version 0.11 Les ameliorations sont: - refactoring d'une grosse partie du code - le code genere compile et s'execute convenablement (les interfaces dans le diagramme sont convenablement pris en compte - ajout du generateur a partir des uimodels - generation des panels de saisie des entitees Buix avance aussi en parallele. Il suffit de poser le jar genere pour l'application dans un repertoire specifique de buix pour que les panels de saisie soit directement utilisable dans buix. (merci aurelie :) On commence donc a avoir un truc qui fonctionne. Il reste bien sur pas mal de tests a faire. Les previsions: - voir ce qui a ete fait sur les EJBs et les faire fonctionner. les sites web sont tous a jour normalement :) aurelie a test et n'a pas fait suivre d'erreur donc normalement ca marche :) -- Benjamin -------------------- email: poussin(a)codelutin.com () campagne du ruban ascii http://www.codelutin.com /\ pour les mails en ascii

1 0

Message de debug en option
by olivier heintz June 21, 2004

June 21, 2004

Cédric, pourras tu me mettre les messages de debug, uniquement en option? par exemple selon une properties de project Merci Ps: n'oublie pas, à l'occasion de ré-ordonner les attribues des classes .... ;-)

1 0