- Diswork-devel - mailman.cloud.codelutin.com

TomP2P
by Brendan Le Ny 02 Aug '10

02 Aug '10

Une DHT qui a été publiée début Juin. Je sais pas ce qu'elle vaut, en tout cas elle est pas sous Maven. http://tomp2p.net/

1 0

Droits et sécurité dans diswork : pourquoi ça ne marchera pas
by Brendan Le Ny 26 Jul '10

26 Jul '10

J'ai publié ma réflexion dans la doc de Diswork pour ceux que ça intéresse[1]. Je vous passe le déroulement, voici la conclusion : * Il est facile pour quelqu'un de malveillant, de nuire au fonctionnement global de Diswork. * utiliser de la cryptographie asymétrique, que ce soit pour crypter ou signer, ça fera joli mais c'est jamais que répondre à côté de notre problématique. * Le problème est intrinsèque à la DHT qui ne gère pas les droits. Je ne connais pas de DHT qui le fasse. * Telle que je vois la conception actuelle de Diswork, je pense que le plus sage pour l'instant est la solution de placer la sécurité à la périphérie, et de veiller à ce que seuls des nœuds de confiance se connectent au système global. Ainsi, on cloisonne le système, c'est pas absurde si les noeuds peuvent se trouver dans un même labo comme c'est le cas pour Isis. * Ou alors... il faut tout remettre à plat, et envisager pour une prochaine version de Diswork, de s'y prendre autrement, avec une DHT utilisée autrement ou sans DHT. Mais là, je sèche parce que vu les contraintes exprimées, il y avait pas tellement possibilité de faire autrement... Brendan. [1] dernière section de http://svn.nuiton.org/svn/diswork/trunk/src/site/rst/diswork-fs/devel.rst

1 0

surveiller l'activité de la machine hôte
by Brendan Le Ny 14 Jun '10

14 Jun '10

Dans Diswork, je vais rendre le démon paramétrable selon trois options : * un mode débridé (diswork cherche toujours à travailler, consommation de ressources sans compter) * un mode hybride (diswork ne cherche à travailler que si les ressources le permettent afin de ne pas déranger l'utilisation de l'ordinateur par l'utilisateur) * un mode éteint (diswork ne cherche pas à travailler, consommation d'aucune ressources) Pour le mode hybride, il faudrait surveiller l'activité de la machine pour ne lancer des jobs que lorsque la machine n'est déjà chargée par les autres programmes de l'utilisateur. Il faudrait se baser sur une métrique comme la charge de la machine, l'activité CPU ou ce genre de choses. Détecter l'activité clavier/souris n'est pas une bonne solution : cela ne présume en rien de la charge de la machine. Pour cela, j'ai trouvé deux bibliothèques. Elles font appel à du code natif : * http://wiki.github.com/jezhumble/javasysmon/ (licence BSD) * http://www.hyperic.com/products/sigar et http://github.com/hyperic/sigar (licence Apache) Aucune des deux ne semble dispo sur nexus. D'autres solutions ? -- Brendan Le Ny <bleny(a)codelutin.com> Code Lutin

3 5

Spécification du démon diswork : premier draft
by Brendan Le Ny 08 Jun '10

08 Jun '10

J'ai rédigé un premier draft : http://svn.nuiton.org/svn/diswork/trunk/src/site/rst/diswork-daemon/how_it_… N'hésitez pas à me remonter des incohérences ou des comportements qui pourraient poser problème. -- Brendan Le Ny <bleny(a)codelutin.com> Code Lutin

2 2

choix de la licence ?
by Brendan Le Ny 02 Jun '10

02 Jun '10

Faut que je mette le projet en conformité au niveau de licence (fichier LICENCE.txt, headers etc.). Maven fait le gros du boulot mais il faut faire les choix de licences : * même licence pour tout le projet ? * (A|L)?GPL, une autre ?

2 1

JDHT fail
by Brendan Le Ny 26 May '10

26 May '10

class JDHT { /* ... */ // constats : renvoie vrai si la map contient la clé // dans le cas contraire, lève une ArrayIndexOutOfBoundsException // au lieu de renvoyer false public boolean containsKey(Object key) { return get(key)==null ? false : true; // highly inefficient } // le corps parle de lui-même : public Object remove(Object key) throws UnsupportedOperationException { throw new UnsupportedOperationException(); } } @ben : je me tourne vers une autre bibliothèque (laquelle ?) ou j'essaye de patcher celle-là ?

2 2

parser un fichier JSDL ?
by Brendan Le Ny 26 May '10

26 May '10

JSDL est un dialecte XML pour décrire des jobs : http://en.wikipedia.org/wiki/Job_Submission_Description_Language Je pense l'utiliser pour (au moins en partie) pour décrire les jobs sur Diswork. Deux questions : * Existe-t-il une lib ? (j'en ai pas trouvé sur le net) * Si je dois coder le parser, quelle lib utiliser ? Exemple de fichier JSDL : <JobDefinition> <JobDescription> <JobIdentification> <JobName>My Gnuplot invocation</JobName> <Description> Simple application invocation: User wants to run the application 'gnuplot' to produce a plotted graphical file based on some data shipped in from elsewhere(perhaps as part of a workflow). A front-end application will then build into an animation of spinning data. Front-end application knows URL for data file which must be staged-in. Front-end application wants to stage in a control file that it specifies directly which directs gnuplot to produce the output files. In case of error, messages should be produced on stderr (also to be staged on completion) and no images are to be transferred. </Description> </JobIdentification> <Application> <ApplicationName>gnuplot</ApplicationName> <jsdl-posix:POSIXApplication> <jsdl-posix:Executable> /usr/local/bin/gnuplot </jsdl-posix:Executable> <jsdl-posix:Argument>control.txt</jsdl-posix:Argument> <jsdl-posix:Input>input.dat</jsdl-posix:Input> <jsdl-posix:Output>output1.png</jsdl-posix:Output> </jsdl-posix:POSIXApplication> </Application> <Resources> <IndividualPhysicalMemory> <LowerBoundedRange>2097152.0</LowerBoundedRange> </IndividualPhysicalMemory> <TotalCPUCount> <Exact>1.0</Exact> </TotalCPUCount> </Resources> <DataStaging> <FileName>control.txt</FileName> <CreationFlag>overwrite</CreationFlag> <DeleteOnTermination>true</DeleteOnTermination> <Source> <URI>http://foo.bar.com/~me/control.txt</URI> </Source> </DataStaging> <DataStaging> <FileName>input.dat</FileName> <CreationFlag>overwrite</CreationFlag> <DeleteOnTermination>true</DeleteOnTermination> <Source> <URI>http://foo.bar.com/~me/input.dat</URI> </Source> </DataStaging> <DataStaging> <FileName>output1.png</FileName> <CreationFlag>overwrite</CreationFlag> <DeleteOnTermination>true</DeleteOnTermination> <Target> <URI>rsync://spoolmachine/userdir</URI> </Target> </DataStaging> </JobDescription> </JobDefinition>

1 0

Comment implémenter les liens symboliques ?
by Brendan Le Ny 12 May '10

12 May '10

Pour l'instant, le système de fichiers, pour stocker les données, reproduit toute l'arborescence du FS virtuel dans un dossier du FS local. Ça permet de conserver fichiers et répertoires. Je me demande toujours comment je pourrais implémenter proprement les liens symboliques dans le FS virtuel. Une première solution serait d'écrire à la place du lien symbolique un petit fichier texte qui contient l'adresse vers la cible. Comment, alors, distinguer ce fichier d'un autre, quelconque ? Une autre solution serait de stocker dans un fichier .symlinks de chaque répertoire une Map de liens source → destination. Cette solution pose le problème de l'accès concurrent au fameux fichier. Du coup, je n'ai pas de solution pleinement satisfaisante. Si vous avez d'autres idées, je suis preneur. -- Brendan Le Ny <bleny(a)codelutin.com> Code Lutin

3 3

CR Réunion 09/04/2010
by Jean Couteau 12 Apr '10

12 Apr '10

- Présentation de différentes librairies pouvant être utiles : * XtremWeb * Ourgrid * Pastis - Protocole de soumission de job : JSDL - Job Submission Description Language - Présentation-discussion autour du fonctionnement général envisagé : Diswork tourne en démon ou tache de fond et communique avec les applications par une façade. Ensuite il envoie sur un système de fichiers distribué les informations nécéssaires aux simulations à faire tourner. Les instances de diswork susceptibles d'effectuer des simulations cherchent les jobs à faire sur le système de fichier et téléchargent les informations nécéssaires, déplaçant ces informations sur le système de fichier. Il y a un répertoire par nombre de fois ou un job a été pris. Quand on prends un job pour le faire, on le déplace dans le répertoire suivant,... Quand les résultats sont produits et enregistrés, on enlève le job de la liste des jobs à faire. Dans l'idéal, dans ces répertoires ne sont présents que des liens symboliques pointant sur la vraie ressource. - Statuts possible d'un job : * Pas pris * Fini * Pris * En cours * En pause * Combien de fois ? * Depuis quand ? - Contraintes du système de fichier : * Possibilité d'avoir des fichiers en lecture seule et écriture par le propriétaire * Possibilité d'avoir des fichiers en écriture pour tout le monde * Possibilité de locker un fichier * Lien symboliques (pas nécessaire, possibiliter d'émuler à la Windows) * Répertoires * Attributs : § heure § nombre d'éléments d'un répertoire sans le parcourir * Parcourir un répertoire * Supprimer un répertoire * Supprimer un répertoire récursivement * Déplacer un répertoire * Récupérer un fichier par son nom * Récupérer un fichier par sa position dans un répertoire * Mélange de machines publiques et privées * L'espace utilisé respecte l'utilisateur, la machine * L'utilisateur peux choisir les jobs * Non sensible à la déconnexion - Points à faire : * Regarder Pastis plus en détail * Demander au tuteur de Brendan ce qu'il pense de cette approche * Contacter l'équipe de Pastis pour en savoir plus (activité du projet, maturité,...) * Implanter la solution

1 0

DHT/Cache
by Eric Chatellier 12 Mar '10

12 Mar '10

DHT/CACHE ========= Besoin ------ Chaque client dispose d'un cache local dans lequel il va récupérer les données qu'il désire. Si le cache ne dispose pas de l'information demandée, la demande à ses voisins. Des serveur sont présents (sur le réseau local, ou distant), ils dispose de toutes les informations sauvegardées en base de données. Les caches des serveurs sont synchronisés en permanence. Si un des serveurs est arrêté, les clients peuvent interrogé un autre serveur, c'est plus lent, mais ca continue de fonctionner. Les serveurs gèrent une date de dernière mise à jour pour savoir lequel des serveurs est le plus à jour. Les clients dispose de l'adresse du serveur a interrogé. Puis une découverte broadcast en réseau local peut être envisagée. Toutes les informations, sont dupliquées plus de 3? fois sur les clients. Fonctionnalités avancés ----------------------- - transaction - listener (notification de modification du cache) - discovering (pour découvrir les clients proches) - réplication synchrone/asynchrone Autre projets ------------- - jCache (jsr-107 mais en stand-by depuis 2001) - jGroups - JBossCache - SwarmCache - FKache Source ------ * http://jcache.sourceforge.net/ * http://jcp.org/en/jsr/detail?id=107 -- Éric <chatellier(a)codelutin.com> Tel: 02 40 50 29 28 http://www.codelutin.com

1 0