RESEAU DE NEURONE ET APPRENTISSAGE

Commentaire de vdust le 13/12/2005 04:11:54

C'est une base très intéressante, et le code a le mérite d'être très clair. J'ai cependant plusieurs critiques (constructives je l'espère) :

Ce qui est dommage, c'est que la classe 'reseau' soit aussi liée à l'interface Homme-Machine : les tâches comme la demande d'informations à l'utilisateur, la lecture des données d'un fichier, etc., je les aurais personnellement laissé au 'main', en passant les données récupérées en arguments aux fonctions de la classe. Par exemple, le réseau lit des fichiers prédéfinis : mais un programme utilisant tes classes peut avoir besoin de passer des données d'apprentissage lues dans un autre format de fichier, ou demandées directement à l'utilisateur du programme.

De plus, et je trouve qu'il y a ici une bonne habitude à prendre (et à moindre effort) lorsqu'on veut écrire un code portable, ça serait encore plus clair si chaque classe était définie dans un fichier différent, en utilisant des headers pour les déclarations. Avec une telle structure, le code serait plus facilement réutilisable et te permettrait aussi de mieux voir où doit s'arrêter le rôle de chaque classe.

Sinon, il y a une très grosse optimisation à faire au niveau de tes couches. La séparation en réseau/couches/neurones est une conception très "visuelle". Mais si l'on se place au niveau de la mémoire de l'ordinateur, on constate que les neurones d'une même couche sont éparpillés (chaque neurone étant créé par une instruction "new"), ce qui est catastrophique en terme de temps d'accès aux différents neurones, accès qui sont extrêmements fréquents lors de la rétropropagation ( à la récupération des valeurs des neurones d'une autre couche pour chaque neurone de la couche.). Même si d'un point de vue conceptuel, la séparation est élégante, d'un point de vue calculatoire, il est préférable de "fusionner" le concept de neurone à la classe "couche", en créant des tableaux pour chaque propriété des neurones. Comme dans ce cas, les différentes valeurs se suivent en mémoire, les accès sont beaucoups plus rapide, et le temps d'apprentissage en est très sévèrement amélioré.

Malgré toutes ces critiques, bravo pour ton programme, qui, même si l'interface H-M ne gère aucune erreur de saisie au clavier (entre autres, un caractère non prévu (comme 'a', que j'ai malencontreusement tapé à la place de '1') fait boucler le programme), a le mérite de fonctionner correctement.

Commentaire de vdust le 13/12/2005 18:49:39

Les réseaux de neurones peuvent servir à plein de choses. En pratique, ils sont utilisés notamment dans tous les problèmes de détection de formes : par exemple la Poste utilise un programme à base de réseaux de neurones pour identifier le code postal (les algorithmes utilisés mettent en oeuvrent un couplage deux types de réseau pour accroître les performances : les perceptrons et les réseaux de Hopfield (voir la source 19075 sur ce site à ce sujet). Les OCR fonctionnent exactement sur le même principe, mais les réseaux utilisés sont dans l'ensemble plus complexes, puisqu'ils sont moins spécialisés (seuls les chiffres de 0 à 9 sont nécessaire pour les codes postaux).
Certaines intelligences artificielles de jeux se servent également de réseaux de neurones.
Chose amusante à tester, on peut aussi faire de la compression d'images avec un perceptron multicouches...

Commentaire de lebojojo le 14/12/2005 16:41:37

Desole de mettre du temps a repondre mais en semaine j'ai pas un acces facile au net.
Pour l'interface H-M en fait c parce que je ne voulais pas faire un prog de reseau de neurones complet mais juste calculer personnellement des coefs pour les adapter a mes besoin:c'est entre autre pour ca que ça n'accepte pas d'autre fichier pour les valeurs et que je n'ai pas trouvé utile de verifier qu'on ne mette pas une donnée incorecte genre un char.
Merci Vdust pour tes critiques et surtout celle concernant la gestion de la memoire de l'ordi.Sinon quel genre de fonctions a tu reussi a faire apprendre et quel nombre de couche a tu utilisé car c'est sur la maniere de bien parametrer un rdn que j'ai des lacunes(et aussi sur comment optimiser mon algorithme d'apprentissage).
Sinon Dominion si tu veux utiliser le programme tu dois avant dans les souces mettre NB_EX a la valeur nombre d'exemple que tu veux presenter, KPRECISION doit etre réglé sur la precision du resultat que tu veux obtenir et sinon tu met un nombre suffisant de coef dans le fichier coef.txt ,sachant que chaque neurone d'une couche est reliée a tous les neurones de la couche suivante.Et enfin dans le fichier entree.txt tu met les valeurs d'entrée et dans le fichier sortie.txt les valeurs de sortie correspondantes et en conservant le meme ordre.Voilà tout .

Commentaire de Bel0 le 14/12/2005 23:44:18

Tout faire apprendre à un réseau de neurones, oui c'est possible, le seul problème c'est qu'il faut un temps considérable pour entrainer ces réseaux. Si tu veux faire un module d'intelligence artificielle pour un jeu, il serait sans doute plus intéressant de faire des algorithmes utilisant la recherche alpha-beta ou A* (astar) . Si tu tiens absolument à utiliser une réseau de neuronnes (multi-layer perceptron:  MLP en anglais), tu devrais t'orienter vers le logiciel WEKA. Il est écrit en java et permet entre autre d'entrainer toutes sortes de réseaux de neuronnes. A partir de  ça, tu devrais avoir plus facile à comprendre comment fonctionne la mise à jour des poids du perceptron ... ce n'est pas la chose des plus facile (pas mal de maths dans l'affaire).

En résumé (mais vraiment très résumé):

Un training set est ensemble de valeurs qui sert à entrainer le réseau. Chaque élément de cet ensemble contient toutes les valeurs d'entrés du réseau et la valeur de sortie du réseau correspondante.

- Au début d'une itération, on possède un ensmeble de poids qui pondère les différents inputs d'un neuronne et ce pour tous les neuronnes.
- A l'aide d'une élément du training set, on peut évaluer l'erreur comise par le réseau (valeur de sortie du réseau pour l'instance - valeur de sortie du réseau en
utilisant les poids actuels).
- Grâce à cette erreur, on peut mettre à jour les poids du réseau de façon à minimiser l'erreur commise (le carré de l'erreur commise en fait): la méthode pour effectuer la minimisation de l'erreur s'appelle en fait gradient descent.
- Recommencer l'itération tant qu'on a une diminution de l'erreur.

A la fin des itérations, on se trouve dans un endroit (un point dans l'espace à n dimensions où n représente le nombre de poids) qui est le minimum LOCAL de la fonction d'erreur dans cette espace à n dimensions. Il faut bien garder à l'esprit que cette règle de mise-à-jour des poids ne trouve qu'un minimum local à la fonction d'erreur. La solution trouvée n'est donc pas LA solution optimale mais une approximation.

Il y a un bouquin utilisé dans les cours d'intelligence artificielle: "Machine Learning" de Tom Mitchell (ISBN 0070428077). Le site du livre propose aussi des transparents comme base pour des cours: http://www.cs.cmu.edu/~tom/mlbook-chapter-slides.html. Le chapitre 4 devrait particulièrement t'intéresser je crois ;)

Commentaire de davidla3000 le 17/01/2006 14:34:37

Je voies que le sujet sur les réseaux de neurones plutôt que l’aspect programmation. Et bien soit parlons en !

l’algorithme de back propagation, est l’un des algorithmes les plus simples (hors demonstration mathématique) et des plus utilisé, il permet faire apprendre par jeux d’exemples (motif d’entré associé a un motif de sortie). c’est un algorithme a base de mémoire associative, avec un apprentissage supervisé. L’utilisation d’un tel algorithme pose néanmoins pas mal de condition pour l’apprentissage (nombre de neurone, coefficient d’apprentissage, nombre de motif en entrée a apprendre, …) a l’époque je suivais les recommandations de yann le cun pour tous ces parametres, mais  surtout pour minimiser l’erreur du réseau.

Il existe en France quelques bon guide pour les réseaux de neurones (les principaux : perceptron, adaline, regle de Widrow-Hoff,  hopfield, aprentissage par pénalité, les fonctions radiales de base, Boltzman et Kohonen) voici une adresse
http://www.up.univ-mrs.fr/Local/umr_6149/umr/page_perso/Touzet/Les_reseaux_de_neurones_artificiels.pdf

Ce sont des modeles classiques en connexionisme, actuellement, on recherche des modeles plus puissant permettant de reconnaître des motifs déformés dans l’espace, mais aussi dans le temps (voir boucle récurentes, le modèle de jordan ou elman, delai time, integrate and fire).

J’ai trouvé un situe ou vous pourrez trouver de la bonne lecture

http://cortex.loria.fr/fr/publications.html

il s’agit de theses, je vous recommande de lire Stéphane DURAND et Nicolas PICAN, ils ont un regard critique sur certain modele.

En ce qui concerne ton programme :

- pas mal l’idée de généré des couches de neurones au besoin, cepedant lorsque tu developpes un réseau suivant un besoin spéficique, par exemple celui utilisé par la poste a une rétine de 16x16, qui pointe sur une couche cache de n cluster (c’est a dire n groupe de neurone identifiant un meme motifs, soit tous les neurones d’un groupe ont les meme poids synaptique.).
- Le nombre de neurones, tu as deja du le lire quelques part, trop de neurones ne permet pas la classification, et pas assez peut faire que ton reseau n’aboutisse pas.
- Les coeficients, il y a plusieurs coeficient la fonction simoïde f(x)=tanh(x) serait plutot f(x)=m*tanh(k*x), Yann le cun modifiait ces parametres (k,m), pour eviter les minimas locaux. Le coefcient alpha pour la correction des poids etait evolutif, un peu comme pour Kohonen. Yann le cun disait qu’il vallait mieux diminuer le seuil de l’erreur du reseaux par serie de motfis présenté et de modifier egalement alpha en consequence, toujours afin d’eviter les minimas locaux.

Commentaire de anisboujelbene le 07/12/2007 12:10:51

j'essai de compiler ce code avec le microsoft visual studio 6 mais ça marche pas puisque la bibliothèque alloc.h n'existe pas.
mème en remplaçant include <alloc.h par include <malloc.h , il me sort plusieurs erreur
J'ai télécharger de net un fichier alloc.h mais toujours ça compile avec des erreurs

Y a t il des solutions???

Commentaire de terkou le 21/04/2010 17:58:48

je m'interresse au reseau de neurones. je cherche à réaliser un systeme de reconnaissance de caractères.
mais je n'arrive pas à lire les fichiers publiés par Jack.
je code en C et utilise Eclipse (Wascana )
merci beaucoup