Problématique
La demande de mon tuteur au sein de la SETM de Nouâtre est qu’on avait pour projet d’implémenter une intelligence artificielle en local et qu’on devait utiliser les documentations techniques et spécifiques des systèmes électroniques, optroniques pour ensuite faire apprendre le modèle de langage (LLM), pour que mes collègues ont une assistance à portée de main sur un problème technique ou autre. L’objectif est que l’IA doit répondre à une question techniques en moins de 30 secondes.
Première installation
Pour ce projet, il fallait donc que je trouve un modèle de langage (LLM) open source. J’ai donc fais mes recherches et j’ai fini par trouver un projet sur Github qui se nomme PrivateGPT, j’ai donc commencé à regarder et à lire la documentation officielle, puis après cela j’ai installer ce projet sur un ordinateur portable mais il n’est pas suffisamment puissant pour de la production mais il peut servir pour faire quelques tests. Un fois le projet installé, j’ai installé le LLM Vigogne-7B-Instruct-GGUF qui est un LLM open source qui contient 7 milliards de paramètres ce qui est assez léger mais l’inconvéniant c’est qu’il n’est donc pas très précis mais au moins il est en français. L’inconvéniant de PrivateGPT c’est qu’il est bien pour des particuliers, il est facile à déployer et à prendre en main mais pour une structure comme nous, il n’est pas assez paramétrable.
Premiers tests
Après quelques jours et plusieurs tests avec quelques déceptions aux niveaux du temps de réponse qui était trop long, moi et mon tuteur on est allé chercher un serveur qui ne servait pas, dans un autre atelier, il avait 2 processeurs Intel Xeon E5 pour un total de 16 Cores et de 256 Go de RAM, j’installe tout les projets sur ce serveur après quelques mesures, on a gagné 30% de performances et de rapidités mais c’est encore assez loin de l’objectif car cela mettait environ 2/3 minutes pour répondre à une question, je continue mes recherches et je trouve un autre modèle qui est celui de Mistral 7B, je l’installe sur PrivateGPT et il y a eu quelques améliorations aux niveaux de la qualité des réponses et du temps qu’il mettait pour répondre, mais ce n’est pas encore ça.
Puis en faisant d’autres recherches je tombe sur un autre projet sur internet qui est celui de LM Studio, je l’installe et grâce à cela, on a un système qui est beaucoup plus paramétrable et plus simple à mettre en place et à déployer. Mais on a toujours ce problème du temps de réponse qui n’est pas encore bon.