Objectifs pédagogiques

Comprendre le fonctionnement des LLMs, leurs architectures, leurs capacités.
Apprendre les techniques pour formuler des prompts précis, et adaptés aux tâches souhaitées.
Découvrir et mettre en pratique des méthodes pour optimiser les requêtes aux LLMs (ex: Chain-of-Thought, Few-Shot Prompting) et améliorer les réponses.
Utiliser les LLMs pour des cas concrets: manipulation de données, analyse de sentiment, génération de contenu, assistance au code, etc.
Être conscient des limites, des biais, et des risques liés au prompting de LLMs, et utiliser ces technologies de manière éthique et sécurisée

Public cible

Professionnels cherchant à intégrer des outils d’IA dans leur travail quotidien.
Managers et leaders d’équipe désireux de comprendre l’impact des IA sur les processus de travail.
Toute personne intéressée par l’apprentissage de l’IA générative textuelle et son application pratique

Pré-requis

Avoir suivi la formation « Initiation aux IA génératives »
Expérience préalable dans l’utilisation d’outils technologiques dans un contexte professionnel

Modalités d’évaluation

L’évaluation des acquis se fait tout au long de la session au travers d’ateliers de mise en pratique des notions et concepts abordés pendant la formation.

Programme de la formation

Introduction aux LLMs et au Prompt Engineering (rappels et approfondissement)

Qu’est-ce qu’un LLM ? (Concepts, Architectures, Fonctionnement)
Types de LLMs (Base LLMs, Instruction Tuned LLMs)
Comprendre le fonctionnement d’un LLM (Processus de construction, vocabulaire et définitions clés)
Comparaison des LLMs populaires (ChatGPT, Gemini, LLaMA, Mistral, etc.)
Principes du Prompting (Définition, importance, structures des prompts)
Créer des Prompts efficaces (Méthodes, exemples, identification des biais et limitations)
Bonnes pratiques (Dirigeabilité, contexte, sensibilité au contexte)

Techniques de Prompt Engineering

Structure d’un Prompt (Context, Instruction, Example)
Guider les réponses d’un LLM (Techniques de base : Contrôle de la longueur, du ton, du style, de l’audience, du contexte)
Optimisation de l’efficacité des prompts (Ordre, formulations positives, choix de la langue)
Optimisation de la précision des réponses (Délimiteurs, données structurées, conditions, exemples, itération)
Panorama des méthodes de Prompting (35 techniques / 12 catégories)
- Techniques simple de Prompting (Zero-shot, Few-Shot, Chain-of-Thought)
- Techniques avancées (Méta Prompting, Self-Consistency, Generate Knowledge Prompting, Zero-Shot Chain-of-Thought, Prompt Chaining, Tree-of-Thought Prompting, Least-to-Most Prompting, Dual Prompt Approach)
- Techniques de pointe (Prompt inversé, Reference Framing, Retrieval Augmented Generation, Automatic Reasoning, Automatic Prompt Engineer, Active-Prompt, Directional Stimulus Prompting, Program-Aided Language Models, ReAct, Reflexion, Multimodal CoT, Graph Prompting)
Combiner les techniques (Exemples et études de cas)

Applications concrètes

Manipuler des données structurées (Extraire des informations, créer des requêtes)
Analyser les sentiments (Déterminer le sentiment d’un texte, identifier les émotions)
Générer du contenu (E-mails, assistance à la rédaction)
Assistance au code (Génération, commentaires, débogage, optimisation, traduction entre langages)
LLMs comme outils d’apprentissage (Explication de concepts, quiz, études de cas)
Concevoir des Chatbots (Support client, ventes, etc.)
Exemples concrets (Respect d’un style, explication de bugs, analyse de stacktraces)

Fiabilité, Limites et Sécurité des LLMs

Identifier les limites des LLMs (Reconnaître les textes générés, proposer des améliorations, grilles d’évaluation)
Problématique de la citation des sources (Difficultés et solutions)
Biais des LLMs (Sensibilisation, exemples, impact)
Hallucinations (Définition, causes, mitigation, exemples)
Difficultés mathématiques des LLMs
Sécurité et Prompt Hacking (Définition, techniques, dangers, exemples, protection)
Fiabilité des LLMs (Techniques de « Prompt Debiasing », « Prompt Ensembling », « LLM Self-Evaluation », « Calibration »)
Améliorer la fiabilité mathématique des LLMs
Paramètres des LLMs (Importance, Température, Max Tokens, Stop Sequence, Sampling Method (Top-P, Top-K), Fréquence Penalty, Présence Penalty, Context Window, JSON Output, Functions)

Outils de prompting et écosystème

« Image Prompting » (Principes, techniques, création de prompts efficaces, bonnes pratiques)
« Mémoire » et « RAG » (Concepts et introduction)
Créer son propre GPT (Définition, intérêt, GPT Store, développement, tests, protection, partage, publication)
Outils et Frameworks (Langchain, LLamaIndex, Datasette LLM) et ressources de Prompts (« Prompt Databases »)
Le futur du Prompt Engineering
Ressources additionnelles (Guides, articles, livres, communautés)

Programme mis à jour le 17 janvier 2025