Diffusion stable : que sont les modèles LoRA et comment les utiliser ?

Apprenez à utiliser les modèles LoRA dans Stable Diffusion pour améliorer votre art de l'IA et faire passer vos générations au niveau supérieur avec des LoRA de caractère, de concept et de style.

Stable Diffusion a conquis le monde, permettant à quiconque de générer gratuitement des œuvres d'art basées sur l'IA . Cependant, si vous avez déjà voulu générer l'image d'un personnage, d'un concept ou en utilisant un style spécifique, vous pourriez avoir été déçu des résultats. Il est courant que la puissante IA de Stable Diffusion ne réussisse pas à donner vie aux personnages et aux styles par elle-même. Heureusement, les modèles LoRA peuvent résoudre ce problème.

Avec autant d'extensions et de modèles étonnants disponibles pour améliorer la diffusion stable, il n'est pas surprenant que le modèle LoRA soit si populaire. Mais que fait réellement un modèle LoRA ? Comment pouvez-vous l’utiliser pour rendre votre art encore plus spectaculaire ?

Diffusion stable : que sont les modèles LoRA et comment les utiliser ?

Dans ce guide du débutant, nous explorons ce que sont les modèles LoRA, où les trouver et comment les utiliser dans l'interface graphique Web d'Automatic1111, ainsi que quelques démos de modèles LoRA.

Table des matières

  1. Qu’est-ce que LoRA ?
  2. Types de modèles LoRA
  3. Où trouver et télécharger des modèles LoRA
  4. Comment installer un modèle LoRA dans Automatic1111
  5. Comment utiliser les modèles LoRA dans Automatic1111

Qu’est-ce que LoRA ?

LoRA signifie Adaptation de bas rang. Il vous permet d'utiliser une technologie d'adaptation de bas rang pour affiner rapidement les modèles de diffusion. Pour faire simple, le modèle de formation LoRA permet de former plus facilement Stable Diffusion sur différents concepts, comme les personnages ou un style spécifique. Ces modèles formés peuvent ensuite être exportés et utilisés par d’autres dans leurs propres générations.

Les modèles de diffusion stable gagnent en popularité dans le domaine de l’apprentissage automatique en raison de leur capacité à générer des images et du texte de haute qualité. Cependant, l'un des inconvénients majeurs de ces modèles est la grande taille des fichiers, ce qui rend difficile pour les utilisateurs de conserver une collection sur leur ordinateur personnel. C'est là que LoRA entre en jeu en tant que technique de formation pour affiner les modèles de diffusion stable tout en conservant des tailles de fichiers gérables.

Les modèles LoRA sont de petits modèles de diffusion stable qui appliquent des modifications plus petites aux modèles de point de contrôle standard , ce qui entraîne une taille de fichier réduite de 2 à 500 Mo, bien plus petite que les fichiers de point de contrôle. LoRA offre un bon compromis entre la taille du fichier et la puissance de formation, ce qui en fait une solution attrayante pour les utilisateurs disposant d'une vaste collection de modèles.

Types de modèles LoRA

Nous pouvons classer les modèles LoRA en plusieurs types différents :

Personnage LoRA

Modèle formé sur un personnage spécifique, comme un personnage de dessin animé ou de jeu vidéo. Character LoRA est capable de recréer avec précision l'apparence et la sensation d'un personnage, ainsi que toutes les caractéristiques clés qui lui sont associées. Il s'agit du type de LoRA le plus courant, car générer des personnages sans ces données d'entraînement est souvent délicat et incohérent.

personnage lora

L'application d'un personnage LoRA vous permet de générer rapidement des personnages avec un aspect authentique, ce qui les rend parfaits pour les illustrations d'IA, les concepts de personnages et même les feuilles de référence. Selon la formation du modèle, le personnage pourra être adapté à une tenue, une coiffure spécifique, ou encore une certaine expression du visage. Cependant, certains personnages LoRA permettent de mettre le personnage que vous avez choisi dans de nouvelles tenues et de nouveaux décors, leur donnant un niveau de charme supplémentaire.

Character LoRA existe pour toutes sortes de médias, y compris des titres populaires et moins connus. Vous trouverez des personnages de franchises populaires comme Super Mario, Marvel et Pokémon, ainsi que de nombreux personnages d'anime japonais et même des héros de bandes dessinées.

Bien entendu, la LoRA des personnages peut également être appliquée aux personnages originaux, à condition que les données d'entraînement soient suffisantes. Bien que des expériences avec de faibles données d'entraînement soient en cours, il est préférable de créer un personnage LoRA avec au moins 10 à 20 images différentes. Cela ajoutera de la variété à votre processus de formation, améliorant ainsi la qualité des personnages générés.

Style LoRA

Le style LoRA partage de nombreuses similitudes avec le personnage LoRA, mais au lieu de s'entraîner sur un personnage ou un objet spécifique, il se concentre sur un style artistique. Ce type de modèle est généralement formé à l'art par un artiste spécifique, vous donnant accès à son style signature dans votre propre travail. Style LoRA peut être utilisé pour tout, de la stylisation d’images de référence à la création d’œuvres d’art originales dans le même style.

Comme leur nom l'indique, ces modèles sont formés sur des styles spécifiques, comme l'apparence spécifique d'un spectacle animé, des aquarelles, du linéaire, etc. Avec ce type de modèle LoRA, vous pouvez facilement donner à vos illustrations d'IA un style unique qui se démarque des autres !

style lora
  • Modèle utilisé : AnyLoRA - Checkpoint
  • LoRA utilisé : LoRA de style arcanique
  • Invite utilisée : style arcanique, 1 fille, cheveux roses, cheveux longs, une tresse, chemise blanche, manteau, yeux jaunes, regardant le spectateur, rue de la ville

Nous avons généré une nouvelle œuvre d'art IA à l'aide d'un modèle LoRA formé sur le style de la série Netflix Arcane. Le modèle a réussi à capturer les couleurs vibrantes de la série et les dessins de personnages distinctifs sur un personnage qui n'apparaît pas dans la série originale.

Ce qui est formidable avec les LoRA de style, c'est qu'elles fonctionnent avec des points de contrôle de diffusion stable réguliers, vous permettant de créer des pièces étonnantes et uniques sans avoir à fusionner de grands modèles. Par exemple, l'utilisation d'un point de contrôle de réalisme et d'un style de peinture LoRA produira une image réaliste qui semble avoir été peinte.

Concept LoRA

Le concept LoRA est un type spécial de LoRA qui a été formé sur un concept ou une idée spécifique. Ces modèles visent généralement à conceptualiser quelque chose de spécifique qui serait plus difficile à réaliser avec une simple ingénierie rapide. Par exemple, ce type de LoRA pourrait être entraîné sur une émotion, une action ou un élément très spécifique.

Ce type de modèle est particulièrement utile lorsque vous essayez de créer une œuvre d'art originale véhiculant un concept spécifique. Par exemple, si vous souhaitez générer l'image d'une sculpture en verre, vous pouvez utiliser un concept LoRA formé sur cette idée exacte. Le résultat serait une œuvre d’art unique et intéressante qui transmettrait clairement le concept que vous visiez.

concept lora

Les Concept LoRA facilitent la création d’œuvres d’art à la fois stylisées et conceptuellement fortes. Ils sont également parfaits pour créer des pièces plus petites et plus obscures qui seraient difficiles à générer avec d'autres modèles. En tant que tels, ils peuvent souvent donner à votre œuvre un avantage supplémentaire en termes d’unicité et de valeur artistique.

Pose LoRA

Appliquer une pose LoRA à votre génération fait exactement ce à quoi cela ressemble : cela va poser votre personnage d'une certaine manière. C'est idéal pour générer des scènes dynamiques, dans lesquelles vous pouvez produire des poses et des actions spécifiques qui sont souvent difficiles, voire impossibles, avec une ingénierie rapide régulière.

Les modèles Pose LoRA se concentrent davantage sur la pose dudit personnage plutôt que sur son style ou ses caractéristiques. Par exemple, si vous deviez appliquer une pose LoRA à un personnage humanoïde, cela créerait différentes poses pour lui, comme courir, sauter ou s'asseoir, mais cela ne changerait pas ses caractéristiques, ses vêtements ni le style du modèle. vous utilisez.

pose lora
  • Modèle utilisé : GhostMix
  • LoRA utilisé : Shinji sur une chaise | Mème
  • Invite utilisée : solo, focus masculin, assis, tête baissée, cheveux noirs courts, veste à capuche, jeans, baskets

Les Pose LoRA sont un excellent moyen d'avoir plus de contrôle sur vos générations sans avoir à installer et à apprendre des solutions plus avancées comme ControlNet. Ce type de LoRA peut vous aider à créer des scènes dynamiques et intéressantes avec seulement quelques modifications simples à l'invite d'origine.

Vêtements LoRa

Un autre modèle utile est celui des vêtements LoRA. Comme on peut s'y attendre, ce type de modèle LoRA est conçu pour modifier les vêtements et accessoires d'une personne. Avec lui, vous pouvez rapidement et facilement donner de nouveaux vêtements à n'importe quel personnage, qu'ils soient de style moderne ou historique.

Ce qui est génial avec ces modèles, c'est qu'ils fonctionnent avec tout type de personnage. Vous pouvez appliquer une variété de styles et de designs de différentes personnes avec un seul modèle ! Par exemple, si vous souhaitez créer une scène avec des personnages portant des vêtements traditionnels chinois, appliquez simplement les vêtements LoRA que vous avez choisis à votre génération et le tour est joué - un costume traditionnel chinois instantané !

vêtements lora
  • Modèle utilisé : GhostMix
  • LoRA utilisé : hanfu
  • Invite utilisée : fille, hanfu bleu, corps entier

Souvent, même si vous décrivez clairement la tenue vestimentaire de votre personnage, Stable Diffusion peut ne pas faire le meilleur travail pour donner vie à votre idée. Cependant, avec l'aide d'une LoRA vestimentaire, vous pouvez affiner l'apparence exacte de vos personnages et apporter ce petit plus d'authenticité à votre travail.

Objet LoRA

Enfin et surtout, nous avons les LoRA d’objets. Il s'agit d'une large catégorie de modèles LoRA utilisés pour générer des objets tels que des meubles, des plantes ou même des véhicules. Bien entendu, le type d'éléments que vous pouvez créer avec ces modèles dépend du modèle spécifique que vous utilisez et de l'invite que vous fournissez.

Cependant, ce terme s'applique également aux LoRA utilisés pour créer des objets plus abstraits, tels que des éléments d'interface utilisateur pour des jeux ou des sites Web. Cela peut être incroyablement utile pour créer une apparence plus cohérente à vos projets.

objet lora

Les Object LoRA sont un outil inestimable non seulement pour les artistes, mais également pour les développeurs de jeux, les concepteurs de sites Web et autres professionnels de la création qui ont besoin de créer des actifs de manière efficace. Être capable de générer des objets avec des conceptions personnalisées vous donne la liberté d'expérimenter et d'explorer différents visuels jusqu'à ce que vous trouviez celui parfait pour votre projet.

Où trouver et télécharger des modèles LoRA

Les modèles LoRA sont disponibles dans divers référentiels open source, notamment Civitai et Hugging Face . Ces modèles sont gratuits et peuvent être facilement téléchargés en quelques étapes simples. La meilleure chose à propos de ces modèles est leur taille : la plupart des modèles LoRA ne dépassent pas quelques mégaoctets, ce qui les rend incroyablement légers et faciles à utiliser.

Après avoir téléchargé le(s) modèle(s) que vous souhaitez utiliser, vous devrez les installer dans le bon dossier. En fonction de votre configuration, cela peut changer. Dans cet article, nous explorons l'utilisation des modèles LoRA avec l'interface utilisateur Web d'Automatic1111, mais vous pouvez rechercher votre plate-forme pour obtenir des instructions spécifiques sur l'utilisation des modèles LoRA.

Comment installer un modèle LoRA dans Automatic1111

Avant de pouvoir placer vos modèles dans votre interface Web, vous devrez probablement installer l'extension LoRA elle-même, quelle que soit la plate-forme que vous utilisez pour générer vos images. Voici comment installer l'extension pour Automatic1111 :

  1. Tout d’abord, lancez l’interface utilisateur Web d’Automatic1111.
  2. Ouvrez l'onglet " Extensions " et cliquez sur " Installer à partir d'une URL " parmi les options disponibles.
  3. Collez le lien suivant dans le champ de saisie « URL du référentiel git de l'extension », puis appuyez sur le bouton « Installer » : https://github.com/kohya-ss/sd-webui-additional-networks.git
    installer l'extension lora
  4. Passez à l'onglet " Installé " et cliquez sur le bouton " Appliquer et redémarrer l'interface utilisateur ". Maintenant, attendez que l’interface utilisateur Web d’Automatic1111 redémarre.
    redémarrer l'interface utilisateur
  5. Après avoir effectué ces étapes, vous devriez remarquer de nouveaux sous-dossiers dans votre dossier " models ". Ces modèles stockeront vos LoRA. Cependant, vous devez configurer ce dossier pour que l'interface utilisateur Web d'Automatic1111 puisse le lire.
  6. Ouvrez l'onglet " Paramètres " et passez à l'onglet " Réseaux supplémentaires ". Localisez le champ de saisie « Chemins supplémentaires à rechercher pour les modèles LoRA » et collez-le dans le dossier approprié. Vous le trouverez dans le répertoire " stable-diffusion-webui/models/Lora ".
  7. Après avoir saisi le chemin complet et correct vers votre dossier LoRA, cliquez sur « Appliquer les paramètres ».

Cela prend en charge l'installation de l'extension LoRA, cependant, cela ne suffit pas pour commencer à générer des images pour l'instant. Vous devez également installer vos modèles LoRA actuels dans le bon dossier. Pour ce faire, récupérez le fichier LoRA téléchargé et placez-le dans votre dossier " stable-diffusion-webui/models/Lora ".

Comment utiliser les modèles LoRA dans Automatic1111

Une fois le modèle LoRA que vous souhaitez utiliser installé, vous pouvez commencer à créer des images avec celui-ci.

  1. Lancez l'interface utilisateur Web d'Automatic1111 et sélectionnez le modèle de point de contrôle souhaité. Certaines LoRA nécessitent l’utilisation d’un point de contrôle spécifique ; vérifiez toujours la description et les instructions de vos LoRA.
  2. Tapez votre invite. Assurez-vous d'inclure le mot déclencheur de la LoRA s'il en a un. Le créateur mettra généralement ce mot dans la description, ou vous pourrez le trouver dans le paramètre « Mots déclencheurs » sur Civitai.
  3. Cliquez sur l'icône « Réseaux supplémentaires » sous le bouton « Générer » et passez à l'onglet « Lora ». Ici, cliquez sur la Lora que vous souhaitez utiliser pour l'insérer dans votre invite.
  4. Si nécessaire, modifiez le poids de la LoRA en modifiant le « 1 » par défaut en un nombre inférieur ou supérieur. Par exemple, certains LoRA fonctionneront mieux avec un poids comme " 0,6 " ou " 1,2 " selon la façon dont ils ont été entraînés et le type de résultats que vous recherchez.
  5. Terminez la configuration de vos paramètres de génération, et cliquez sur le bouton « Générer ».

Vous devriez remarquer que la LoRA a été appliquée à votre image générée, vous permettant de travailler avec des concepts plus spécifiques et uniques. Le temps et les efforts que vous devez consacrer à la configuration de vos LoRA en valent la peine ; les résultats peuvent être époustouflants !

Conclusion

Les modèles LoRA sont un excellent moyen d’ajouter plus de détails et de précision aux images générées par l’IA. En quelques étapes simples, vous pouvez commencer à intégrer ces modèles dans votre flux de travail Automatic1111, vous donnant ainsi accès à un tout nouveau monde de possibilités pour vos projets. Nous vous recommandons de garder un œil sur les dernières versions, car de nouveaux modèles intéressants sont toujours ajoutés à la plateforme. Bonne création !

Encore une chose

Nous sommes heureux que vous ayez lu cet article. :) Merci pour la lecture.

Si vous avez une seconde, partagez cet article sur vos réseaux sociaux ; quelqu'un d'autre pourrait également en bénéficier.

Abonnez-vous à notre newsletter et soyez le premier à lire nos futurs articles, critiques et articles de blog directement depuis votre boîte de réception. Nous proposons également des offres, des promotions et des mises à jour sur nos produits et les partageons par e-mail. Vous n'en manquerez pas un.

Articles Liés

» Comment utiliser la diffusion stable gratuitement – ​​Guide du débutant
» Top 10 des meilleurs modèles de diffusion stable que vous devez essayer
» Quel est le meilleur fournisseur cloud pour une diffusion stable ?