Stable Diffusion a conquis le monde, permettant à quiconque de générer gratuitement des œuvres d'art basées sur l'IA. Cependant, si vous avez déjà voulu générer l'image d'un personnage, d'un concept ou en utilisant un style spécifique, vous pourriez avoir été déçu des résultats. Il est courant que la puissante IA de Stable Diffusion ne réussisse pas à donner vie aux personnages et aux styles par elle-même. Heureusement, les modèles LoRA peuvent résoudre ce problème.
Avec autant d'extensions et de modèles étonnants disponibles pour améliorer la diffusion stable, il n'est pas surprenant que le modèle LoRA soit si populaire. Mais que fait réellement un modèle LoRA ? Comment pouvez-vous l'utiliser pour rendre votre art encore plus spectaculaire ?
Dans ce guide du débutant, nous explorons ce que sont les modèles LoRA, où les trouver et comment les utiliser dans l'interface graphique Web d'Automatic1111, ainsi que quelques démos de modèles LoRA.
Table des matières
- Qu'est-ce que LoRA ?
- Types de modèles LoRA
- Où trouver et télécharger des modèles LoRA
- Comment installer un modèle LoRA dans Automatic1111
- Comment utiliser les modèles LoRA dans Automatic1111
Qu'est-ce que LoRA ?
LoRA signifie Low-Rank Adaptation. Il vous permet d'utiliser une technologie d'adaptation de bas rang pour affiner rapidement les modèles de diffusion. Pour faire simple, le modèle de formation LoRA permet de former plus facilement Stable Diffusion sur différents concepts, comme les personnages ou un style spécifique. Ces modèles formés peuvent ensuite être exportés et utilisés par d’autres dans leurs propres générations.
Les modèles de diffusion stable gagnent en popularité dans le domaine de l'apprentissage automatique en raison de leur capacité à générer des images et du texte de haute qualité. Cependant, l'un des inconvénients majeurs de ces modèles est la grande taille des fichiers, ce qui rend difficile pour les utilisateurs de conserver une collection sur leur ordinateur personnel. C'est là que LoRA entre en jeu en tant que technique de formation pour affiner les modèles de diffusion stable tout en conservant des tailles de fichiers gérables.
Les modèles LoRA sont de petits modèles de diffusion stable qui appliquent des modifications plus petites aux modèles de point de contrôle standard, ce qui entraîne une taille de fichier réduite de 2 à 500. Mo, beaucoup plus petits que les fichiers de point de contrôle. LoRA offre un bon compromis entre taille de fichier et puissance de formation, ce qui en fait une solution attrayante pour les utilisateurs disposant d'une vaste collection de modèles.
Types de modèles LoRA
Nous pouvons classer les modèles LoRA en plusieurs types différents :
Personnage LoRA
Modèle entraîné sur un personnage spécifique, tel qu'un personnage de dessin animé ou de jeu vidéo. Character LoRA est capable de recréer avec précision l'apparence et la sensation d'un personnage, ainsi que toutes les caractéristiques clés qui lui sont associées. Il s'agit du type de LoRA le plus courant, car générer des personnages sans ces données d'entraînement est souvent délicat et incohérent.
- Modèle utilisé : Diffusion onirique 1.0
- LoRA utilisé : Le Joker | Photoréaliste
- Invite utilisée : portrait du joker, haute qualité, 8k
Appliquer un personnage LoRA vous permet de générer rapidement des personnages avec un aspect authentique, ce qui les rend parfaits pour les illustrations d'IA, les illustrations conceptuelles de personnages et même les feuilles de référence. Selon la formation du modèle, le personnage pourra être adapté à une tenue, une coiffure spécifique, voire une certaine expression du visage. Cependant, certains personnages LoRA permettent de mettre le personnage que vous avez choisi dans de nouvelles tenues et de nouveaux décors, leur donnant un niveau de charme supplémentaire.
Character LoRA existe pour toutes sortes de médias, y compris des titres populaires et moins connus. Vous trouverez des personnages de franchises populaires comme Super Mario, Marvel et Pokémon, ainsi que de nombreux personnages d'anime japonais et même des héros de bandes dessinées.
Bien sûr, la LoRA des personnages peut également être appliquée aux personnages originaux, à condition qu'il y ait suffisamment de données d'entraînement. Bien que des expériences avec de faibles données d'entraînement soient en cours, il est préférable de créer un personnage LoRA avec au moins 10 à 20 images différentes. Cela ajoutera de la variété à votre processus de formation, améliorant ainsi la qualité des personnages générés.
Style LoRA
Le style LoRA partage de nombreuses similitudes avec le personnage LoRA, mais au lieu de s'entraîner sur un personnage ou un objet spécifique, il se concentre sur un style artistique. Ce type de modèle est généralement formé à l'art par un artiste spécifique, vous donnant accès à son style signature dans votre propre travail. Style LoRA peut être utilisé pour tout, depuis la stylisation d’images de référence jusqu’à la création d’œuvres d’art originales dans le même style.
Comme leur nom l'indique, ces modèles sont formés sur des styles spécifiques, comme l'apparence spécifique d'un spectacle animé, des aquarelles, des dessins linéaires, etc. Avec ce type de modèle LoRA, vous pouvez facilement donner à vos illustrations d'IA un style unique qui se démarque des autres !
- Modèle utilisé : AnyLoRA - Checkpoint
- LoRA utilisée : LoRA de style arcanique
- Invite utilisée : style arcanique, 1 fille, cheveux roses, cheveux longs, une tresse, chemise blanche, manteau, yeux jaunes, regardant le spectateur, rue de la ville
Nous avons généré une nouvelle œuvre d'art d'IA à l'aide d'un modèle LoRA formé sur le style de la série Netflix Arcane. Le modèle a réussi à capturer les couleurs vibrantes de la série et les dessins distinctifs des personnages sur un personnage qui n'apparaît pas dans la série originale.
Ce qui est formidable avec les LoRA de style, c'est qu'elles fonctionnent avec des points de contrôle de diffusion stable réguliers, vous permettant de créer des pièces étonnantes et uniques sans avoir à fusionner de grands modèles. Par exemple, l'utilisation d'un point de contrôle de réalisme et d'un style de peinture LoRA produira une image réaliste qui semble avoir été peinte.
Concept LoRA
Le concept LoRA est un type spécial de LoRA qui a été formé sur un concept ou une idée spécifique. Ces modèles visent généralement à conceptualiser quelque chose de spécifique qui serait plus difficile à réaliser avec une simple ingénierie rapide. Par exemple, ce type de LoRA pourrait être entraîné sur une émotion, une action ou un élément très spécifique.
Ce type de modèle est particulièrement utile lorsque vous essayez de créer une œuvre d'art originale qui véhicule un concept spécifique. Par exemple, si vous souhaitez générer l'image d'une sculpture en verre, vous pouvez utiliser un concept LoRA formé sur cette idée exacte. Le résultat serait une œuvre d’art unique et intéressante qui transmettrait clairement le concept que vous visiez.
- Modèle utilisé : Diffusion onirique 1.0
- LoRA utilisé : Sculptures en verre
- Invite utilisée : ballerine, danse, translucide, sculpture en verre, reflet
Les LoRA conceptuelles facilitent la création d'œuvres d'art à la fois stylisées et conceptuellement fortes. Ils sont également parfaits pour créer des pièces plus petites et plus obscures qui seraient difficiles à générer avec d'autres modèles. En tant que tels, ils peuvent souvent donner à votre œuvre un avantage supplémentaire en termes d’unicité et de valeur artistique.
Posez LoRA
Appliquer une pose LoRA à votre génération fait exactement ce à quoi cela ressemble : cela va poser votre personnage d'une certaine manière. C'est idéal pour générer des scènes dynamiques, dans lesquelles vous pouvez produire des poses et des actions spécifiques qui sont souvent difficiles, voire impossibles, avec une ingénierie rapide régulière.
Les modèles Pose LoRA se concentrent davantage sur la pose dudit personnage plutôt que sur son style ou ses caractéristiques. Par exemple, si vous deviez appliquer une pose LoRA à un personnage humanoïde, cela créerait différentes poses pour lui, comme courir, sauter ou s'asseoir, mais cela ne changerait pas ses caractéristiques, ses vêtements ni le style du modèle. vous utilisez.
- Modèle utilisé : GhostMix
- LoRA utilisé : Shinji sur une chaise | Mème
- Invite utilisée : solo, focus masculin, assis, tête baissée, cheveux noirs courts, veste à capuche, jean, baskets
Les LoRA Pose sont un excellent moyen d'avoir plus de contrôle sur vos générations sans avoir à installer et à apprendre des solutions plus avancées comme ControlNet. Ce type de LoRA peut vous aider à créer des scènes dynamiques et intéressantes avec seulement quelques modifications simples à l'invite d'origine.
Vêtements LoRa
Un autre modèle utile est celui des vêtements LoRA. Comme on peut s'y attendre, ce type de modèle LoRA est conçu pour modifier les vêtements et accessoires d'une personne. Avec lui, vous pouvez rapidement et facilement donner de nouveaux vêtements à n'importe quel personnage, qu'ils soient de style moderne ou historique.
Ce qui est génial avec ces modèles, c'est qu'ils fonctionnent avec tout type de personnage. Vous pouvez appliquer une variété de styles et de designs différents avec un seul modèle ! Par exemple, si vous souhaitez créer une scène avec des personnages portant des vêtements traditionnels chinois, appliquez simplement les vêtements LoRA que vous avez choisis à votre génération et le tour est joué - un costume traditionnel chinois instantané !
Souvent, même si vous décrivez clairement la tenue vestimentaire de votre personnage, Stable Diffusion peut ne pas faire le meilleur travail pour donner vie à votre idée. Cependant, avec l'aide d'une LoRA vestimentaire, vous pouvez affiner l'apparence exacte de vos personnages et apporter ce petit plus d'authenticité à votre travail.
Objet LoRA
Enfin et non le moindre, nous avons les LoRA d'objet. Il s'agit d'une large catégorie de modèles LoRA utilisés pour générer des objets tels que des meubles, des plantes ou même des véhicules. Bien entendu, le type d'éléments que vous pouvez créer avec ces modèles dépend du modèle spécifique que vous utilisez et de l'invite que vous fournissez.
Cependant, ce terme s'applique également aux LoRA utilisées pour créer des objets plus abstraits, tels que des éléments d'interface utilisateur pour des jeux ou des sites Web. Cela peut être extrêmement utile pour créer une apparence plus cohérente à vos projets, en particulier avec l'intégration de l'intelligence artificielle dans le développement Web. Cela peut être extrêmement utile pour créer une apparence plus cohérente pour vos projets.
- Modèle utilisé : Sauce spéciale Sichuan
- LoRA utilisé : Conception de produits (minimalisme sombre-eddiemauro)
- Invite utilisée : bouilloire futuriste, rendu informatique, minimalisme, 4K
Les Object LoRA sont un outil précieux non seulement pour les artistes, mais également pour les développeurs de jeux, les concepteurs Web et autres professionnels de la création qui ont besoin de créer des éléments de manière efficace. Être capable de générer des objets avec des conceptions personnalisées vous donne la liberté d'expérimenter et d'explorer différents visuels jusqu'à ce que vous trouviez celui parfait pour votre projet.
Où trouver et télécharger des modèles LoRA
Les modèles LoRA sont disponibles dans divers référentiels open source, notamment Civitai et Hugging Face. Ces modèles sont gratuits et peuvent être facilement téléchargés en quelques étapes simples. La meilleure chose à propos de ces modèles est leur taille : la plupart des modèles LoRA ne dépassent pas quelques mégaoctets, ce qui les rend incroyablement légers et faciles à utiliser.
Après avoir téléchargé le(s) modèle(s) que vous souhaitez utiliser, vous devrez les installer dans le bon dossier. En fonction de votre configuration, cela peut changer. Dans cet article, nous explorons l'utilisation des modèles LoRA avec l'interface utilisateur Web d'Automatic1111, mais vous pouvez rechercher votre plate-forme pour obtenir des instructions spécifiques sur l'utilisation des modèles LoRA.
Comment installer un modèle LoRA dans Automatic1111
Avant de pouvoir placer vos modèles dans votre interface Web, vous devrez probablement installer l'extension LoRA elle-même, quelle que soit la plate-forme que vous utilisez pour générer vos images. Voici comment installer l'extension pour Automatic1111 :
- Tout d’abord, lancez l’interface utilisateur Web d’Automatic1111.
- Ouvrez l'onglet "Extensions" et cliquez sur "Installer à partir d'une URL" parmi les options disponibles.
-
Collez le lien suivant dans le champ de saisie "URL du référentiel git de l'extension", puis appuyez sur le bouton "Installer" bouton : https://github.com/kohya-ss/sd-webui-additional-networks.git
-
Passez à l'onglet "Installé", puis cliquez sur le bouton "Appliquer et redémarrer l'interface utilisateur". Maintenant, attendez que l’interface utilisateur Web d’Automatic1111 redémarre.
- Après avoir effectué ces étapes, vous devriez remarquer de nouveaux sous-dossiers dans votre dossier "models". Ces modèles stockeront vos LoRA. Cependant, vous devez configurer ce dossier pour que l'interface utilisateur Web d'Automatic1111 puisse le lire.
- Ouvrez l'onglet "Paramètres" et passez à l'onglet "Réseaux supplémentaires". Localisez le champ de saisie « Chemins supplémentaires pour rechercher les modèles LoRA » et collez-le dans le dossier approprié. Vous le trouverez dans le répertoire "stable-diffusion-webui/models/Lora".
- Après avoir saisi le chemin complet et correct vers votre dossier LoRA, cliquez sur « Appliquer les paramètres."
Cela prend en charge l'installation de l'extension LoRA, cependant, ce n'est pas suffisant pour commencer à générer des images pour l'instant. Vous devez également installer vos modèles LoRA actuels dans le bon dossier. Pour ce faire, récupérez le fichier LoRA téléchargé et placez-le dans votre dossier "stable-diffusion-webui/models/Lora".
Comment utiliser les modèles LoRA dans Automatic1111
Une fois le modèle LoRA que vous souhaitez utiliser installé, vous pouvez commencer à créer des images avec celui-ci.
- Lancez l'interface utilisateur Web d'Automatic1111 et sélectionnez le modèle de point de contrôle souhaité. Certaines LoRA nécessitent l’utilisation d’un point de contrôle spécifique ; vérifiez toujours la description et les instructions de vos LoRA.
- Tapez votre invite. Assurez-vous d'inclure le mot déclencheur de la LoRA s'il en a un. Le créateur mettra généralement ce mot dans la description, ou vous pourrez le trouver dans le paramètre "Mots déclencheurs" sur Civitai.
- Cliquez sur l'icône "Réseaux supplémentaires" sous le bouton "Générer" et passez au bouton " Lora”. Ici, cliquez sur la Lora que vous souhaitez utiliser pour l'insérer dans votre invite.
- Si nécessaire, modifiez le poids de la LoRA en modifiant la valeur par défaut "1" par un nombre inférieur ou supérieur. Par exemple, certains LoRA fonctionneront mieux sur un poids comme "0.6" ou "1.2" selon la manière dont il a été formé et le type de résultats que vous recherchez.
- Terminez la configuration de vos paramètres de génération, puis cliquez sur le bouton "Générer".
Vous devriez remarquer que la LoRA a été appliquée à votre image générée, vous permettant de travailler avec des concepts plus spécifiques et uniques. Le temps et les efforts que vous devez consacrer à la configuration de vos LoRA en valent la peine ; les résultats peuvent être époustouflants !
Conclusion
Les modèles LoRA constituent un excellent moyen d'ajouter plus de détails et de précision aux images générées par l'IA. En quelques étapes simples, vous pouvez commencer à intégrer ces modèles dans votre flux de travail Automatic1111, vous donnant accès à un tout nouveau monde de possibilités pour vos projets. Nous vous recommandons de garder un œil sur les dernières versions, car de nouveaux modèles intéressants sont toujours ajoutés à la plateforme. Bonne création !
Encore une chose
Nous sommes heureux que vous ayez lu cet article. :) Merci pour la lecture.
Si vous avez une seconde, partagez cet article sur vos réseaux sociaux ; quelqu'un d'autre pourrait également en bénéficier.
Abonnez-vous à notre newsletter et soyez le premier à lire nos futurs articles, critiques et articles de blog directement depuis votre boîte de réception. Nous proposons également des offres, des promotions et des mises à jour sur nos produits et les partageons par e-mail. Vous n’en manquerez pas un.
Articles connexes
» Comment utiliser la diffusion stable gratuitement – Guide du débutant
» Top 10 des meilleurs modèles de diffusion stables à essayer
» Quel est le meilleur fournisseur cloud pour une diffusion stable Diffusion ?