Pruned, unpruned, fine-tune

Ce que cet article présente :

Le terme pruned désigne souvent un modèle débarrassé des données d'entraînement superflues plutôt qu'une suppression de capacités, réduisant ainsi sa taille sans altérer significativement la qualité des générations.
Un fine-tuning spécialise un modèle dans un domaine précis (style artistique, langage, etc.) en réentraînant ses paramètres sur des données ciblées, ce qui peut déséquilibrer ses compétences initiales vers le nouveau sujet.
Les opérations comme le pruning ou la quantification ne suppriment pas les droits d'auteur originels du modèle ni de ses données d'entraînement, nécessitant une traçabilité rigoureuse pour respecter les licences et l'AI Act en Europe.
Un LoRA (Low-Rank Adaptation) permet des adaptations légères et interchangeables d'un modèle sans modifier son cœur, idéal pour des personnalisations rapides dans des environnements comme ComfyUI.
Le choix entre un checkpoint pruned, unpruned ou fine-tuned dépend de l'usage : les premiers optimisent la mémoire et la vitesse, tandis que le second vise une spécialisation au détriment de la polyvalence.

Lorsqu’on télécharge un modèle d’intelligence artificielle pour ComfyUI, Ollama ou un autre environnement local, les termes pruned, unpruned, fine-tuned, LoRA, EMA ou encore quantized apparaissent régulièrement.

Ils sont pourtant souvent utilisés sans explication et peuvent même avoir des significations légèrement différentes selon les communautés et les architectures de modèles.

Pour un modèle d’image ou de vidéo, choisir entre un checkpoint pruned, unpruned ou fine-tuné peut avoir des conséquences sur la taille du fichier, la mémoire nécessaire, les possibilités d’entraînement ultérieur et parfois les performances de génération.

Mais une autre question est souvent oubliée : modifier, alléger ou spécialiser un modèle ne fait pas disparaître l’histoire de ses données d’entraînement, sa licence ni les éventuelles problématiques de droits d’auteur.

Il faut donc distinguer trois notions : ce qui a été retiré du checkpoint, ce qui a été réentraîné dans le modèle et les droits associés au modèle ainsi qu’aux données ayant permis de le créer.

Comprendre les checkpoints IA, leurs performances et les droits d’auteur

Pruned ou unpruned : que retire-t-on réellement d'un checkpoint ?

Le mot anglais pruning signifie littéralement « élagage ». Dans le domaine de l’apprentissage profond, le véritable pruning consiste à supprimer, neutraliser ou rendre inutiles certains paramètres ou certaines connexions d’un réseau neuronal considérés comme peu importants.

L’objectif peut être de réduire :

la taille du modèle ;
la quantité de mémoire nécessaire ;
la quantité de calcul ;
le temps de chargement ;
et, dans certains cas, le temps d’inférence.

Le terme « pruned » peut cependant recouvrir plusieurs réalités

Dans l’univers des modèles génératifs, un checkpoint pruned n’est pas nécessairement un modèle auquel on aurait supprimé une partie importante de ses neurones.

Historiquement, certaines distributions de Stable Diffusion ont par exemple utilisé des noms comme :

v1-5-pruned.ckpt
v1-5-pruned-emaonly.ckpt

Dans ce type de cas, le fichier pouvait surtout avoir été débarrassé d’éléments nécessaires à l’entraînement mais inutiles pour produire des images.

Il faut donc distinguer :

le pruning structurel, qui modifie réellement la structure ou les paramètres utilisés par le réseau ;
et le nettoyage d’un checkpoint, qui retire principalement des informations inutiles pour l’inférence.

Dans ce second cas, le terme pruned ne signifie donc pas nécessairement :

« Une partie des capacités du modèle a été supprimée. »

Il peut simplement signifier :

« Le fichier a été débarrassé de données dont on n’a pas besoin pour générer des images ou des vidéos. »

Un checkpoint unpruned n’est pas automatiquement meilleur

Un checkpoint unpruned peut conserver davantage d’informations liées à son entraînement :

CHECKPOINT COMPLET
│
├── poids nécessaires à l'inférence
├── poids EMA
├── éventuellement poids non-EMA
├── états liés à l'entraînement
└── autres informations

Une version préparée exclusivement pour l’inférence peut être plus compacte :

CHECKPOINT PRUNED
│
└── poids nécessaires
        ↓
    génération

Le second fichier peut donc être nettement plus léger sans produire une image ou une vidéo sensiblement moins bonne.

Quelles conséquences sur les performances ?

Un checkpoint allégé peut apporter plusieurs avantages :

moins d’espace disque ;
un téléchargement plus rapide ;
un chargement parfois plus rapide ;
une consommation de RAM potentiellement inférieure ;
moins d’informations inutiles lorsque la machine est uniquement destinée à l’inférence.

En revanche, diviser la taille d’un fichier par deux ne signifie pas nécessairement diviser le temps de génération par deux.

Si le réseau réellement exécuté sur le GPU reste identique, la quantité de calcul peut être quasiment la même :

CHECKPOINT 10 Go
       ↓
même Transformer
       ↓
GPU

CHECKPOINT 20 Go
       ↓
même Transformer
       ↓
GPU

Un véritable pruning structurel peut permettre de réduire les calculs, mais seulement si le moteur d’inférence et le matériel savent exploiter cette nouvelle structure.

Il faut donc toujours lire la documentation du modèle concerné avant d’interpréter la seule mention « pruned » ou « unpruned ».

Fine-tune et LoRA : comment modifient-ils les connaissances d'un modèle ?

Le fine-tuning correspond à une opération très différente du pruning.

Cette fois, il ne s’agit plus principalement de retirer des informations d’un fichier. On reprend un modèle déjà entraîné et on poursuit son apprentissage avec de nouvelles données.

MODÈLE DE BASE
      ↓
nouveau dataset
      ↓
entraînement supplémentaire
      ↓
MODÈLE FINE-TUNÉ

Le fine-tuning peut permettre de spécialiser un modèle dans :

un style graphique ;
la photographie ;
un type particulier de personnage ;
une langue ;
un domaine professionnel ;
un type de vidéo ;
une esthétique particulière ;
ou un comportement précis.

Spécialiser un modèle peut également modifier son équilibre

Un modèle généraliste peut posséder des capacités relativement équilibrées :

photographie      ██████████
anime             ██████████
architecture      ██████████
animaux           ██████████
cinéma            ██████████

Après un entraînement très spécialisé, son comportement peut évoluer :

portraits anime   ███████████████
photographie      ███████
architecture      █████
animaux           ██████
cinéma            ███████

Le modèle peut être devenu meilleur dans le domaine recherché mais également être davantage orienté vers celui-ci.

Le résultat dépend notamment :

du dataset utilisé ;
de sa taille et de sa diversité ;
du nombre d’étapes d’entraînement ;
du learning rate ;
des couches du réseau modifiées ;
et de l’intensité du fine-tuning.

Le LoRA : une adaptation beaucoup plus légère

Le LoRA, pour Low-Rank Adaptation, permet de modifier le comportement d’un modèle sans devoir réentraîner et redistribuer l’intégralité de ses paramètres.

On peut schématiquement obtenir :

MODÈLE DE BASE
    20 Go
      +
    LoRA
   300 Mo
      ↓
comportement spécialisé

Les LoRA sont particulièrement appréciés dans des environnements comme ComfyUI parce qu’ils peuvent être :

beaucoup plus petits qu’un checkpoint complet ;
plus simples à entraîner ;
rapidement chargés ou retirés ;
associés à différents workflows ;
et utilisés avec différentes intensités.

Ils restent néanmoins dépendants du modèle ou de la famille de modèles sur lesquels ils ont été entraînés.

Que signifie « trained on unpruned model » ?

On peut par exemple trouver dans la documentation d’un LoRA :

V2 = trained on unpruned model
V1 = trained on pruned model

Cette indication précise principalement quelle variante du checkpoint de base a servi à l’entraînement du LoRA.

Elle ne signifie pas automatiquement que :

la version unpruned est de meilleure qualité ;
elle contient davantage de connaissances réellement utilisables ;
elle générera plus rapidement ;
elle ne comporte aucun watermark ;
elle serait libre de droits ;
ou que le LoRA produit nécessairement de meilleurs résultats.

Le terme décrit avant tout la provenance technique de l’adaptation.

Pruning et quantification ne sont pas la même chose

Une autre confusion fréquente consiste à assimiler pruning et quantification.

La quantification consiste principalement à réduire la précision numérique utilisée pour représenter les poids :

BF16
 ↓
FP8
 ↓
INT8
 ↓
INT4

Elle peut réduire fortement la RAM ou la VRAM nécessaire et parfois accélérer l’inférence.

Le pruning cherche plutôt à supprimer ou neutraliser certains paramètres ou certaines informations :

100 % des paramètres
       ↓
suppression / neutralisation
       ↓
moins de paramètres utiles

Les deux méthodes peuvent également être combinées.

Pruned, unpruned et fine-tune : quelles conséquences sur les droits d'auteur ?

Les notions de pruning, de quantification ou de fine-tuning posent également une question importante : que deviennent les droits associés au modèle et aux données ayant servi à son entraînement ?

Pruner un modèle n’efface pas son origine

Prenons un modèle entraîné à partir d’un ensemble de données :

DATASET
│
├── photographies
├── illustrations
├── textes
├── vidéos
└── autres œuvres
        ↓
     TRAINING
        ↓
   CHECKPOINT

Si ce checkpoint est ensuite transformé :

CHECKPOINT
    ↓
  PRUNING
    ↓
CHECKPOINT PRUNED

le pruning n’efface pas rétroactivement l’origine des données qui ont permis de construire le modèle.

Le même raisonnement vaut pour :

une conversion FP16 ou BF16 ;
une quantification FP8, INT8 ou INT4 ;
une conversion .ckpt vers .safetensors ;
une extraction de certains poids ;
une compression ;
un pruning ;
un merge de plusieurs modèles.

Aucune de ces opérations ne constitue une « purification juridique » du modèle.

Le fine-tuning ajoute même une nouvelle provenance

Lorsqu’un modèle est fine-tuné, il faut considérer non seulement le modèle initial mais également les nouvelles données utilisées :

MODÈLE DE BASE
│
├── licence
├── provenance
└── données initiales
        +
DATASET FINE-TUNE
│
├── images
├── vidéos
├── textes
└── droits associés
        ↓
    FINE-TUNE
        ↓
NOUVEAU CHECKPOINT

Il devient donc nécessaire d’examiner plusieurs éléments :

quelle est la licence du modèle de base ?
la modification du modèle est-elle autorisée ?
sa redistribution est-elle autorisée ?
quelles données ont servi au fine-tuning ?
quels droits sont associés à ces contenus ?
quelle licence accompagne le checkpoint obtenu ?
quelle licence accompagne le LoRA lorsqu’il est distribué séparément ?

Le simple fait qu’un modèle soit disponible sur Hugging Face, GitHub, Civitai ou une autre plateforme ne signifie pas automatiquement qu’il est utilisable sans restriction dans un contexte commercial.

Droit d’auteur et entraînement des IA en Europe

En Europe, la question doit notamment être examinée au regard des règles relatives à la fouille de textes et de données, ou Text and Data Mining.

Il serait incorrect de résumer la situation en affirmant :

« Toute utilisation d’une œuvre protégée pour entraîner une IA est interdite. »

Mais l’affirmation inverse serait tout aussi simplificatrice :

« Tout ce qui est accessible sur Internet peut librement être utilisé pour entraîner n’importe quel modèle. »

Les conditions d’accès aux œuvres, les licences, les éventuelles réservations de droits et la nature de l’exploitation doivent être prises en considération.

L’AI Act renforce l’intérêt de la traçabilité

Pour une utilisation professionnelle de l’intelligence artificielle, la question ne se limite donc plus aux performances du GPU.

Il devient pertinent de documenter toute la chaîne :

MODÈLE D'ORIGINE
        ↓
LICENCE
        ↓
CHECKPOINT
        ↓
PRUNING / QUANTIFICATION
        ↓
FINE-TUNING
        ↓
DATASET COMPLÉMENTAIRE
        ↓
LoRA / CHECKPOINT FINAL
        ↓
UTILISATION

Cette traçabilité permet notamment de connaître l’origine du modèle utilisé, les modifications qui lui ont été apportées et les conditions dans lesquelles il peut être exploité.

Quel modèle choisir en pratique ?

Type	Avantage principal	Limite	Usage
Unpruned	Conserve davantage d’informations du checkpoint	Fichier potentiellement plus lourd	Entraînement et fine-tuning
Pruned pour l’inférence	Checkpoint plus compact	Certaines informations d’entraînement peuvent manquer	Génération
Pruning structurel	Peut réduire les calculs	Risque potentiel de perte de qualité	Optimisation
Fine-tune complet	Forte spécialisation	Entraînement et distribution plus lourds	Modèle spécialisé
LoRA	Léger et interchangeable	Dépend du modèle de base	Personnalisation
Quantifié	Réduction RAM et VRAM	Possible perte de précision	Exécution locale

Le choix doit donc être réalisé en fonction de l’usage recherché et non à partir du seul poids du fichier.

Pour conclure sur : " Pruned, unpruned, fine-tune "

Pruned, unpruned et fine-tuned ne correspondent pas à trois niveaux de qualité d’un même modèle. Ces termes décrivent des opérations et des situations techniques différentes.

Un checkpoint pruned peut simplement avoir été débarrassé d’informations inutiles à l’inférence sans perdre de capacités perceptibles. Un checkpoint unpruned peut conserver davantage d’informations et se révéler intéressant pour certains travaux d’entraînement ou de fine-tuning.

Un fine-tune, en revanche, constitue une nouvelle étape d’apprentissage qui modifie ou spécialise les capacités du modèle. Un LoRA représente une manière plus légère d’effectuer cette adaptation.

Il faut surtout retenir trois principes :

le pruning ne supprime pas l’origine des données d’entraînement ;
la quantification ne modifie pas automatiquement les droits associés au modèle ;
le fine-tuning ne crée pas juridiquement un modèle totalement indépendant de son modèle de base.

Pour une entreprise utilisant des modèles d’intelligence artificielle localement, la question ne devrait donc plus être uniquement :

« Quel checkpoint est le plus rapide ? »

Il faut également se demander :

« D’où vient ce modèle, comment a-t-il été transformé, avec quelles données a-t-il été entraîné et avons-nous documenté cette chaîne ? »

La performance technique, la maîtrise locale des modèles, les licences et la traçabilité deviennent ainsi quatre dimensions indissociables d’une utilisation professionnelle et responsable de l’intelligence artificielle.

À retenir : la mention « trained on unpruned model » indique avant tout la variante du modèle de base utilisée pour l’entraînement. Elle ne signifie ni « sans watermark », ni « libre de droits », ni automatiquement « plus performant ».