AirLLM : ton ChatGPT en local avec 4 Go de VRAM (guide d'installation)

Le guide d'installation d'AirLLM, le dépôt GitHub et le modèle à choisir selon ton PC pour avoir ton ChatGPT en local, gratuit et hors ligne.

Le dépôt

Tout est gratuit et en libre accès ici : https://github.com/lyogavin/airllm

Le principe : au lieu de charger le modèle entier d'un coup dans ta carte graphique, AirLLM le charge couche par couche. Le modèle fait 61 couches, ta carte fait 4 Go, et chaque couche passe l'une après l'autre. C'est comme ça que Kimi K3 et ses 2 800 milliards de paramètres tournent avec seulement 4 Go de VRAM, soit 7 pour cent de la carte.

Installation

pip install airllm

Lancer ton premier modèle

from airllm import AutoModel

MAX_LENGTH = 128
model = AutoModel.from_pretrained("garage-bAInd/Platypus2-70B-instruct")

input_text = [
        'What is the capital of United States?',
    ]

input_tokens = model.tokenizer(input_text,
    return_tensors="pt",
    return_attention_mask=False,
    truncation=True,
    max_length=MAX_LENGTH,
    padding=False)

generation_output = model.generate(
    input_tokens['input_ids'].cuda(),
    max_new_tokens=20,
    use_cache=True,
    return_dict_in_generate=True)

output = model.tokenizer.decode(generation_output.sequences[0])

print(output)

Tu remplaces simplement le nom du modèle dans from_pretrained par celui que tu veux faire tourner.

Quelle IA choisir selon ton PC

Ta carte graphique	Le modèle à viser	Ce que tu obtiens
4 Go de VRAM	Llama 70B	Un assistant généraliste très solide, en local
4 Go de VRAM	Qwen 3	Excellent en multilingue et en français
8 Go de VRAM	DeepSeek V3	Le meilleur rapport raisonnement / code
Carte pro	Kimi K3	La plus grosse IA du monde, chez toi

Dans tous les cas, c'est 4 Go de VRAM au minimum, et un PC de bureau normal suffit.

Les trois étapes, dans l'ordre

Installe AirLLM avec la commande ci-dessus.
Choisis ton modèle dans le tableau et colle son nom dans le script.
Lance le script une première fois : le modèle se télécharge, puis il se découpe en couches.

Le premier lancement est le plus long, parce que le modèle se télécharge et se prépare. Ensuite, tu relances quand tu veux.

Ce que ça change pour toi

Pas d'abonnement à 25 euros par mois, ni chez ChatGPT Plus ni chez Claude.
Pas de limite de messages : tu discutes autant que tu veux.
100 pour cent hors ligne, donc tes données ne sortent jamais de ton ordinateur.
Gratuit à vie.

Ce sera plus lent qu'une IA en ligne, il faut être clair, mais c'est illimité et c'est chez toi.

Une question sur ton installation ou sur le modèle à choisir ? Réponds directement à ce message privé, je te réponds.