AureoleCentre d’aide›Choisir vos modèles
Travailler avec un modèle local
Un modèle local tourne sur votre Mac, avec Ollama ou LM Studio : ni clé, ni compte, ni facture, et votre conversation reste chez vous. Ce guide montre comment le relier à Aureole, et ce qu’il fait moins bien qu’un modèle en ligne.
- Installez Ollama ou LM Studio, téléchargez-y un modèle, et démarrez son serveur.
- Ouvrez Réglages›Fournisseurs›Local : Aureole y trouve vos modèles.
- Ils apparaissent dans l’onglet « Local » du sélecteur. Pas de recherche web avec eux.
Préparer le serveur
Installez Ollama ou LM Studio depuis leur site, puis téléchargez un modèle : avec Ollama, par exemple, la commande ollama pull suivie de son nom ; avec LM Studio, depuis sa recherche. Choisissez un modèle à la mesure de votre Mac : plus il est gros, plus il demande de mémoire, et plus il est lent.
Le relier à Aureole
Ouvrez Réglages›Fournisseurs›Local. Sous « Serveurs locaux », une carte Ollama est déjà prête, à l’adresse habituelle d’Ollama ; ici, son serveur n’est pas encore démarré :
Aureole interroge le serveur, et affiche le nombre de modèles trouvés. Si le serveur ne répond pas, « Démarrer le serveur » le lance pour vous.
Pour LM Studio, cliquez sur « Ajouter un serveur », nommez-le « LM Studio », et remplacez l’adresse par http://localhost:1234/v1. Tout serveur compatible OpenAI fonctionne de la même façon ; gardez le suffixe /v1.
Un modèle que vous venez de télécharger n’apparaît qu’après un passage dans ces réglages, ou un clic sur « Actualiser les modèles ».
Dans le sélecteur
Vos modèles apparaissent dans l’onglet « Local » du sélecteur, avec le nom de leur serveur. Ils n’ont pas de prix : ils ne coûtent rien.
Ce qu’un modèle local fait moins bien
- pas de recherche web : le globe est grisé ;
- les outils d’Aureole, seulement si le modèle les accepte ; sinon, il est marqué « Sans outils » et répond en simple conversation ;
- les images, seulement avec un modèle qui voit ; sinon, il reçoit le texte lu dans l’image ;
- les fichiers sont lus sur votre Mac, et c’est leur texte qu’il reçoit ;
- il répond plus lentement qu’un modèle en ligne, selon votre Mac.
Ce qui reste sur votre Mac. La conversation va de votre Mac à votre serveur local, sans passer par Internet. Un outil qui cherche une information en ligne, comme la météo, utilise le réseau, comme avec n’importe quel modèle. Et si votre serveur tourne sur une autre machine, c’est vers elle que part la conversation : « Ce que l’IA a reçu… » le dit, et vos souvenirs réservés aux modèles locaux ne lui sont pas montrés.
Si ça coince
« Serveur injoignable »
Le serveur n’est pas démarré, ou l’adresse est fausse. Cliquez sur « Démarrer le serveur », ou vérifiez l’adresse, avec son /v1.
Mon modèle n’apparaît pas dans le sélecteur
Ouvrez Réglages›Fournisseurs›Local, puis « Actualiser les modèles » : Aureole ne cherche les nouveaux modèles que là.
Le serveur local n’a pas répondu à temps
La demande est trop lourde pour ce modèle : essayez un modèle plus petit, ou une conversation plus courte.
« Démarrer le serveur » n’apparaît pas
Il ne sait lancer qu’Ollama ou LM Studio, installés sur ce Mac. Démarrez un autre serveur vous-même.
Il manque quelque chose à ce guide ? Dites-le-nous.