Comparaison IA
Modèle local ou API
Un modèle local garde données et versions sous votre contrôle, au prix du matériel et de l’exploitation ; une API hébergée offre de plus grands modèles sans serveur, payés au token.
| Aspect | Modèle local | API hébergée |
|---|---|---|
| Où vont les données | Restent sur vos machines | Envoyées au fournisseur |
| Forme du coût | Matériel et énergie, utilisés ou non | Au token, seulement à l’usage |
| Taille du modèle | Limitée par votre mémoire | Jusqu’aux plus grands disponibles |
| Changements de version | Seulement quand vous le décidez | Quand le fournisseur met à jour ou retire un modèle |
Choisir Modèle local quand
- Les données ne doivent pas quitter votre réseau
- L’usage est régulier et assez élevé pour occuper le matériel
- Il vous faut une version fixe longtemps
Choisir API hébergée quand
- Il vous faut les modèles les plus puissants
- L’usage est faible ou irrégulier
- Vous ne voulez pas exploiter de serveurs d’inférence
L’apprendre par la pratique
Ces leçons gratuites l’enseignent avec des commandes à lancer dans un lab et des tâches corrigées. Elles se lisent en entier sans compte.
Termes liés
- Modèle local
- Un modèle local est un modèle de langage qui tourne sur du matériel que vous contrôlez, portable, serveur ou machine cloud à vous, plutôt que derrière l’API d’un autre.
- Poids ouverts
- Un modèle à poids ouverts est un modèle dont les paramètres entraînés sont publiés au téléchargement, pour le faire tourner, l’examiner et l’ajuster chez soi.
- Quantification
- La quantification stocke les poids d’un modèle sur moins de bits, par exemple 4 au lieu de 16, pour qu’il prenne moins de mémoire et aille plus vite, avec une légère perte de qualité.