ElseNews

Outils pour utilisateurs

Outils du site

blog:ia_probabiliste_ou_stochastique

Sections



IA Probabiliste & Stochastique ?

Question :

Si comme tu le dis, “stochastique” est un “mélange” de hasard et de probabilité, les réponses de ChatGPT, sont elles stochastiques ou exclusivement probalistiques ?

Réponse ChatGPT :

Les réponses de ChatGPT sont générées à l'aide de modèles de langage qui combinent des éléments probabilistes et stochastiques.

Aspect probabiliste : Lors de la génération de texte, ChatGPT évalue la probabilité de chaque mot ou séquence de mots en fonction du contexte fourni. Ces probabilités sont calculées à partir des vastes ensembles de données sur lesquels le modèle a été entraîné, lui permettant de prédire les mots les plus susceptibles de suivre dans une phrase donnée.

Aspect stochastique : Pour introduire de la diversité et éviter des réponses trop répétitives ou déterministes, des techniques d'échantillonnage stochastique sont utilisées. Par exemple, l'échantillonnage top-k consiste à sélectionner aléatoirement le prochain mot parmi les k mots les plus probables, plutôt que de choisir systématiquement le mot le plus probable. Cette approche introduit une part de hasard contrôlé dans la génération de texte, rendant les réponses plus variées et naturelles.
CHATGPT

Ainsi, les réponses de ChatGPT résultent d'une combinaison de calculs probabilistes pour estimer les mots les plus appropriés et de mécanismes stochastiques pour introduire de la variabilité et de la créativité dans les réponses.

Peux détailler un peu plus les aspects "top-k", en effet, j'ai entendu parler aussi de "top-p" et de "temperature". Pourrait on en amont d'une question, d'un prompt, régler ces curseurs de "temperature", de "top-k" et de "top-p"

ChatGPT a dit :
ChatGPT
Dans les modèles de langage comme ChatGPT, les paramètres température, top-k et top-p permettent de contrôler la génération de texte en ajustant la créativité et la diversité des réponses.

Température : Ce paramètre contrôle le niveau de créativité du modèle. Une température basse (proche de 0) rend les réponses plus déterministes et conservatrices, tandis qu'une température élevée (proche de 1) introduit plus de diversité et de créativité. Par exemple, une température de 0,2 produira des réponses plus factuelles, tandis qu'une température de 0,8 générera des réponses plus variées et imaginatives.
ANAKIN : https://en.wikipedia.org/wiki/Top-p_sampling

Top-k : Cette méthode limite le choix du prochain mot aux k mots les plus probables. Par exemple, avec un top-k de 50, le modèle sélectionnera le prochain mot parmi les 50 options les plus probables, introduisant ainsi une part de hasard tout en évitant des choix improbables.
WIKIPÉDIA : https://en.wikipedia.org/wiki/Top-p_sampling

Top-p (ou échantillonnage par noyau) : Au lieu de fixer un nombre précis de mots comme avec top-k, top-p définit un seuil de probabilité cumulative. Le modèle sélectionne le prochain mot parmi les options dont la somme des probabilités atteint ce seuil. Par exemple, avec un top-p de 0,9, le modèle choisira parmi les mots dont les probabilités cumulées atteignent 90 %.
WIKIPÉDIA : https://en.wikipedia.org/wiki/Top-p_sampling

Concernant l'ajustement de ces paramètres avant de soumettre une requête, cela dépend de l'interface utilisée. Dans des environnements comme l'API d'OpenAI ou le Playground, il est possible de définir ces paramètres directement. Cependant, dans des interfaces utilisateur standard de ChatGPT, ces réglages ne sont généralement pas accessibles. Il est donc recommandé d'utiliser des plateformes qui offrent la possibilité de configurer ces paramètres pour adapter les réponses du modèle à vos besoins spécifiques.

Comment puis-je accéder au Playground ?

ChatGPT a dit :
ChatGPT
Pour accéder à l'OpenAI Playground, suivez ces étapes :

Créer un compte OpenAI :

Rendez-vous sur le site officiel d'OpenAI : https://openai.com/.
Cliquez sur “S'inscrire” et suivez les instructions pour créer votre compte.
Accéder au Playground :

Une fois connecté à votre compte, naviguez vers la section “Playground” en utilisant le lien suivant : https://platform.openai.com/playground.
Utiliser le Playground :

Dans cette interface, vous pouvez expérimenter avec différents modèles d'IA, ajuster des paramètres tels que la température, le top-k et le top-p, et observer comment ces ajustements influencent les réponses générées.
Veuillez noter que l'utilisation du Playground peut être soumise à des quotas ou des frais, en fonction de votre type de compte et de votre utilisation. Pour plus de détails, consultez la documentation officielle d'OpenAI.

https://platform.openai.com/playground (sur jmc947 avec pxxxxxxxx)

L'intelligence de la Question, prime sur celle de la réponse

Intégrer une dose d'aleatoire dans les réponses probalistiques

Comments



Connexion Send Feedback List & Search


etalon.jpg

× iphelper toolbox

you see this when javscript or css is not working correct

Untested
IP Address:
First usable:
Subnet:
Last usable:
CIDR:
Amount of usable:
Network address:
Reverse address:
Broadcast address:

 

blog/ia_probabiliste_ou_stochastique.txt · Dernière modification: 10/12/2024 de jeannot

Outils de la page