Hasard, probas et intuition du bit

Probabilité conditionnelle, sans piège

P(A|B) = probabilité de A sachant que B est arrivé. Test médical : même avec un test fiable, si la maladie est rare, la plupart des positifs sont des faux positifs. Inverser P(test|malade) en P(malade|test) exige la formule de Bayes (chapitre probas) : ne jamais confondre les deux sens.

Le bit = une réponse oui/non

Pièce équilibrée : 1 bit d'incertitude (une question oui/non pour savoir). Pièce truquée à 90 % pile : moins de surprise, moins d'un bit. L'entropie du chapitre statistiques mesure exactement cette surprise moyenne avec -log(p) : événement rare = grande surprise. Retenez juste l'intuition ici, les formules viendront avec la classification.