La différence entre P (A | B) et la probabilité marginale P (A) dépend-elle des distributions de A et B? Par exemple, est-ce que j'apprends généralement plus si B est continu et exponentiel vs discret et uniforme?


Réponse 1:

[Edit: 17:33 EST - Désolé, j'étais pressé, donc j'ai été bâclé avec ma réponse, j'ai corrigé quelques moments discutables, comme appeler KL metric, quand ce n'est pas au sens strict en est un]

-Disclaimer- Je suppose que vous êtes intéressé par la relation P (A) et P (A | B), et essayez de vérifier si P (A) est "proche" de P (A | B) (la "différence" dans votre question ). Vous ne connaissez pas la forme de P (A | B) mais vous connaissez la forme de P (A) et P (B)

Votre hypothèse de modélisation est que P (B) est une distribution d'une certaine forme et que P (A) est une distribution d'une certaine forme. Vous demandez si vous pouvez:

1) calculer le P conditionnel (A | B) pour tout P (A) et P (B) arbitraire: - En général, pour toute forme de distribution arbitraire de marginaux ne dit pas grand-chose sur la forme du conditionnel, donc la réponse est non.

2) calculer la différence entre P (A | B) et P (A) en ne connaissant que P (A) et P (B) sans hypothèses de modélisation supplémentaires:

Une métrique appropriée (enfin, pas une vraie métrique, mais de toute façon utile) de dissimilarité de la distribution est la divergence KL, donc pour la calculer, vous devez connaître les deux distributions que vous souhaitez comparer.

Puisque vous ne connaissez pas P (A | B), vous ne pouvez pas calculer la divergence.