Entropia warunkowa

Entropia warunkowa – wartość używana w teorii informacji. Mierzy, ile wynosi entropia nieznanej zmiennej losowej jeśli wcześniej znamy wartość innej zmiennej losowej Zapisuje się ją jako i tak jak inne entropie mierzy w bitach.

Intuicyjnie entropia ta mierzy, o ile entropia pary zmiennych i jest większa od entropii samej zmiennej czyli ile dodatkowej informacji dostajemy na podstawie zmiennej jeśli znamy zmienną

Definicja

Formalnie dla dyskretnych zmiennych losowych i entropia warunkowana przez może być zdefiniowana jako:

gdzie:

A zatem:

Wzór ten można zapisać również jako:

W przypadku ciągłych rozkładów sumowanie należy zastąpić przez całkowanie:

gdzie oznacza funkcję gęstości prawdopodobieństwa pary zmiennych, a jest gęstością prawdopodobieństwa

Alternatywnie tę samą definicję można zapisać jako

gdzie oznacza entropię produktową i a oznacza entropię

Jeśli i są niezależne, poznanie nie daje żadnych informacji o Wtedy entropia warunkowa jest po prostu równa entropii

Z drugiej strony, jeśli jest funkcją to poznanie całkowicie determinuje wartość Wtedy

Własności

Dla dowolnych i zachodzi[1]:

(reguła łańcuchowa dla entropii)

(twierdzenie Bayesa dla entropii)

gdzie to informacja wzajemna między i Jeśli i zdarzeniami niezależnymi:

Pomimo iż wartość wyrażenia może być zarówno większa, jak i mniejsza od entropia warunkowa jest zawsze niewiększa niż Wartość równa jest zero w szczególnym przypadku, gdy jest funkcją zmiennej

Zobacz też

Przypisy

  1. Damian Niwiński, Michał Strojnowski, Marcin Wojnarski: Teoria informacji – materiały Wydziału MIM UW. [dostęp 2010-01-21].