Nierówność Rao-Craméra

Twierdzenie Craméra-Rao (zwane również nierównością Craméra-Rao lub nierównością informacyjną) podaje, jaki jest minimalny możliwy średniokwadratowy błąd estymatora (nie ma estymatorów, które miałyby mniejszy średni błąd kwadratowy).

W swojej najprostszej postaci nierówność stwierdza, że wariancja estymatora nieobciążonego jest nie mniejsza niż odwrotność informacji Fishera.

Następujące sformułowania nierówności wymienione są od najprostszej do bardziej ogólnej wersji. Wszystkie sformułowania wymagają pewnych warunków regularności spełnianych przez wiele „porządnych” rozkładów prawdopodobieństwa. Warunki te wymienione są poniżej.

Parametr skalarny, przypadek nieobciążony

Załóżmy, że jest nieznanym deterministycznym parametrem, który jest estymowany przy pomocy obserwacji z rozkładu prawdopodobieństwa o gęstości Wariancja dowolnego nieobciążonego estymatora parametru jest wtedy ograniczona z dołu przez odwrotność informacji Fishera

Przypomnijmy że informacja Fishera jest dana przez

Wtedy efektywność estymatora nieobciążonego jest zdefiniowana jako

czyli minimalna możliwa wariancja estymatora nieobciążonego podzielona przez rzeczywistą wariancję. Zatem na mocy twierdzenia mamy że

Parametr skalarny, przypadek ogólny

Bardziej ogólna postać ograniczenia może być otrzymana przez rozważanie nieobciążonego estymatora funkcji parametru Nieobiążoność rozumiemy w tym przypadku jako: Ograniczenie przyjmuje postać

gdzie jest pochodną i jest informacją Fishera zdefiniowaną powyżej.

Podobnie możemy otrzymać ograniczenie wariancji estymatora obciążonego z danym obciążeniem. Rozważmy estymator z obciążeniem i niech Na mocy powyższego wyniku, dowolny nieobciążony estymator o wartości oczekiwanej ma wariancję większą lub równą Zatem dowolny estymator o obciążeniu danym funkcją spełnia

Oczywiście, nieobciążona wersja ograniczenia jest szczególnym przypadkiem z

Przypadek wielowymiarowy

Aby rozszerzyć nierówność Craméra-Rao na przypadek wielowymiarowy, zdefiniujmy wektor parametrów

z funkcją gęstości prawdopodobieństwa spełniającą dwa warunki regularności poniżej.

Macierz informacji Fishera jest macierzą dla której element jest zdefiniowany jako

Niech będzie estymatorem dowolnej funkcji wektorowej parametrów, i oznaczmy jego wektor wartości oczekiwanej przez Wtedy nierówność Craméra-Rao stwierdza że macierz kowariancji dla spełnia

gdzie:

  • nierówność macierzy oznacza, że macierz jest nieujemnie określona,
  • jest macierzą, dla której th element jest dany przez

Jeśli nieobciążonym estymatorem (to znaczy, ), wtedy nierówność Craméra-Rao sprowadza się do

Warunki regularności

Następujące dwa słabe warunki regularności gęstości prawdopodobieństwa i estymatora są konieczne:

  • Informacja Fishera jest zawsze zdefiniowana; równoważnie takie że
istnieje i jest skończone.
  • Operacje calkowania po i różniczkowania ze względu na są przemienne; to znaczy,
wszędzie gdzie prawa strona jest skończona.