Méthodes d’estimation

Chapitre 3

Estimation ponctuelle et par intervalles

1. Introduction

Dans de nombreuses situations, un estimateur peut être trouvé d’une manière naturelle. Il en est ainsi lorsque le paramètre est, par exemple, une moyenne ou une proportion. Notons toutefois, que dans des cas compliqués, l’intuition ne suffit pas pour trouver des estimateurs. Il est alors utile de disposer de techniques permettant de donner quelques candidats raisonnables.  Au paragraphe suivant, nous allons présenter deux méthodes classiques d’estimation, à savoir la “méthode des moments” (MM) et la “méthode du maximum de vraisemblance” (MMV). Ces méthodes, comme toute autre méthode d’estimation, ne garantissent rien en ce qui concerne l’efficacité des estimateurs qu’elles fournissent. Les qualités des estimateurs feront l’objet d’un autre paragraphe.

Ce chapitre comporte trois parties. Dans la première nous présentons quelques méthodes pour trouver des estimateurs “ponctuels”, alors que dans la seconde nous en donnons quelques critères d’évaluation. La troisième partie est consacrée à l’estimation ensembliste.

Notations : Lorsqu’une loi de probabilité dépend d’un paramètre θ, on notera f (x; θ)  au lieu de fX (x). On notera également Pθ{.}, Eθ[.], Varθ(.) . . . etc. pour souligner que la loi de probabilité utilisée dépend de θ.

1. Méthodes  d’estimation

Comme nous l’avons mentionné ci-dessus, il est parfois facile de trouver un estimateur en se fiant à l’intuition. Par exemple la moyenne de l’échantillon est intuitivement un raisonnable estimateur pour la moyenne de la population. Mais une méthodologie, permettant de trouver des estimateurs, reste nécessaire pour faire face à des situation plus complexes.

1. Méthode des moments

Les origines de cette méthode remontent à Karl Pearson (1894). Elle est essentiellement basée sur la loi des grands nombres :

Considérons un échantillon X1, . . . , Xn issu d’une loi de probabilité de moyenne µ = E[X1] < ∞. On sait que X converge, avec probabilité un, vers µ. Ainsi x, une valeur observée de X, est une “bonne” approximation pour µ.[pic 1][pic 2]

La MM est une généralisation de cette idée. Soit g une fonction continue , on approche g(µ) par

g(x). Plus généralement, si[pic 3]

θ = g(µ1, µ2, . . . , µp),        où pour tout k ∈ {1, . . . , p}, µk = E[Xk].[pic 4]

alors on peut l’approcher par

θ^ = g(M1, M2, . . . , Mp),        où pour tout k ∈ {1, . . . , p},  Mk  =[pic 5][pic 6][pic 7]

Notation : Nous désignerons par θ^ un estimateur du paramètre θ.

i=1 Xk n

Exemple 1. Soit X1, . . . , Xn un échantillon issu d’une loi de probabilité dont la densité est donnée par[pic 8]

On a

f (x; θ) = θ xθ−1I]0,1[(x),        avec θ > 0.

E[X1] =

1

xf (x; θ)dx =[pic 9]

0

1

xθx[pic 10]

0

θ−1

   θ

dx =        .         

θ − 1

Ainsi θ = g(µ) = µ/(1 − µ) et donc son estimateur par la MM est θ^ = X/(1 − X)        o

Exemple  2.  Soit X1, . . . , Xn  un échantillon issu de la loi normale N (µ, σ2). On a E[X1]  =  µ  et

E[X2] = σ2 + µ2. Posons θ = (θ1, θ2) = (µ, σ2) et considérons la fonction g : (x1, x2) ›→ (x1, x2 − x2).[pic 11][pic 12][pic 13]

Selon les notations ci-dessus, puisque θ = g(E[X1], E[X2]), son estimateur par la MM est donné par[pic 14]

θ = g(M1, M2), i.e.                       [pic 15][pic 16]

θ^2        =  1 Σn        X2 − (X)2.        o[pic 17][pic 18][pic 19]

1. Méthode du maximum de vraisemblance

La méthode du maximum de vraisemblance (MMV) est de loin la méthode la plus utilisée pour exhiber des estimateurs. Rappelons qu’étant donné un échantillon issu d’une loi dont la pdf (ou pmf) est f (x, θ), on appelle “ fonction de vraisemblance ” la quantité

n[pic 20]

L(x1, . . . , xn, θ) =        f (xi; θ).

i=1

Afin de bien comprendre la motivation derrière la MMV, considérons un échantillon X1, . . . , Xn issu d’une loi de probabilité discrète de fmp f (x; θ) = Pθ{X1 = x} où θ est un paramètre inconnu. L’idée qui est à l’origine de cette méthode est la suivante :