Höhere Momente

Klassifizierung
Wir hatten im vorigen Unterkapitel vier spezielle erzeugende Funktionen diskutiert, nämlich (im folgenden beschränken wir uns auf den eindimensionalen Fall),

$$M_{x}(v) = \int_{-\infty}^{\infty} dx e^{vx} p(x)$$ (1)

$$M_{x-a}(v) = \int_{-\infty}^{\infty} dx e^{v(x-a)} p(x)$$ (2)

$$H_{x}(v) = ln M_{x}(v)$$ (3)

$$H_{x-a}(v) = ln M_{x-a}(v).$$ (4)

Hierbei haben wir die Abkürzung $a= <x>$ eingeführt, die wir in diesem Unterkapitel beibehalten werden. Wir definierten die Momente mit Hilfe der Ableitungen der erzeugenden Funktionen an der Stelle $v=0$:

$$m_{l} = M_{x}^{(l)}(0)$$ (5)

$$\mu_{l} = M_{x-a}^{(l)}(0)$$ (6)

$$h_{l} = H_{x}^{(l)}(0)$$ (7)

$$\eta_{l} = H_{x-a}^{(l)}(0).$$ (8)

Man kann also, und hier liegt das Besondere dieser Darstellung für die Simulation, eine Dichtefunktion $p(x)$ durch den vollständigen Satz von Momenten irgendeiner der erzeugenden Funktionen beschreiben. Wenn z.B. alle Momente $m_{l}, l=0,1,2,...,\infty$, gegeben sind, ist die Dichtefunktion $p(x)$ eindeutig bestimmt. Im folgenden werden wir noch einige Formeln herleiten zur Umrechnung eines Satzes von Momenten in irgendeinen der anderen Sätze (5) bis (8) von Momenten. Hierzu benötigen wir die folgenden zwei grundlegenden Relationen zwischen den erzeugenden Funktionen

$$M_{x-a}(v) = e^{-av} M_{x}(v)$$ (9)

$$H_{x-a}(v) = -av + H_{x}(v).$$ (10)

Normale und zentrale Momente
Wir benutzen die Gleichung (9),

$$M_{x-a}(v) = e^{-av} M_{x}(v).$$

Die erste und zweite Ableitungen lauten:

$$M'_{x-a}(v) = -a e^{-av} M_{x}(v) + e^{-av} M'_{x}(v),$$

$$M''_{x-a}(v) = a^{2} e^{-av} M_{x}(v) -2a e^{-av} M'_{x}(v) + e^{-av} M''_{x}(v).$$

Für $v=0$ erhalten wir

$$\mu_{0} = m_{0},$$ (11)

$$\mu_{1} = -a m_{0} + m_{1},$$ (12)

$$\mu_{2} = a^{2} m_{0} - 2a m_{1} + m_{2}.$$ (13)

In diesen Formeln ist zu beachten, daß $m_{0} = \mu_{0} = 1$ und $m_{1} = a$, sowie $\mu_{1} = 0$, daher

$$\mu_{0} = 1,$$

$$\mu_{1} = 0,$$

$$\mu_{2} = m_{2} - a^{2}.$$

Mit Hilfe der höheren Ableitungen und vollständigen Induktion erhält man die allgemeine Beziehung

$$\mu_{l} = \sum_{\nu=0}^{l} \left( \begin{array}{c} l \\ \nu \end{array}\right) (-a)^{\nu} m_{l-\nu}.$$ (14)

In diesem Fall hätte man dasselbe Ergebnis auch einfacher erhalten können durch Anwendung der Binominalformel auf die Beziehung

$$\mu_{l} = < (x-a)^{l} >.$$

Die umgekehrte Relation ist genauso einfach und kann über die Ableitungen der Relation

$$M_{x} = e^{av} M_{x-a}(v)$$ (15)

bestimmt werden. In diesem Fall ist es jedoch ebenfalls einfacher, mit Hilfe der Binominalformel und der Relation

$$m_{l} = < x^{l} > = < (a + (x-a))^{l} >$$

zu arbeiten. Das Ergebnis ist

$$m_{l} = \sum_{\nu=0}^{l} \left( \begin{array}{c} l \\ \nu \end{array}\right) a^{\nu} \mu_{l-\nu} .$$ (16)

Für $l=0,1,2$ ergeben sich die ersten Momente zu

$$m_{0} = \mu_{0},$$ (17)

$$m_{1} = a \mu_{0} + \mu_{1},$$ (18)

$$m_{2} = a^{2} \mu_{0} + 2a \mu_{1} + \mu_{2}.$$ (19)

In diesen Formeln ist zu beachten, daß $m_{0} = \mu_{0} = 1$ und $m_{1} = a$, sowie $\mu_{1} = 0$ ist, daher

$$m_{0} = 1,$$

$$m_{1} = a,$$

$$m_{2} = a^{2} + \mu_{2}.$$

Normale und logarithmische Momente
Differenziert man die Definitionsgleichung (3),

$$H_{x}(v) = ln M_{x}(v),$$

so findet man

$$M'_{x}(v) = H'_{x}(v) M_{x}(v),$$

$$M''_{x}(v) = H''_{x}(v) M_{x}(v) + H'_{x}(v) M'_{x}(v).$$

Für $v=0$ ergeben sich die ersten 3 Momente zu

$$m_{0} = 1,$$

$$m_{1} = h_{1} m_{0} = h_{1},$$

$$m_{2} = h_{2} m_{0} + h_{1} m_{1} = h_{2} + a h_{1}.$$

Durch Induktion erhält man leicht die allgemeine Beziehung

$$m_{l} = \sum_{\nu=0}^{l-1} \left( \begin{array}{c} l-1 \\ \nu \end{array}\right) m_{\nu} h_{l-\nu}.$$ (20)

Im Gegensatz zu (14) und (16) ist dieses eine Rekursions- Relation, da auf der rechten Seite der Gleichung neben den Momenten $h_{\nu}$ auch die Momente $m_{\nu}$ mit $\nu = 0,1,2,...,l-1$ auftreten. Da $m_{0}=1$ ist, kann man auch schreiben

$$m_{l} = h_{l} + \sum_{\nu=1}^{l-1} \left( \begin{array}{c} l-1 \\ \nu \end{array} \right) m_{\nu} h_{l-\nu}.$$ (21)

Diese Formulierung gestattet es uns, die Umkehrung sofort hinzuschreiben, nämlich

$$h_{l} = m_{l} - \sum_{\nu=1}^{l-1} \left( \begin{array}{c} l-1 \\ \nu \end{array} \right) m_{\nu} h_{l-\nu},$$ (22)

oder, für die ersten 3 Momente,

$$h_{0} = 0,$$

$$h_{1} = m_{1} = a,$$

$$h_{2} = m_{2} - h_{1} m_{1} = m_{2} - a^{2}.$$

Logarithmische und zentrale logarithmische Momente
Zur Umrechnung der normalen logarithmischen Momente in die zentralen logarithmischen Momente benutzen wir die Relation (10),

$$H_{x-a}(v) = -av + H_{x}(v).$$

Die Ableitungen sind trivial und ergeben

$$H'_{x-a}(v) = -a + H'_{x}(v),$$

$$H^{(l)}_{x-a}(v) = H^{(l)}_{x}(v) \; \; \; f''ur \; \; \; l \geq 2.$$

Daraus ergeben sich die Momente

$$\eta_{0} = h_{0} = 0,$$

$$\eta_{1} = h_{1} - a = 0,$$

$$\eta_{l} = h_{l} \; \; \; f''ur \; \; \; l \geq 2.$$

Die normalen logarithmischen und zentralen logarithmischen Momente sind also, bis auf $\eta_{1}$ bzw $h_{1}$ identisch gleich. Wir brauchen daher auf die normalen logarithmischen Momente nicht weiter einzugehen.

Zentrale und logarithmische Momente
Die zugrundeliegende Relation ist

$$H_{x-a}(v) = ln M_{x-a}(v).$$

Diese Beziehung ist, zumindest was die Ableitungen betrifft, vollkommen equivalent zu

$$H_{x}(v) = ln M_{x}(v).$$

Daher können wir das Ergebnis sofort aus den Formeln (20) und (22) übernehmen,

$$\mu_{l} = \eta_{l} + \sum_{\nu=1}^{l-1} \left( \begin{array}{c} l-1 \\ \nu \end{array} \right) \mu_{\nu} \eta_{l-\nu},$$ (23)

und

$$\eta_{l} = \mu_{l} - \sum_{\nu=1}^{l-1} \left( \begin{array}{c} l-1 \\ \nu \end{array} \right) \mu_{l} \eta_{l-\nu}.$$ (24)

Nachfolgend listen wir der Vollständigkeit halber die restlichen Beziehungen zwischen den verschiedenen Momenten. Diese Relationen können aus dem bisher gesagten ohne Schwierigkeiten hergeleitet werden.

$$\mu_{l} = h_{l} - a \mu_{l-1} + \sum_{\nu=1}^{l-1} \left( \b... ...array}{c} l-1 \\ \nu \end{array} \right) \mu_{\nu} h_{l-\nu},$$ (25)

$$m_{l} = \eta_{l} + a m_{l-1} + \sum_{\nu=1}^{l-1} \left( \be... ...array}{c} l-1 \\ \nu \end{array} \right) m_{\nu} \eta_{l-\nu}.$$ (26)

Momente einer Summe unabhängiger Veränderlicher
Wir hatten bereits die Verteilungsfunktion einer Summe $y=\sum_{\nu=1}^{n} x_{\nu}$ von unabhängigen Veränderlichen $x_{\nu}$ diskutiert. Für den Fall, daß die Dichtefunktionen aller Veränderlichen $x_{\nu}$ gleich waren, fanden wir die Formel für die logarithmisch erzeugende Funktion,

$$H_{y}(v) = n H_{x}(v).$$ (27)

Im Grenzfall $n \to \infty$ ergab sich, daß $y$ einer Normalverteilung gehorcht, egal, welcher Verteilungsfunktion die unabhängigen Veränderlichen $x_{\nu}$ gehorchen. Außerdem hatten wir bei der Diskussion der Faltung von Verteilungen bereits ein Verfahren angegeben, wie man für beliebige Anzahlen $n$ von unabhängigen Veränderlichen die Verteilung der Summe $y$ berechnen kann. Dieses ist jedoch (siehe (4.00)) ein relativ kompliziertes Integral. Ein eleganteres Verfahren soll in diesem Absatz besprochen werden.

Um die Dichtefunktion $q(y)$ für verschiedene Anzahlen $n$ von unabhängigen Veränderlichen $x_{\nu}, \nu=1,2,...,n,$ vergleichen zu können, führen wir zunächst eine Variablen- Transformation durch,

$$z = \frac{y-an}{\sqrt{n}} \; \;. \; oder \; \; \; y = z \sqrt{n} + an$$ (28)

mit $a= <x>$. Die Dichtefunktion von $z$ ist dann durch

$$r(z) = \sqrt{n} q(z \sqrt{n} + an)$$ (29)

gegeben. Die erzeugende Funktion von $r(z)$ ist

$$M_{z}(v) = \int_{-\infty}^{\infty} dz e^{vz} r(z).$$

Wir führen wieder $y$ als Integrationsvariable ein und erhalten

$$M_{z}(v) = \int_{-\infty}^{\infty} dy e^{v(y-an)/\sqrt{n}} q... ...-av \sqrt{n}} \int_{-\infty}^{\infty} dy e^{vy/\sqrt{n}} q(y).$$

Damit erhalten wir eine Beziehung zwischen den erzeugenden Funktionen von $y$ und $z$:

$$M_{z}(v) = e^{-av \sqrt{n}} M_{y}(v/\sqrt{n}).$$ (30)

Diese Gleichung kann man linearisieren, indem wir zur logarithmisch erzeugenden Funktion übergehen,

$$H_{z}(v) = -av \sqrt{n} + H_{y}(v/\sqrt{n}) = -av \sqrt{n} + n H_{x}(v/\sqrt{n}).$$

Im letzten Schritt sind wir noch von der erzeugenden Funktion von $y$ auf die erzeugende Funktion von $x$ übergegangen. Die Ableitungen dieser letzten Gleichung ergeben

$$H'_{z}(v) = -a \sqrt{n} + \sqrt{n} H'_{x}(v/\sqrt{n}),$$

$$H^{(l)}_{z}(v) = n^{1-l/2} H^{(l)}_{x}(v/\sqrt{n}) \; \; \; f''ur \; \; \; l \geq 2.$$

Bezeichnen wir mit $h_{l,z}$ und $h_{l,x}$ die logarithmischen Momente von $z$ und $x$, so ergibt sich

$$h_{0,z} = 0,$$

$$h_{1,z} = 0,$$

$$h_{l,z} = n^{1-l/2} h_{l,x} \; \; \; f''ur \; \; \; l \geq 2.$$

Für $n \to \infty$ verschwinden also alle logarithmischen Momente $h_{l,z}$ mit $l \geq 3$ der Veränderlichen $z$. Das einzige nichtverschwindende Moment ist

$$h_{2,z} = m_{2,z} = \frac{1}{n} <(y-an)^{2}> = \sigma_{y}^{2}.$$

Die logarithmisch erzeugende Funktion ist für $n \to \infty$

$$H_{z}(v) = \sigma_{y}^{2} v^{2},$$

und die erzeugende Funktion

$$M_{z}(v) = e^{\sigma_{y}^{2} v^{2}},$$

woraus man sofort die Verteilungsfunktion $r(z)$ von $z$ ablesen kann,

$$r(z) = \frac{1}{\sqrt{2 \pi} \sigma_{y}} e^{-z^{2}/[2 \sigma_{y}^{2}]}.$$ (31)

Wir möchten in diesem Zusammenhang aber ausdrücklich darauf hinweisen, daß man nur im Grenzfall $n \to \infty$ eine Normalverteilung erhält. Für endliche Werte von $n$ muß der Fehler, den man bei Vernachlässigung der logarithmischen Momente mit $l \geq 3$ macht, genau abgeschätzt werden.

Faltung unabhängiger Gleichverteilungen
Als Beispiel diskutieren wir die Summe von $n$ Veränderlichen $x_{1}, x_{2}, ..., x_{n}$ aus Gleichverteilungen im Intervall $[-\frac{1}{2}, + \frac{1}{2}]$. Die Dichtefunktionen lauten

$$p(x_{\nu}) = \{ \begin{array}{ll} 1 & f''ur \; \; \; -\frac{1}{2} \leq x \leq \frac{1}{2}, \\ 0 & sonst. \end{array}$$

Die Erwartungswerte sind offensichtlich $<x_{\nu}> \equiv a = 0$. Gesucht sind daher die Dichtefunktionen der Veränderlichen

$$y = x_{1} + x_{2} + .... + x_{n}$$

bzw.

$$z = \frac{1}{\sqrt{n}} y = \frac{1}{\sqrt{n}} (x_{1} + x_{2} + ... + x_{n}).$$

Die erzeugende Funktion der Veränderlichen $x$ ist

$$M_{x}(v) = \int_{-1/2}^{+1/2} dx e^{vx} = \frac{sinh(v/2)}{(v/2)}.$$ (32)

Wir hatten die folgende Beziehung zwischen den logarithmisch erzeugenden Funktionen von $z, y$ und $x$:

$$H_{z}(v) = H_{y}(\frac{v}{\sqrt{n}}) = n H_{x}(\frac{v}{\sqrt{n}})$$ (33)

Wir könnten jetzt die Ableitungen rechnen und die logarithmischen Momente von $y$ und $z$ bestimmen. In diesem Fall sind die Ableitungen jedoch ziemlich kompliziert. Wir gehen daher anders vor und bestimmen zunächst die Momente der Veränderlichen $x$. Aus

$$m_{x,l} = \int_{-1/2}^{+1/2} dx x^{l} = \{ \begin{array}{cl}... ...\; l = gerade, \\ 0 & f''ur \; \; \; l = ungerade, \end{array}$$

und der Rekursionsrelation (22),

$$h_{x,l} = m_{x,l} - \sum_{\nu=1}^{l-1} \left( \begin{array}{c} l-1 \\ \nu \end{array} \right) m_{x,\nu} h_{x,l-\nu}$$

ergibt sich der Reihe nach für die ersten 4 Momente

$$h_{x,1} = 0$$

$$h_{x,2} = \frac{1}{12}$$

$$h_{x,3} = 0$$

$$h_{x,4} = - \frac{1}{120}.$$

Wir können also ohne großen Fehler setzen:

$$H_{x}(v) = \frac{1}{24} v^{2} - \frac{1}{2880} v^{4} + .....$$

Daher ist

$$H_{y}(v) = n H_{x}(v) = \frac{n}{24} v^{2} - \frac{n}{2880} v^{4} + ....$$ (34)

und

$$H_{z}(v) = H_{y}(\frac{v}{\sqrt{n}}) = \frac{1}{24} v^{2} - \frac{1}{2880 n} v^{4} + .....$$

Simulation der Normalverteilung
Auf diesem Ergebnis aufbauend erschließt sich uns eine sehr einfache Simulation der Normalverteilung. Die höheren Momente von $y$ und $z$ sind außerordentlich klein, außer für $h_{2,y}$ und $h_{2,z}$,

$$h_{2,y} = \sigma_{y}^{2} = \frac{n}{12},$$

$$h_{2,z} = \sigma_{z}^{2} = \frac{1}{12}.$$

Generiert man also $n$ gleichverteilte Zufallszahlen aus dem Intervall $[-\frac{1}{2}, + \frac{1}{2}]$ und bildet die Summe

$$y = x_{1} + x_{2} + .... + x_{n},$$

so ist $y$ näherungsweise normalverteilt mit dem Erwartungswert $<y> = 0$ und der Varianz $\sigma_{y} = \sqrt{n/12}$. Wählt man also $n=12$, so erhält man eine Normalverteilung mit der Varianz $\sigma_{y}=1$.