Erzeugende Funktionen

Definitionen
Wir hatten in einem früheren Teil dieses Tutorials bereits die Erwartungswerte von irgendwelchen Potenzen der zufälligen Veränderlichen $\vec{x}=(x_{1},x_{2},...,x_{n})$ definiert, und zwar

$$< x_{1}^{j_{1}} x_{2}^{j_{2}} \cdot \cdot \cdot x_{n}^{j_{n}... ...{2}} \cdot \cdot \cdot x_{n}^{j_{n}} p(x_{1},x_{2},...,x_{n}).$$ (1)

Ähnlich wurden die zentralen Momente definiert. Diese Definitionen lassen sich weiter verallgemeinern. Sei $f(\vec{x})$ irgendeine Funktion des Vektors $\vec{x}$, so definieren wir den verallgemeinerten Erwartungswert der Größe $f(\vec{x})$ in der Verteilung $p(\vec{x})$ als

$$< f(\vec{x}) > = \int_{-\infty}^{\infty} d\vec{x} f(\vec{x}) p(\vec{x}).$$ (2)

Diese Definition schließt den oben angegebenen Erwartungswert mit

$$f(\vec{x}) = x_{1}^{j_{1}} x_{2}^{j_{2}} \cdot \cdot \cdot x_{n}^{j_{n}}$$

offensichtlich ein.

Wir definieren jetzt die allgemeine erzeugende Funktion durch

$$M_{\vec{g}(\vec{x})}(\vec{v}) = \int_{-\infty}^{\infty} d\vec{x} e^{\vec{v} \vec{g}(\vec{x})} p(\vec{x}) ,$$ (3)

wobei $\vec{x}=(x_{1},x_{2},...,x_{n})$ ein zufälliger Vektor der Dimension $n$, $\vec{v}=(v_{1},v_{2},...,v_{m})$ und $\vec{g}(\vec{x}) = (g_{1}(\vec{x}),g_{2}(\vec{x}),...,g_{m}(\vec{x}))$ komplexe oder reelle Vektoren der Dimension $m$ sind. Die Dimensionen von $\vec{x}$ und $\vec{v}$ bzw $\vec{g}$ brauchen insbesondere nicht übereinzustimmen. Man schreibt die Funktion $\vec{g}(\vec{x})$, mit deren Hilfe die erzeugende Funktion definiert wird, als unteren Index an das Funktionssymbol $M$. Ein Vergleich der Formeln (2) und (3) zeigt, daß

$$M_{\vec{g}(\vec{x})}(\vec{v}) = < e^{\vec{v} \vec{g}(\vec{x})} > .$$ (4)

Entwickelt man die Exponentialfunktion in eine Reihe, so folgt sofort die wichtige Formel

$$M_{\vec{g}(\vec{x})}(\vec{v}) = \sum_{j_{1},j_{2},...,j_{m}=... ...}^{j_{2}}(\vec{x}) \cdot \cdot \cdot g_{m}^{j_{m}}(\vec{x}) >.$$ (5)

Die erzeugende Funktion kann als Reihenentwicklung dargestellt werden, deren Entwicklungskoeffizienten die Momente der Funktionen $g_{1}(\vec{x}), g_{2}(\vec{x}), ..., g_{m}(\vec{x})$ sind. Man nennt $M$ daher auch häufig die Moment- erzeugende Funktion. In dieser wohl allgemeinsten Form verwendet man die erzeugenden Funktionen allerdings selten.

Klassifizierung
In den Anwendungen hat man es vorzugsweise mit den folgenden erzeugenden Funktionen zu tun. Die Bezeichnungen sind in der Literatur nicht immer eindeutig. Man muß daher immer auf die exakte mathematische Definition zurückgehen.

1. Erzeugende Funktion im engeren Sinne $(\vec{g}(\vec{x}) = \vec{x})$:

$$M_{\vec{x}}(\vec{v}) = \int_{-\infty}^{\infty} d\vec{x} e^{\vec{v} \vec{x}} p(\vec{x}),$$ (6)

wobei $\vec{v}$ ein Vektor komplexer Zahlen ist. Diese Funktionaltransformation ist, bis auf das Vorzeichen im Exponenten, identisch mit der (zweiseitigen) Laplace- Transformation.

2. Charakteristische Funktion $(\vec{g}(\vec{x}) = i \vec{x})$:

$$M_{i \vec{x}}(\vec{v}) = \int_{-\infty}^{\infty} d\vec{x} e^{i \vec{v} \vec{x}} p(\vec{x}),$$ (7)

wobei $\vec{v}$ ein Vektor reeller Zahlen ist. Es ist unschwer zu erkennen, daß diese Funktionaltransformation, bis auf das Vorzeichen im Exponenten, die Fourier- Transformierte der Dichtefunktion $p(\vec{x})$ ist.

3. Zentrale erzeugende Funktion $(\vec{g}(\vec{x}) = \vec{x} - < \vec{x} >)$:

$$M_{\vec{x}-<\vec{x}>}(\vec{v}) = \int_{-\infty}^{\infty} d\vec{x} e^{\vec{v}(\vec{x}-<\vec{x}>)} p(\vec{x}),$$ (8)

wobei $<\vec{x}> = (<x_{1}>,<x_{2}>,...,<x_{n}>)$ der Erwartungswert des zufälligen Vektors $\vec{x}$ ist. Da $<\vec{x}>$ eine Konstante im Integral ist, kann $e^{-\vec{v} <\vec{x}>}$ vor das Integralzeichen gezogen werden, sodaß man die wichtige Beziehung zwischen der normalen erzeugenden Funktion und der zentralen erzeugenden Funktion,

$$M_{\vec{x}-<\vec{x}>}(\vec{v}) = e^{-\vec{v} <\vec{x}>} M_{\vec{x}}(\vec{v})$$ (9)

erhält. Die Umkehrung dieser Beziehung lautet

$$M_{\vec{x}}(\vec{v}) = e^{\vec{v} <\vec{x}>} M_{\vec{x}-<\vec{x}>}(\vec{v}).$$ (10)

4. Zentrale charakteristische Funktion $(\vec{g}(\vec{x}) = i(\vec{x}-<\vec{x}>))$:

$$M_{i(\vec{x}-<\vec{x}>)}(\vec{v}) = \int_{-\infty}^{\infty} d\vec{x} e^{i \vec{v}(\vec{x}-<\vec{x}>)} p(\vec{x}).$$ (11)

Auch hier kann man leicht die Verbindung mit der normalen charakteristischen Funktion herstellen:

$$M_{i(\vec{x}-<\vec{x}>)}(\vec{v}) = e^{-i \vec{v} <\vec{x}>} M_{i \vec{x}}(\vec{v}).$$ (12)

Die Umkehrung lautet

$$M_{i\vec{x}}(\vec{v}) = e^{i \vec{v} <\vec{x}>} M_{i(\vec{x}-<\vec{x}>)}(\vec{v}).$$ (13)

Für alle vier soeben definierten Funktionaltransformationen kann die Reihenentwicklung in der Form (siehe auch (5))

$$M_{\vec{g}(\vec{x})}(\vec{v}) = \sum_{j_{1},j_{2},...,j_{n}=... ...j_{1}! j_{2}! \cdot \cdot \cdot j_{n}!} m_{j_{1}j_{2}...j_{n}}$$ (14)

geschrieben werden, mit den Momenten

1. $\vec{g}(\vec{x}) = \vec{x}$:

$$m_{j_{1}j_{2}...j_{n}} = <x_{1}^{j_{1}} x_{2}^{j_{2}} \cdot \cdot \cdot x_{n}^{j_{n}} >.$$ (15)

2. $\vec{g}(\vec{x}) = i \vec{x}$:

$$m_{j_{1}j_{2}...j_{n}} = i^{j_{1}+j_{2}+...+j_{n}} < x_{1}^{j_{1}} x_{2}^{j_{2}} \cdot \cdot \cdot x_{n}^{j_{n}} > .$$ (16)

3. $\vec{g}(\vec{x}) = \vec{x}-<\vec{x}>$:

$$\mu_{j_{1}j_{2}...j_{n}} = <(x_{1}-<x_{1}>)^{j_{1}} (x_{2}-<x_{2}>)^{j_{2}} \cdot \cdot \cdot (x_{n}-<x_{n}>)^{j_{n}} >.$$ (17)

4. $\vec{g}(\vec{x}) = i(\vec{x}-<\vec{x}>)$:

$$\mu_{j_{1}j_{2}...j_{n}} = i^{j_{1}+j_{2}+...+j_{n}} <(x_{1}... ...-<x_{2}>)^{j_{2}} \cdot \cdot \cdot (x_{n}-<x_{n}>)^{j_{n}} >.$$ (18)

Die unter Punkt 3 und 4 aufgeführten zentralen Momente bezeichnen wir im folgenden mit $\mu_{j_{1}j_{2}...j_{n}}$ statt mit $m_{j_{1}j_{2}...j_{n}}$. Aus den Reihenentwicklungen ersieht man insbesondere, daß für die Laplace Transformierte $M_{\vec{x}}(\vec{v})$ gilt

$$m_{j_{1}j_{2}...j_{n}} = \frac{\partial^{j_{1}+j_{2}+...+j_{... ...\cdot \cdot \cdot \partial v_{n}^{j_{n}}} \vert _{\vec{v}=0} ,$$ (19)

sowie für die Fourier- Transformierte $M_{i\vec{x}}(\vec{v})$:

$$m_{j_{1}j_{2}...j_{n}} = i^{j_{1}+j_{2}+...+j_{n}} \frac{\p... ...\cdot \cdot \cdot \partial v_{n}^{j_{n}}} \vert _{\vec{v}=0}.$$ (20)

Ähnliche Ausdrücke kann man für die zentralen Momente hinschreiben. Im folgenden werden wir mit den erzeugenden und zentralen erzeugenden Funktionen arbeiten. Es ist nicht schwierig, die Formulierung einer Aufgabe mit Hilfe der charakteristischen Funktion durchzuführen. Dieses überlassen wir dem Leser. Auch könnten wir die normale Laplace- Transformation

$$M_{-\vec{x}}(\vec{v}) = \int_{-\infty}^{\infty} d\vec{x} e^{-\vec{v} \vec{x}} p(\vec{x})$$

oder die normale Fourier- Transformation

$$M_{-i\vec{x}}(\vec{v}) = \int_{-\infty}^{\infty} d\vec{x} e^{-i\vec{v} \vec{x}} p(\vec{x})$$

benutzen. Bis auf Faktoren $(-1)^{j}$ ergibt sich dasselbe wie bei den erzeugenden und charakteristischen Funktionen.

Als letztes bemerken wir noch, daß im Falle einer diskreten Veränderlichen $\vec{k} = (k_{1},k_{2},...,k_{n})$ mit der Wahrscheinlichkeitsverteilung $P(k_{1},k_{2},...,k_{n})$ alle Formeln und Definitionen erhalten bleiben, sofern man das Integralzeichen durch ein Summenzeichen ersetzt:

$$\int d\vec{x} \to \sum_{\vec{k}} \equiv \sum_{k_{1},k_{2},...,k_{n}}.$$ (21)

Beispiel.
Die Gleichverteilung im Intervall $[0,1]$,

$$p(x) = \{ \begin{array}{cl} 1 & \; \; \; f''ur \; 0 \leq x \leq 1 \\ 0 & \; \; \; sonst \end{array}$$

hat die erzeugende Funktion

$$M_{x}(v) = \int_{0}^{1} dx e^{vx} = \frac{1}{v} [e^{v}-1],$$

und die zentrale erzeugende Funktion

$$M_{x-1/2}(v) = e^{-v/2} M_{x}(v) = \frac{1}{v} [e^{v/2} - e^{-v/2}] = \frac{sinh(v/2)}{(v/2)}.$$

Man beachte, daß, obwohl $x$ nur im Intervall $[0,1]$ gegeben war, die erzeugende Funktion in der gesamten komplexen Zahlenebene definiert ist.

Beispiel.
Die allgemeine eindimensionale Normalverteilung

$$p(x) = \frac{1}{\sqrt{2\pi} \sigma} e^{-(x-a)^{2}/2\sigma^{2}}$$

hat die erzeugende Funktion

$$M_{x}(v) = e^{av + \frac{1}{2} \sigma^{2} v^{2}}$$

und die zentrale erzeugende Funktion

$$M_{x-a}(v) = e^{-av} M_{x}(v) = e^{\frac{1}{2} \sigma^{2} v^{2}}.$$

Dieses Ergebnis läßt sich relativ einfach auf die $n$-dimensionale Normalverteilung verallgemeinern. Wir schreiben sie in der Form

$$p(\vec{x}) = C e^{-\frac{1}{2} \sum_{\nu\mu=1}^{n} A_{\nu\mu} (x_{\nu}-a_{\nu}) (x_{\mu}-a_{\mu})}$$

mit

$$C = \frac{\sqrt{det A}}{(2\pi)^{n/2}}.$$

Hierbei sind die Erwartungswerte und die Kovarianzmatrix durch

$$<x_{\mu}-a_{\mu}> = 0$$

$$<(x_{\nu}-a_{\nu})(x_{\mu}-a_{\mu})> = (A^{-1})_{\nu\mu}$$

gegeben. Alle höheren Momente sind identisch gleich Null. Man beachte, daß im Exponenten der Verteilung die Elemente der inversen Kovarianzmatrix stehen. Man kann nun leicht zeigen, daß die zentrale erzeugende Funktion durch

$$M_{\vec{x}-\vec{a}}(\vec{v}) = e^{\frac{1}{2} \sum_{\nu\mu=1}^{n} (A^{-1})_{\nu\mu} v_{\nu} v_{\mu}}$$

gegeben ist. Dazu bilden wir die partiellen Ableitungen und beachten, daß

$$<(x_{1}-a_{1})^{j_{1}} (x_{2}-a_{2})^{j_{2}} \cdot \cdot \cd... ...artial v_{2}^{j_{2}} \cdot \cdot \cdot \partial v_{n}^{j_{n}}}$$

sein sollte. Vergleich mit den oben angegebenen Erwartungswerten und den Elementen der Kovarianzmatrix ergibt den Beweis. Die normale erzeugende Funktion ist

$$M_{\vec{x}}(\vec{v}) = e^{\vec{a} \vec{v} + \frac{1}{2} \sum_{\nu\mu=1}^{n} (A^{-1})_{\nu\mu} v_{\nu} v_{\mu}} .$$

Beispiel.
Für die Exponentialverteilung

$$p(x) = \frac{1}{\tau} e^{-x/\tau}, \; \; \; x \geq 0,$$

erhält man

$$M_{x}(v) = \frac{1}{\tau} \int_{0}^{\infty} dx e^{(v-\frac{1}{\tau})x}.$$

Dieses Integral ist nur für $v<\frac{1}{\tau}$ lösbar und ergibt

$$M_{x}(v) = \frac{1}{1-v\tau} \; \; \; f''ur \; v\tau < 1.$$

Die zentrale erzeugende Funktion wird daher

$$M_{x-\tau}(v) = \frac{e^{-v\tau}}{1-v\tau}.$$

Eine Verallgemeinerung der Exponentialverteilung ist die $\Gamma$- Verteilung,

$$p(x) = \frac{1}{\tau^{n+1}} x^{n} \frac{e^{-x/\tau}}{n!}.$$

Die Exponentialverteilung folgt hieraus als Spezialfall für $n=0$. Durch Integration erhält man die erzeugende Funktion zu

$$M_{x}(v) = \frac{1}{(1-v\tau)^{n+1}}.$$

Das Maximum der $\Gamma$- Verteilungt liegt an der Stelle $x_{max}=n\tau$. Wir entwickeln den Logarithmus der $\Gamma$- Verteilung in eine Reihe. Für $x_{max} = n\tau \gg 1$ erhält man die Näherung

$$ln p(x) \approx -\frac{1}{2 \tau^{2} n} (x-n\tau)^{2} + C.$$

Für $n\tau \gg 1$ kann die $\Gamma$- Verteilung also durch eine Normalverteilung mit Mittelwert $<x> = n\tau$ und Varianz $\sigma = \tau \sqrt{n}$ approximiert werden.

Beispiel.
Die Bernoulli- Verteilung

$$P(k) = \left( \begin{array}{c} n \\ k \end{array} \right) p^{k} (1-p)^{n-k}$$

hat die erzeugende Funktion

$$M_{k}(v) = \sum_{k=0}^{\infty} e^{vk} P(k) = [1+(e^{v}-1)p]^{n}$$

und die zentrale erzeugende Funktion

$$M_{k-np}(v) = e^{-npv}[1+(e^{v}-1)p]^{n}.$$

Beispiel.
Als letztes Beispiel geben wir noch die erzeugende Funktion der Poisson- Verteilung. Aus

$$M_{k}(v) = e^{-a} \sum_{k=0}^{\infty} e^{vk} \frac{a^{k}}{k!... ...sum_{k=0}^{\infty} \frac{(ae^{v})^{k}}{k!} = e^{-a} e^{ae^{v}}$$

folgt

$$M_{k}(v) = e^{a(e^{v}-1)}.$$

und

$$M_{k-a}(v) = e^{a(e^{v}-v-1)}.$$

Summe unabhängiger Veränderlicher
Gegeben sei die $n$-dimensionale Veränderliche $\vec{x}=(x_{1},x_{2},...,x_{n})$ mit der Dichtefunktion $p(x_{1},x_{2},...,x_{n})$. Seien alle $n$ Veränderliche unabhängig voneinander, d.h.

$$p(x_{1},x_{2},...,x_{n}) = p_{1}(x_{1}) p_{2}(x_{2}) \cdot \cdot \cdot p_{n}(x_{n}).$$ (22)

Wir definieren nun eine neue Veränderliche $y$ durch die Summe der $n$ Veränderlichen $x_{\nu}$,

$$y = \sum_{\nu=1}^{n} x_{\nu} = x_{1} + x_{2} + ... + x_{n} .$$ (23)

Die Veränderliche $y$ soll durch die Dichtefunktion $q(y)$ beschrieben werden. Die Aufgabe ist nun, diese Dichtefunktion $q(y)$ zu bestimmen.

Wir stellen zunächst fest, daß die erzeugende Funktion von $q(y)$ durch

$$M_{y}(v) = \int_{-\infty}^{\infty} dy e^{vy} q(y)$$ (24)

gegeben ist. Dieses ist aber nichts anderes als der Erwartungswert

$$< e^{vy} > = < e^{v(x_{1}+x_{2}+...+x_{n})} >,$$

d.h.

$$M_{y}(v) = \int_{-\infty}^{\infty} d\vec{x} e^{v(x_{1}+x_{2}+...+x_{n})} p(x_{1},x_{2},...,x_{n}).$$

Benutzen wir jetzt die Annahme (22) über die Unabhängigkeit der Veränderlichen $x_{1}, x_{2}, ..., x_{n}$, so folgt

$$M_{y}(v) = \int_{-\infty}^{\infty} dx_{1} e^{vx_{1}} p_{1}(x... ...t \cdot \int_{-\infty}^{\infty} dx_{n} e^{vx_{n}} p_{n}(x_{n})$$

oder

$$M_{y}(v) = M_{x_{1}}(v) M_{x_{2}}(v) \cdot \cdot \cdot M_{x_{n}}(v)$$ (25)

mit

$$M_{x_{\nu}}(v) = \int_{-\infty}^{\infty} dx_{\nu} e^{vx_{\nu}} p_{\nu}(x_{\nu}).$$

Wir fassen diesen Sachverhalt in einem Satz zusammen: Die erzeugende Funktion einer Summe unabhängiger Veränderlicher ist gleich dem Produkt der erzeugenden Funktionen der einzelnen unabhängigen Veränderlichen.

Logarithmisch erzeugende Funktion
In diesem Zusammenhang definiert man nun häufig eine weitere erzeugende Funktion, nämlich die logarithmisch erzeugende Funktion

$$H_{y}(v) = ln M_{y}(v).$$ (26)

Anwendung auf Formel (25) liefert

$$H_{y}(v) = \sum_{\nu=1}^{n} ln M_{x_{\nu}}(v) = \sum_{\nu=1}^{n} H_{x_{\nu}}(v)$$ (27)

mit

$$H_{x_{\nu}}(v) = ln M_{x_{\nu}}(v).$$

Der Grund für die Einführung der logarithmisch erzeugenden Funktion ist natürlich, daß man eine Summe von Funktionen mathematisch wesentlich einfacher handhaben kann als ein Produkt.

Beispiele.
Ein weiterer wichtiger Grund für die Einführung der logarithmisch erzeugenden Funktion ist, daß viele erzeugende Funktion mit Hilfe von Exponentialfunktionen darstellbar sind, die logarithmisch erzeugende Funktion daher aus dem Exponenten gebildet wird. So ist z.B. die logarithmisch erzeugende Funktion der allgemeinen Normalverteilung

$$p(x) = \frac{1}{\sqrt{2\pi} \sigma} e^{-(x-a)^{2}/2\sigma^{2}}$$

durch

$$H_{x}(v) = av + \frac{1}{2} \sigma^{2} v^{2}$$

und die logarithmisch erzeugende Funktion der Poisson- Verteilung,

$$P(k) = e^{-a} \frac{a^{k}}{k!}$$

durch

$$H_{x}(v) = a(e^{v}-1)$$

gegeben. Auch in anderen Fällen kann man wesentliche Vereinfachungen durch Einführung der logarithmisch erzeugenden Funktionen erhalten. Die Bernoulli- Verteilung

$$P(k) = \left( \begin{array}{c} n \\ k \end{array} \right) p^{k} (1-p)^{n-k}$$

bezitzt die logarithmisch erzeugende Funktion

$$H_{k}(v) = n \; ln[1+(e^{v}-1)p]$$

und die zentrale logarithmisch erzeugende Funktion

$$H_{k-np}(v) = -npv + n \; ln[1+(e^{v}-1)p].$$

Für die $\Gamma$- Verteilung

$$p(x) = \frac{1}{\tau^{n+1}} x^{n} \frac{e^{-x/\tau}}{n!}$$

erhalten wir ähnlich

$$H_{x}(v) = -(n+1) \; ln(1-v\tau).$$

Ein Vorteil dieser Darstellung ist, daß einfache Reihenentwicklungen möglich sind. Mit Hilfe der Formeln

$$ln(1+x) = \sum_{\nu=1}^{\infty} (-1)^{\nu+1} \frac{x^{\nu}}{\nu}, \; \; \; -1 < x \leq 1,$$

$$ln(1-x) = - \sum_{\nu=1}^{\infty} \frac{x^{\nu}}{\nu}, \; \; \; -1 \leq x < 1,$$

ergibt sich z.B. für die $\Gamma$- Verteilung

$$H_{x}(v) = -(n+1) \; ln(1-v\tau) = (n+1) \sum_{\nu=1}^{\inft... ...= (n+1) \tau v +\frac{1}{2}(\sqrt{n+1} \tau)^{2} v^{2} + .....$$

Hieraus sieht man sofort, daß die $\Gamma$- Verteilung durch eine Normalverteilung mit Mittelwert $(n+1)\tau$ und Varianz $\sqrt{n+1} \tau$ approximiert werden kann. Für $n\tau \gg 1$ kann man die 1 gegenüber $n$ vernachlässigen und erhält das bereits oben hergeleitete Ergebnis für die Normalverteilung.

Unabhängige Veränderliche mit gleichen Dichtefunktionen
Haben alle Veränderliche $x_{\nu}$ die gleiche Dichtefunktion, d.h. wenn

$$p(x_{1},x_{2},...,x_{n}) = p(x_{1}) p(x_{2}) \cdot \cdot \cdot p(x_{n}),$$ (28)

dann ist auch

$$M_{x_{1}}(v) = M_{x_{2}}(v) = ... = M_{x_{n}}(v)$$

und wir können (25) einfacher schreiben als

$$M_{y}(v) = \left[ M_{x}(v) \right]^{n}$$

oder

$$H_{y}(v) = n H_{x}(v).$$ (29)

Wie wir oben ausgeführt haben, kann $M_{x}(v)$ in eine Reihe um $v=0$ entwickelt werden,

$$M_{x}(v) = \sum_{\nu=1}^{\infty} \frac{v^{\nu}}{\nu !} m_{\nu}$$

mit

$$m_{\nu} = < x^{\nu} >.$$

Diese Reihe approximieren wir durch

$$M_{x}(v) \approx 1 + v m_{1} + \frac{1}{2} v^{2} m_{2} + ...$$

Die logarithmisch erzeugende Funktion wird dann zu

$$H_{y}(v) \approx n \; ln [1+(v m_{1} + \frac{1}{2} v^{2} m_{2})]$$

$$\approx n \; [(v m_{1} + \frac{1}{2} v^{2} m_{2}) - \frac{1}{2} (v m_{1} + \frac{1}{2} v^{2} m_{2})^{2}]$$

$$\approx n \; [v m_{1} + \frac{1}{2} v^{2} m_{2} - \frac{1}{2} v^{2} m_{1}^{2} ]$$

oder

$$H_{y}(v) \approx n v m_{1} + \frac{1}{2} n v^{2} ( m_{2} - m_{1}^{2} ).$$ (30)

In dieser Herleitung wurde angenommen, daß alle Terme mit $v^{\nu}$, $\nu \geq 3$, als klein betrachtet und daher vernachlässigt werden können. Diese Annahme und insbesondere den Geltungsbereich dieser Annahme werden wir mathematisch exakt später behandeln. Für die erzeugende Funktion erhalten wir

$$M_{y}(v) = e^{nvm_{1} + \frac{1}{2} n v^{2} (m_{2}-m_{1}^{2})}.$$ (31)

Die Rücktransformation ergibt

$$q(y) = \frac{1}{\sqrt{2 \pi n (m_{2}-m_{1}^{2})}} e^{-(x-n m_{1})^{2}/[2n (m_{2}-m_{1}^{2})]}.$$ (32)

Wir formulieren die wesentliche Aussage dieser Formel in einem Satz: Eine Summe $y = \sum_{\nu=1}^{n} x_{\nu}$ unabhängiger Veränderlicher $x_{\nu}$ mit gleichen Dichtefunktionen $p(x_{\nu})$ ist näherungsweise normal verteilt mit dem Mittelwert

$$< y > = n < x > = n m_{1}$$ (33)

und der Standardabweichung

$$\sigma_{y} = \sqrt{n} \sigma_{x}$$ (34)

mit

$$\sigma_{x} = \sqrt{<x^{2}> - <x>^{2}} = \sqrt{m_{2} - m_{1}^{2}}$$ (35)

$$\sigma_{y} = \sqrt{<y^{2}> - <y>^{2}}.$$ (36)

Die approximative Formel für die Dichtefunktion lautet

$$q(y) = \frac{1}{\sqrt{2 \pi} \sigma_{y}} e^{-(y-<y>)^{2}/[2 \sigma_{y}^{2}]}.$$ (37)

Man beachte, daß die Einzelverteilungen der Veränderlichen $x_{\nu}$ nicht normal verteilt zu sein brauchen.

Wir sind den Beweis schuldig geblieben, daß Formel (32) für $q(y)$ wirklich die Rücktransformierte der erzeugenden Funktion (31) ist. Man kann diese Behauptung natürlich durch Einsetzen von $q(y)$ in die Definitionsgleichung (6) der erzeugenden Funktion und explizites Lösen des Integrals zeigen. Auf ein allgemeines Verfahren zur Rücktransformation werden wir später eingehen.

Faltung von Verteilungen
Was wir soeben für den Spezialfall einer großen Anzahl unabhängiger Veränderlicher durchgerechnet haben, ist nichts anderes als eine sogenannte Faltung von Verteilungen. Hierauf werden wir im folgenden noch etwas näher eingehen. Die anschauliche Bedeutung der Faltung ersieht man einfachsten für diskrete Veränderliche. Seien also $k_{1}$ und $k_{2}$ zwei unabhängige Veränderliche mit den Wahrscheinlichkeitsverteilungen $P_{1}(k_{1})$ und $P_{2}(k_{2})$. Mißt man beide Veränderliche gleichzeitig, so ist wegen der Annahme der Unabhängigkeit die zweidimensionale Verteilung durch

$$P(k_{1},k_{2}) = P_{1}(k_{1}) P_{2}(k_{2})$$ (38)

gegeben. Die Frage ist nun, welcher Verteilungsfunktion die neue Veränderliche $l=k_{1}+k_{2}$ gehorcht. Man schreibt dafür häufig

$$Q(l) = P_{1}(k_{1}) \star P_{2}(k_{2})$$ (39)

und nennt diesen Ausdruck die Faltung der unabhängigen zufälligen Veränderlichen $k_{1}$ und $k_{2}$. Der Stern zwischen den Verteilungsfunktionen $P_{1}$ und $P_{2}$ soll die mathematische Operation andeuten, die man durchzuführen hat, um aus den beiden Verteilungen $P_{1}(k_{1})$ und $P_{2}(k_{2})$ die neue Verteilung $Q(l)$ zu erhalten. Dieses Symbol hat insbesondere nichts mit einer algebraischen Multiplikation zu tun. Wir nehmen im folgenden an, daß die diskreten Veränderlichen $k_{1}$ und $k_{2}$ auf positive Werte beschränkt sind.

Die Veränderliche $l$ ist dann und nur dann null, wenn $k_{1}$ und $k_{2}$ gleichzeitig null sind, daher

$$Q(0) = P_{1}(0) P_{2}(0).$$

Den Wert $l=1$ erhält man zweimal, und zwar für

$$k_{1} = 0 , \; \; \; \; k_{2} = 1,$$

$$k_{1} = 1 , \; \; \; \; k_{2} = 0.$$

Daraus schließen wir

$$Q(1) = P_{1}(0) P_{2}(1) + P_{1}(1) P_{2}(0).$$

Ausdrücke dieser Art erhält man nun für jeden Wert von $l$,

$$Q(l) = P_{1}(0) P_{2}(l) + P_{1}(1) P_{2}(l-1) + ... + P_{1}(l) P_{2}(0),$$

oder

$$Q(l) = P_{1}(k_{1}) \star P_{2}(k_{2}) = \sum_{\nu=0}^{l} P_{1}(\nu) P_{2}(l-\nu)$$ (40)

Diese Formel läßt sich einfach auf kontinuierliche Veränderliche übertragen:

$$q(y) = p_{1}(x_{1}) \star p_{2}(x_{2}) = \int_{-\infty}^{\infty} d\xi p_{1}(\xi) p_{2}(y - \xi).$$ (41)

Den Ausdruck (40) kann man auch folgendermaßen schreiben:

$$Q(l) = P_{1}(k_{1}) \star P_{2}(k_{2}) = \sum_{k_{1}+k_{2}=l} P_{1}(k_{1}) P_{2}(k_{2}).$$

In dieser Form läßt sich die Faltung von Verteilungen leicht auf mehrere unabhängige Veränderliche verallgemeinern, nämlich

$$Q(l) = P_{1}(k_{1}) \star P_{2}(k_{2}) \star ... \star P_{n}... ...}=l} P_{1}(k_{1}) P_{2}(k_{2}) \cdot \cdot \cdot P_{n}(k_{n}).$$ (42)

Für kontinuierliche Veränderliche erhält man die Verallgemeinerung auf $n$ Veränderliche am einfachsten aus (42):

$$q(y) = p_{1}(x_{1}) \star p_{2}(x_{2}) \star ... \star p_{n}(x_{n})$$

$$= \int_{-\infty}^{\infty} d\xi_{1} d\xi_{2} \cdot \cdot \cdot d\xi_... ...) p_{2}(\xi_{2}) \cdot \cdot \cdot p_{n}(y - \xi_{1} - \xi_{2} -...-\xi_{n-1}).$$ (43)

Wendet man nun auf den Ausdruck (43) die Laplace- Transformation an, so kommt man, wie es natürlich auch sein muß, wieder auf die Formel (25) für die erzeugende Funktion einer Summe $y = \sum_{\nu=1}^{n} x_{\nu}$ unabhängiger Veränderlicher $x_{\nu}$:

$$\int_{-\infty}^{\infty} dy e^{vy} q(y)$$

$$= \int_{-\infty}^{\infty} dy \int_{-\infty}^{\infty} d\xi_{1} d\xi_{... ...i_{1}) p_{2}(\xi_{2}) \cdot \cdot \cdot p_{n}(y-\xi_{1}-\xi_{2}-...-\xi_{n-1}).$$

Wir führen die Variable $\xi_{n} = y-\xi_{1}-\xi_{2}-...-\xi_{n-1}$ ein und erhalten

$$\int_{-\infty}^{\infty} dy e^{vy} q(y) = \int_{-\infty}^{\in... ..._{1}(\xi_{1}) p_{2}(\xi_{2}) \cdot \cdot \cdot p_{n}(\xi_{n}).$$

Dieses ist offensichtlich identisch mit dem Ausdruck (25).

Beispiel.
In der Praxis kommt es häufig vor, daß eine zufällige Veränderliche $x_{1}$ mit der Dichtefunktion $p_{1}(x_{1})$ mit einem normalverteilten Meßfehler $x_{2}$,

$$p_{2}(x_{2}) = \frac{1}{\sqrt{2\pi} \sigma_{2}} e^{-x_{2}^{2}/2\sigma_{2}^{2}}$$

gefaltet werden muß. Das Ergebnis einer Messung ist dann die Summe

$$y = x_{1}+x_{2}$$

Die zu erwartende Dichtefunktion $q(y)$ ist als Integral darstellbar:

$$q(y) = \frac{1}{\sqrt{2\pi} \sigma_{2}} \int_{-\infty}^{\inf... ...p_{1}(\xi_{1}) e^{-\frac{1}{2\sigma_{2}^{2}} (y-\xi_{1})^{2}}.$$

Die Lösung dieses Integrals ist für die meisten Dichtefunktionen $p_{1}(x_{1})$ außerordentlich mühsam. Wir bedienen uns daher der erzeugenden Funktionen. Die logarithmisch erzeugende Funktion der Normalverteilung

$$H_{x_{2}}(v) = \frac{1}{2} \sigma_{2}^{2} v^{2}$$

muß zur logarithmisch erzeugenden Funktion $H_{x_{1}}(v)$ der Dichtefunktion $p_{1}(x_{1})$ addiert werden,

$$H_{y}(v) = H_{x_{1}}(v) + \frac{1}{2} \sigma_{2}^{2} v^{2}.$$

Ist $p_{1}(x_{1})$ ebenfalls eine Normalverteilung,

$$p_{1}(x_{1}) = \frac{1}{\sqrt{2\pi} \sigma_{1}} e^{-(x_{1}-a)^{2}/2\sigma_{1}^{2}},$$

so folgt

$$H_{y}(v) = av + \frac{1}{2} \sigma_{1}^{2} v^{2} + \frac{1}{... ...2} = a v + \frac{1}{2}(\sigma_{1}^{2} + \sigma_{2}^{2}) v^{2}.$$

und die resultierende Dichtefunktion lautet

$$q(y) = \frac{1}{\sqrt{2\pi(\sigma_{1}^{2}+\sigma_{2}^{2})}} e^{-(y-a)^{2}/2(\sigma_{1}^{2}+\sigma_{2}^{2})}$$

Um zu diesem einfachen Ergebnis zu kommen, hätten wir bei der Auswertung des obigen Integrals einige Seiten rechnen müssen.

Für irgendeine andere Verteilung $p_{1}(x_{1})$ anstatt der Normalverteilung ist die Faltung im Prinzip ebenso einfach, jedoch hätten wir bei der Rücktransformation von der erzeugenden Funktion zur Dichtefunktion einige Probleme. Ein allgemeines Verfahren hierzu werden wir erst im nächsten Abschnitt angeben.

Laurent- Transformation für diskrete Veränderliche
Eine von den bisher erklärten erzeugenden Funktionen abweichende Definition gibt es noch für diskrete Veränderliche. Die bis auf das Vorzeichen im Exponenten mit der Laurent- Transformation (bzw Z- Transformation) identische Funktionaltransformation

$$Z(v) = \sum_{k} v^{k} P(k),$$ (44)

erfüllt die wichtige Relation

$$Z(v) = < v^{k} >$$ (45)

und hat in den Anwendungen eine mindestens ebenso große Bedeutung wie die Laplace- oder Fourier- Transformationen diskreter Veränderlicher,

$$M_{k}(v) = \sum_{k} e^{vk} P(k)$$ (46)

$$M_{ik}(v) = \sum_{k} e^{ivk} P(k).$$ (47)

Die $l$-fache Ableitung nach $v$ führt auf

$$Z^{(l)}(v) = \sum_{k} k(k-1)(k-2) \cdot \cdot \cdot (k-l+1) v^{k-l} P(k).$$

Für $v=1$ erhalten wir

$$Z^{(l)}(v=1) = <k(k-1)(k-2) \cdot \cdot \cdot (k-l+1) >,$$ (48)

und insbesondere für $l=1$ und $l=2$:

$$Z'(v=1) = <k> ,$$

$$Z''(v=1) = <k(k-1)> = <k^{2}> - <k>.$$

Daraus ergibt sich das zweite Moment

$$m_{2} = <k^{2}> = Z''(v=1) + Z'(v=1).$$

Für die Laurent- Transformierte gilt der wichtige Satz: Seien $k_{1},k_{2},...,k_{n}$ unabhängige Veränderliche mit den Wahrscheinlichkeitsverteilungen $P_{1}(k_{1}),P_{2}(k_{2}),...,P_{n}(k_{n})$ und den Laurent- Transformierten

$$Z_{k_{\nu}}(v) = \sum_{k_{\nu}=0}^{\infty} v^{k_{\nu}} P_{\nu}(k_{\nu}).$$ (49)

Dann hat die Wahrscheinlichkeitsverteilung der Summe der $n$ Veränderlichen

$$k = k_{1} + k_{2} + ... + k_{n}$$ (50)

die Laurent- Transformierte

$$Z_{k}(v) = \prod_{\nu=1}^{n} Z_{k_{\nu}}(v).$$ (51)

Beispiel.
Als Beispiel zur Laurent Transformation rechnen wir die Faltung zweier Poisson Verteilungen,

$$P_{1}(k_{1}) = e^{-a} \frac{a^{k_{1}}}{k_{1}!}$$

$$P_{2}(k_{2}) = e^{-b} \frac{b^{k_{2}}}{k_{2}!}$$

Die Laurent Transformierten sind

$$Z_{k_{1}}(v) = \sum_{k_{1}=0}^{\infty} v^{k_{1}} e^{-a} \frac{a^{k_{1}}}{k_{1}!} = e^{(v-1)a}$$

$$Z_{k_{2}}(v) = \sum_{k_{2}=0}^{\infty} v^{k_{2}} e^{-b} \frac{b^{k_{2}}}{k_{2}!} = e^{(v-1)b}$$

Unter der Annahme, daß $k_{1}$ und $k_{2}$ unabhängige Veränderliche sind, ist die Laurent Transformierte der Summe

$$k = k_{1}+k_{2}$$

das Produkt der Laurent Transformierten der Einzelverteilungen:

$$Z_{k}(v) = Z_{k_{1}}(v) Z_{k_{2}}(v) = e^{(v-1)(a+b)}.$$

Die resultierende Dichtefunktion

$$P(k) = e^{-(a+b)} \frac{(a+b)^{k}}{k!}$$

ist wieder eine Poisson Verteilung, allerdings mit Parameter $a+b$.

Beispiel.
Zur Vorbereitung auf das nächste Beispiel diskutieren wir zunächst noch einmal eine Herleitung für die Bernoulli Verteilung. In einführenden Teil dieses Tutorials hatten wir bereits eine Herleitung der Bernoulli Verteilung mit Hilfe der vollständigen Induktion angegeben. Hier nun wollen wir eine Herleitung mit Hilfe von erzeugenden Funktionen diskutieren.

Ein Experiment möge als Ergebnis nur zwei mögliche Ereignisse, $E_{1}$ und $E_{2}$, besitzen. $E_{1}$ und $E_{2}$ seien Elementarereignisse, $E_{1}$ als Ergebnis schließt das Ereignis $E_{2}$ also aus und umgekehrt schließt $E_{2}$ das Ereignis $E_{1}$ aus. Wir ordnen den Ereignissen $E_{1}$ und $E_{2}$ die zufälligen Veränderlichen $k_{1}$ und $k_{2}$ zu und definieren

$$E_{\nu} = ,,wahr'' \; \to \; k_{\nu} = 1,$$

$$E_{\nu} = ,,falsch'' \; \to \; k_{\nu} = 0.$$

Die Ereignisse $E_{1}$ und $E_{2}$ mögen mit den Wahrscheinlichkeiten $P_{1}$ und $P_{2}$ auftreten. Da eines der beiden Ereignisse immer eintreten muß, haben wir in diesem Problem nur eine zufällige Veränderliche, die andere ist vollständig determiniert. Wir wählen $k_{1}$ als zufällige Veränderliche. Dann gilt:

$$k_{2} = 1 - k_{1},$$

$$P_{2} = 1 - P_{1}.$$

Die Wahrscheinlichkeitsverteilung für $k_{1}$ besitzt also nur die zwei Werte

$$P(k_{1}=1) = P_{1},$$

$$P(k_{1}=0) = P_{2}=1-P_{1}.$$

Die Laurent- Transformierte dieser Verteilung ist

$$Z_{k_{1}}(v) = \sum_{k_{1}=0}^{1} v^{k_{1}} P(k_{1}) = 1+(v-1)P_{1}.$$

Wir führen die Messung der Veränderlichen $k_{1}$ jetzt $N$- mal durch und erhalten die Ergebnisse $k_{11},k_{12},...,k_{1N},$ alle mit den Werten 0 oder 1. Die Summe

$$K_{1} = \sum_{\nu=1}^{N} k_{1\nu}$$

gibt dann an, wie oft das Ereignis $E_{1}$ bei $N$- maliger Ausführung des Versuches aufgetreten ist. Die Laurent- Transformierte von $K_{1}$ ist

$$Z_{K_{1}}(v) = \prod_{\nu=1}^{N} Z_{k_{1\nu}}(v) = [1+(v-1)P_{1}]^{N} .$$

Dieses ist aber nichts anderes als die Laurent- Transformierte der Bernoulli- Verteilung

$$P(K_{1}) = \left( \begin{array}{c} N \\ K_{1} \end{array} \right) P_{1}^{K_{1}} (1-P_{1})^{N-K_{1}}.$$

Hiervon überzeugt man sich leicht durch explizites Rechnen:

$$Z_{K_{1}}(v) = \sum_{K_{1}=0}^{N} v^{K_{1}} \left( \begin{ar... ...right) P_{1}^{K_{1}} (1-P_{1})^{N-K_{1}} = [1+(v-1)P_{1}]^{N}.$$

Für das nachfolgende Beispiel schreiben wir die Bernoulli- Verteilung in einer etwas anderen Form,

$$P(K_{1}) = \frac{N!}{K_{1}! K_{2}!} P_{1}^{K_{1}} P_{2}^{K_{2}}$$

mit

$$\left( \begin{array}{c} N \\ K_{1} \end{array} \right) = \frac{N!}{K_{1}! (N-K_{1})!} = \frac{N!}{K_{1}! K_{2}!}$$

und

$$K_{2} = N - K_{1}$$

$$P_{2} = 1 - P_{1}.$$

Man beachte bei dieser Schreibweise aber, daß $P(K_{1})$ nur von der einen Veränderlichen $K_{1}$ abhängt.

Beispiel.
Das vorige Beispiel läßt sich dahingehend verallgemeinern, daß der Versuch $V$ zu $M$ verschiedenen Elementarereignissen $E_{1},E_{2},...,E_{M}$ führen kann. Wir definieren den diskreten Vektor $\vec{k}=(k_{1},k_{2},...,k_{M})$ durch die Zuordnung

$$E_{\mu} = ,,wahr'' \; \to \; k_{\mu} = 1, \; \; \; \mu=1,2,...,M,$$

$$E_{\mu} = ,,falsch'' \; \to \; k_{\mu} = 0 \; \; \; \mu=1,2,...,M.$$

Die Wahrscheinlichkeitsverteilung ist offenbar

$$P(k_{1},k_{2},...,k_{M-1}) = \sum_{\mu=1}^{M} P_{\mu} k_{\mu... ...+(1-\sum_{\mu=1}^{M-1}P_{\mu}) (1-\sum_{\mu=1}^{M-1} k_{\mu}),$$

wobei wir deutlich gemacht haben, daß diese Verteilung nur von $M-1$ Veränderlichen abhängt, die $M$- te Komponente ist bei Angabe der ersten $M-1$ Komponenten vollständig determiniert:

$$k_{M} = 1 - \sum_{\mu=1}^{M-1} k_{\mu},$$

$$P_{M} = 1 - \sum_{\mu=1}^{M-1} P_{\mu}.$$

Darüber hinaus besteht noch eine weitere starke Korrelation zwischen den Komponenten des Vektors $\vec{k}$: wenn eine Komponente $k_{\nu}$ den Wert 1 hat, müssen notwendigerweise alle anderen Komponenten den Wert 0 haben.

Die Laurent Transformierte dieser Verteilung ist

$$Z_{k_{1},k_{2},...,k_{M-1}}(v_{1},v_{2},...v_{M-1}) = \sum_{... ...}^{M-1} P_{\mu}) = 1 + \sum_{\mu=1}^{M-1} (v_{\mu}-1) P_{\mu}.$$

Wir messen wie immer den Vektor $\vec{k}$ in $N$ unabhängigen Versuchen, mit den Ergebnissen $\vec{k}_{1},\vec{k}_{2},...,\vec{k}_{N}.$ Die einzelnen Komponenten des Summenvektors

$$\vec{K} = \vec{k}_{1} + \vec{k}_{2} + ... + \vec{k}_{N}$$

geben dann an, wie häufig in $N$ Versuchen die Elementarereignisse $E_{1},E_{2},...,E_{M}$ aufgetreten sind. Die Laurent- Transformierte der Wahrscheinlichkeitsverteilung von $\vec{K}$ ist

$$Z_{K_{1},K_{2},...,K_{M-1}}(v_{1},v_{2},...,v_{M-1}) = \prod... ...}(\vec{v}) = [1+\sum_{\mu=1}^{M-1} (v_{\mu}-1) P_{\mu} ]^{N} .$$

Wie man leicht zeigen kann, ist dieses die Laurent- Transformierte der Multinominalverteilung oder verallgemeinerten Bernoulli- Verteilung

$$P(K_{1},K_{2},...,K_{M-1}) = \frac{N!}{K_{1}! K_{2}! \cdot \... ...!} P_{1}^{K_{1}} P_{2}^{K_{2}} \cdot \cdot \cdot P_{M}^{K_{M}}$$

mit

$$K_{M} = N - \sum_{\mu=1}^{M-1} K_{\mu} ,$$

$$P_{M} = 1 - \sum_{\mu=1}^{M-1} P_{\mu}.$$

Simulation der Multinominalverteilung
Ausgehend vom Wortmodell des vorigen Beispiels können wir ein einfaches Simulationsprogramm für die Multinominalverteilung entwickeln. Dazu führen wir das geschilderte Experiment auf unserem Rechner durch. Wir generieren eine gleichverteilte Zufallszahl $r$ aus dem Intervall $(0,1]$. Wir teilen das Intervall in $M$ Teilintervalle $(x_{\mu-1},x_{\mu}]$ ein, und zwar so, daß $P_{\mu}=x_{\mu}-x_{\mu-1}$ mit $x_{0}=0$ und $x_{M}=1$. Wir können dann im Einzelversuch die Zuordnung

$$k_{\mu} = \{ \begin{array}{cl} 1 & \; \; \; wenn \; r\in (x_{\mu-1},x_{\mu}], \\ 0 & \; \; \; sonst. \end{array}$$

machen. Wir wiederholen den Versuch $N$-mal und bilden den Vektor

$$\vec{K} = \vec{k}_{1}+\vec{k}_{2}+ ... + \vec{k}_{M}.$$

Die Komponenten dieses Vektors sollten dann gemäß einer Multinominalverteilung verteilt sein.

Ein Java Applet zur Faltung von Verteilungen
Abschliessend möchten wir Sie noch animieren, sich das folgende Applet, anzuschauen. In vielen Fällen ist die rechnerische Handhabung zur Bestimmung der Faltung zweier Verteilungen ziemlich mühsam. Man behilft sich dann mit einer Simulation. Hierzu werden einfach zwei Zufallszahlen mit den beiden Generatoren erzeugt und deren Summe gebildet.