birmaga.ru
добавить свой файл

1 2
  1. Вероятностные модели и парадокс Бертрана


Вероятностная модель - математическая модель реального явления, содержащего элементы случайности.

Стохастическая – ситуация, удовлетворяющая свойствам 1-3

Св-ва:

  1. Наличие случайности (неопределенности)

  2. Воспроизводимость (с учетом случайности)

  3. Устойчивость частот  A – событие

Вероятностное пространство — это тройка , где

  • вероятностная мера или вероятность, если выполняются три условия:





  1. Сигма – аддитивность:


Семейство F подмножеств множества называется σ-алгеброй, если оно удовлетворяет следующим свойствам:

  1. F содержит .

  2. Если  то и его дополнение .

  3. Объединение счётного подсемейства из F также в F.

Борелевская σ-алгебра - σ-алгебра, порожденная всеми [a, b).

Случайная величина X(w) , w  числовая функция, определенная на :



P(X B) – распределение сл. вел. X.

 - функция распределения сл. вел. X.

Св-ва функции распределения:

    1. 

    2. F(x) не убывает
    3. , 


    4. F(x) непрерывна слева.

Парадокс Бертрана:

какова вероятность того, что длина наугад выбранной хорды больше длины вписанной окружности?



  1. Математическая модель центра случайной величины.

Математическое ожидание случайной величины:



Опр.  ,  - q-квантиль распределения, если 

Если F непрерывна, то 

Медиана – квантиль с q = ½

Мода – это:

В абс. непрер. случае: 

В дискретном: 


  1. Математическая модель разброса случайной величины.





 - среднеквадратичное отклонение.

 - «инженерная метрика»


Интерквартильный размах , где Xq – q-квантиль


  1. Случайные величины. Зависимость событий и случайных величин.

Опр. События A и B  F независимы, если P(AB) = P(A)P(B)

Опр.  независимы в совокупности, если 



Опр.  - сл. вел. независимы, если 



ковариация
:



св-ва ковариации:

линейна отн. аргумента, симметрична, не зависит от сдвига аргумента, =0 если 
независимы.

корреляция:





5. Виды сходимости случайных величин

Везде X1, X2, X3 … сходятся к X


  1. Сходимость почти всюду (почти наверное):

  2. Сходимость по вероятности:

  3. Сходимость в среднем порядка r: сходится, если

  4. Сходимость по распределению: в точках непрерывности F

  5. Слабая сходимость: - непрерывная, ограниченная:


В

1

4
заимосвязь между сходимостями


Из первого следует второе (обратное неверно)

И
2
з третьего следует второе (обратное неверно)

И
3

5
з второго следует четвертое (обратное неверно)

Четвертое и пятое эквивалентны
Остальные взаимосвязи не оговорены
Центральная предельная теорема

Пусть X1, X2, X3… - норсв

Существует мат. ожидание EXi = а – конечно, дисперсия DXi =

Тогда равномерно по х

Справа стоит стандартное нормальное распределение

Оценка скорости сходимости в ЦПТ

Неравенство Берри-Эссеена:

,

где С0 – константа (0.4 < С0 < 0.7056), M3 = E|Xi - a|^3

6. Закон больших чисел

Пусть X1, X2, X3… - норсв

Существует мат. ожидание Xi = а

Тогда

Оценка скорости сходимости ЗБЧ



цель: r(n): Yn/r(n) имеет конечный предел, не равный нулю

из ЦПТ: r(n) = n^(-1/2)

7. Распределение Пуассона

X – случайная величина, имеет распределение Пуассона с параметром лямбда, если она принимает целочисленные неотрицаельные значения и , лямбда > 0

Дисперсия, мат.ожидание = лямбда

Информационная энтропия

Фактически, Пуассоновское распределение – предельное для биномиального
Теорема Пуассона

Xi из следующего распределения: 1 с некоторой вероятносью p и 0 с вероятностью (1-p)

Пусть в системе серий n стремится к бесконечности, стремится к нулю, n стремится к лямбда

Тогда , Sn = X1 + X2 + … + Xn
Обобщение теоремы Пуассона

Пусть выполнено

Тогда , Sn = X1 + X2 + … + Xn

8. Устойчивые распределения

Функция распределения G(x) называется устойчивой, если для ее характеристической функции g(t) выполнено



или

G(a1*x+b1)*G(a2*x+b2) = G(a*x+b) (для любых a1,a2>0, b1,b2 из R, существуют a>0 и b из R)
Теорема Леви

Пусть X1, X2 … - норсв

Тогда F(x) может быть предельной для сумм вида (X1+X2+…+Xn - an)/bn при некоторых an и bn > 0 тогда и только тогда, когда F(x) – устойчива

// an и bn – имеются в виду индексы n у a и b
Безгранично делимая характеристическая функция

f(t) – характеристическая функция – безгранично делима, если для любого n существует fn(t) – характеристические функции, такие что f(t) = (fn(t))^n

при этом если X из распределения с хар. функцией f(t), то X представима как сумма Xi (которые из распределения такого, что ему соответствует fn(t))
Теорема Хинчина

Пусть выполнено

Тогда F(x) может быть предельной для сумм вида Xn,1 + Xn,2 + … + Xn,mn при n стремящемся к бесконечности тогда и только тогда, когда F(x) соответствует безгранично делимая характеристическая функция.

9. Информация и энтропия. Их свойства.
Определение 1
Пусть A – событие, P(A) > 0. Тогда информацией (по Шеннону), содержащейся в А, называется величина

Определение 2

Пусть A,B – события, P(A) > 0, P(B) > 0. Тогда информацией (по Шеннону),

содержащейся в B относительно А, называется величина


Свойства информации:
1) Чем меньше P(A), тем больше I(A).

2) Если А, В – независимые с.в., I(A|B) = 0.

3) Если А, В – независимые с.в., I(A|B) = I(A)+ I(В).
Определение 3
Пусть E – эксперимент с исходами и соответствующими им вероятностями



Пусть Q(E) – количество информации, полученной в ходе эксперимента - случайная величина со значениями I(), принимаемыми с вероятностями p.

Тогда энтропией E называется величина


Свойства энтропии:


  1. Энтропия неотрицательна, энтропия равна 0 т.и.т.т., когда один из исходов эксперимента имеет вероятность 1.

  2. Максимальной энтропией среди экспериментов с n исходами обладает такой,

в котором исходы равновероятны.

3) E – эксперимент с исходами



E получается из Е объединением двух исходов с номерами i и j.

E - эксперимент с двумя исходами которым соответствуют вероятности

.

Тогда H(E) = H(E) + (p+p)*H(E).


4)Н(Е) не зависит от A, а зависит только от p.

5)H(E) – непрерывная функция p.
Теорема Фадеева

Если функционал H(p1,..pn) удовл. 1)-5) =>
10. Дифферинциальная энтропия. Свойства некоторых распределений.
Пусть теперь - случайная величина.

1) С.в. дискретна, имеет конечное число значений с соответствующими вероятностями.



Тогда энтропия равна



2) С.в. дискретна, имеет бесконечное число значений.

Тогда выражение для энтропии аналогично, но ряд бесконечен.

3) С.в. абсолютно непрерывна.

Тогда энтропия равна



Где p – плотность распределения с.в. Определенная таким образом энтропия называется

дифференциальной энтропией.
Теорема
1) Пусть имеет равномерное распределение ~R[-a;a]

Тогда H() >= H() для любой с.в. , распределенной на [-a ;a] : P(||<=a) = 1


2) Пусть имеет показательное распределение ~P()

Тогда H() >= H() для любой с.в. : P(>=0) = 1, M = 1/, >0

3) Пусть имеет нормальное распределение ~N(a, )

Тогда H() >= H() для любой с.в. : M = a, D = .

11. Определение пуассоновского процесса.
Определение 1

Семейство случайных величин X(t, ), определенное на одном базовом пространстве () ,tTR называется случайным процессом.

Определение 2
При фиксированном X(t, ) – траектория случайного процесса.

X(t) -> S – множество всех траекторий случайного процесса. На S можно определить борелевскую сигма - алгебру , порожденную множеством всех открытых подмножеств S. Прообраз любого B - событие (X(t): -> S).
Определение 3

Распределением случайного процесса называется мера P, заданная следующим образом:


Определение 4

Процесс X(t) – процесс с независимым приращением, если

X (t), X (t)- X (t),…, X (t)- X (t) – независимы в совокупности.
Определение 5

Процесс X(t) – однородный, если распределение X(t+h) - X(t) совпадает с распределением X(s+h) - X(s) для t, s, h: t, t+h, s, s+h T.

Определение 6
Процесс X(t) – пуассоновский, если


  1. X(t) имеет независимое приращение

  2. X(t) однородный

  3. X(0) = 0 почти наверное

  4. При h>0, h->0

P(X(h) = 0) = 1- h +o(h)

P(X(h) = 1) = h +o(h)

P(X(h) >= 2) = o(h)

>0

Для пуассоновского процесса

X(t) ~ П(t)

MX(t) = DX(t) = t

12. Информационные свойства Пуассоновского процесса
Пусть τ[1] … τ[n] – моменты скачков Пуассоновского процесса

Распределение длин скачков τ[j] – τ[j-1] обладает свойством отсутствия памяти => оно показательно

Зафиксируем [a; b] на временной оси. Пусть в [a; b] попало n скачков Пуассоновского процесса. Каково их распределение?
Теор. Условное распределение τ[1] … τ[n] при условии, что X(b) – X(a) = n, совпадает с распределение вариационного ряда, построенного по выборке из равномерного распределения на [a; b].
Плотность вариационного ряда, построенного по выборке из равномерного распределения на [a,b] есть
Теор. => Ф(х), где Ф(х) – функция распределения стандартного N(0,1), причём сходимость равномерна по х, при , т.е.

, С0 – константа Берри- Эссеена


13. Случайные суммы, основные свойства, пуассоновские случайные суммы
x1, x2, …– н.о.р.с.в.

N – целая неотрицательная случайная величина.

xi, N – определены на одном ВП.

Случайная сумма Sn = x1 + x2 + … + xN

Свойства:

1) pn = P(N=n); F*n(x)= n-кратная свертка F (ф.р. xi); F*0 – ф.р. с единичным скачком в нуле.


  1. если p0 > 0 => FSN не является абсолютно непрерывной

  2. P0=0 => существует , f*n(x)= n-кратная свертка f (плотн. xi);

  3. ; (s) – производящая функция N; f(t) – характ. функция xi

  4. ESN = EN * Ex1; DSN = DN * (Ex1)2 + EN * Dx1


N ~ П() => SN есть пуассоновская случайная сумма

Теорема

1) - характеристическая функция SN; => SN безгранично делима.

2) ESN = Ex1; DSN =  (Ex12), EN = DN = 

14. Геометрические случайные суммы, теорема Реньи, связь между геометрическими и пуассоновскими случайными суммами
N, x1,x2,.. – н.с.в., x1,x2,.. – н.о.р.с.в.

N ~ Geom (p) =>– Геометрическая Случайная Сумма

; ; N(s) = ; n=0,1,..



следующая страница >>