birmaga.ru
добавить свой файл

1 2 3
Министерство образования и науки Российской федерации


МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ ИНСТИТУТ ЭЛЕКТРОНИКИ И МАТЕМАТИКИ

(Технический университет)

Кафедра информационно-коммуникационных технологий

Отчет

о прохождении преддипломной практики

Выполнил:

студент группы С-104

Дегтярев Дмитрий Викторович


Руководитель:

д.т.н., профессор

Леохин Юрий Львович

Москва, 2011 год.
Оглавление


1 Введение 3

1.1 Актуальность темы 3

1.2 Постановка задачи 3

2 Обзорно-аналитическая часть 4

2.1 Обзор готовых решений прогнозирования. 4

2.2 Обзор средств мониторинга сети. 4

2.3 Обзор методов прогнозирования. 4

2.3.1 Эвристические методы прогнозирования 4

2.3.2 Методы временной экстраполяции 5

2.3.3 Методы нейросетевого прогнозирования 6

2.3.4 Методы пространственной экстраполяции 6

2.3.5 Методы прогнозной экстраполяции 6

2.3.6 Методы моделирования процессов функционирования систем 7

2.3.7 Логические методы искусственного интеллекта 8

2.3.8 Регрессионные методы прогнозирования 8

2.3.9 Выбор метода прогнозирования 9

2.4 Обзор СУБД. 11

2.4.1 Описание различных СУБД 12

2.4.2 Сравнение СУБД 15



1 Введение

1.1 Актуальность темы


В настоящий момент практически ни одна организация не обходится без своей корпоративной сети. ЛВС состоят из активного и пассивного оборудования, которое предоставляет информацию о своей работе.

Следить за правильностью работы всех конкретных устройств и сети в целом было бы невозможно без каких-либо специальных средств мониторинга. Все они собирают статистические данные о работе оборудования и могут их представлять в графическом виде.


Но все эти средства мониторинга дают информацию лишь о прошлом и настоящем состоянии сети. А с увеличением сложности ЛВС становится необходимым и предсказание состояния, особенно предсказания о сбоях и внештатных ситуациях в работе ЛВС.

Системы прогнозирования помогут избежать и предотвратить любые нежелательные ситуации работы сети, так как они заблаговременно сообщают администратору о надвигающемся сбое. Администратор может принять решение об увеличении вычислительной мощности сети или об изменении параметров. Например, если предсказан сбой в работе порта маршрутизатора, администратор должен принять меры по переконфигурированию маршрутной таблицы.

1.2 Постановка задачи


В данной работе необходимо реализовать три основных модуля:

  1. Система мониторинга компьютерной сети

  2. Система анализа полученных данных

  3. Система хранения результатов


Система мониторинга подразумевает программный продукт, который собирает статистику о функционировании компьютерной сети. Для организации работы этого модуля в выбранном сегменте сети необходимо настроить работу протокола SNMP и создать базу данных для хранения всех полученных данных.

Система анализа получает данные из БД и, базируясь на принципах работы нейронных сетей, проводит анализ и делает прогноз состояний компьютерной сети.

Все данные и все результаты полученные в ходе работы системы мониторинга и системы прогнозирования хранятся в системе хранения результатов, которая представляет собой локальную базу данных.

2 Обзорно-аналитическая часть

2.1 Обзор готовых решений прогнозирования.

2.2 Обзор средств мониторинга сети.

2.3 Обзор методов прогнозирования.

Перед тем как углубиться в изучение различных методов прогнозирования необходимо дать определение самому понятию «метод прогнозирования». Метод прогнозирования это способ теоретического и практического действия, направленный на разработку прогнозов. Данное определения включает в себя всю область методов: начиная с простейших экстраполяционных расчетов и до сложных процедур многошаговых экспертных опросов. Для более полного понимания сути целесообразно сразу детализировать такое широкое понятие как методы прогнозирования. Поэтому будем разделять простые методы и комплексные методы, состоящие из совокупности простых. Далее рассмотрим наиболее часто употребляемые из них, такие как:


  • Эвристические методы прогнозирования;

  • Методы временной экстраполяции;

  • Методы пространственной экстраполяции;

  • Методы прогнозной экстраполяции;

  • Методы моделирования процессов;

  • Логические методы искусственного интеллекта;

  • Нейросетевые методы прогнозирования;

  • Регрессионные методы;

2.3.1 Эвристические методы прогнозирования


Метод эвристического прогнозирования является один из самых ранних способов прогнозирования, основанный на знании экспертов и их способности анализировать ситуации и выдавать набор решений. Метод не всегда является оптимальным, но способен решать сложнейшие задачи за счет экспертных знаний и интуитивного поиска решений в бесконечном множестве ситуаций. Эвристический метод применим во многих областях, для прогнозирования любых процессов и событий, независимо от того, какого рода процесс необходимо анализировать. Требуется ли качественный или количественный прогноз, непрерывный процесс или дискретный, имеется ли статистика или нет. Основным из его преимуществ является возможность избегания грубых ошибок, особенно в области скачкообразных изменений прогнозируемой величины.

Существует два наиболее часто используемых вида эвристического прогноза: индивидуальные экспертные оценки и коллективные экспертные оценки. Эффективность методов достигается за счет привлечения квалифицированных экспертов, проведения опросов и дальнейшего анализа полученных вариантов решений.

Метод индивидуальных экспертных оценок основывается на использовании индивидуальных экспертных оценок одного узкоспециализированного эксперта и незначительного психологического давления на него. В этом и есть его основное преимущество, т.к. эксперт способен дать все варианты решения исходя из своего огромного опыта. Для принятия более сложных решений или решений о перспективах развития сложных систем используют метод коллективных экспертных оценок, в котором каждому эксперту предлагается оценить прогнозируемую величину. Коллективные экспертные оценки основываются на принципах выявления согласованных мнений экспертов о перспективах работы процесса или системы. Так же возможно прогнозирование многопараметрических процессов за счет разделения функций прогноза между различными экспертами. При этом достоверность прогноза пропорциональна зависимости параметров друг от друга.


Существуют и другие методы эвристического прогнозирования, к ним относят такие методы как метод Дельфи, методы коллективной генерации идей, последовательного выбора, парных сравнений, балльной оценки, оценки вероятностей, ранжирования ряда. Все эти методы базируются на разнообразных спроектированных алгоритмах оценки субъективных мнений экспертов.

Метод Дельфи предполагает проведение опроса членов группы экспертов и дальнейшее циркуляционное ознакомление членов группы с мнением коллег и лиц, заинтересованных в итогах экспертизы с целью достижения группового консенсуса.Метод коллективной генерации идей (“мозговая атака”) предполагает проведение дискуссии, в которой допускаются высказывания любых, самых парадоксальных мнений, оригинальных идей и предложений. После проведения опроса производится оценка его качества и обработка суждений экспертов. Эвристические методы необходимо применять только в том случае, если есть эксперты способные дать адекватные оценки. Ещё одной точкой преткновения при использовании эвристических методов является прогнозирование многочисленных характеристик сложных технических устройств.

2.3.2 Методы временной экстраполяции


На данный момент методы временной экстраполяции являются самыми широко используемыми. Экстраполяционные методы основаны на предположении, что будущие события определяются прошлыми. Метод экстраполирования сводятся к определению того, какие значения будет принимать та или иная переменная величина X = x(t), если известен ряд ее значений в прошлые моменты времени:

x(t1), ..., x(tn-1) → x(tn).

Использование экстраполяции в прогнозировании имеет в своей основе предположение о том, что рассматриваемый процесс изменения переменной представляет собой сочетание двух составляющих регулярной и случайной. Считается, что регулярная составляющая представляет собой гладкую функцию от аргумента (в большинстве случаев - времени), описываемую конечномерным вектором параметров, которые сохраняют свои значения на периоде упреждения прогноза. Эта составляющая называется также трендом, уровнем, детерминированной основой процесса, тенденцией. Под всеми этими терминами лежит интуитивное представление о какой-то очищенной от помех сущности анализируемого процесса. Интуитивное, потому что для большинства экономических, технических, природных процессов нельзя однозначно отделить тренд от случайной составляющей. Все зависит от того, какую цель преследует это разделение и с какой точностью его осуществлять. Случайная составляющая обычно считается некоррелированным случайным процессом с нулевым математическим ожиданием. Ее оценки необходимы для дальнейшего определения точностных характеристик прогноза. Экстраполяционные методы прогнозирования основной упор делают на выделение наилучшего, в некотором смысле, описания тренда и на определение прогнозных значений путем его экстраполяции.


Методы экстраполяции во многом пересекаются с методами прогнозирования по регрессионным моделям. Иногда их различия сводятся лишь к различиям в терминологии, обозначениях или написании формул. Тем не менее, сама по себе прогнозная экстраполяция имеет ряд специфических черт и приемов, позволяющих причислять ее к некоторому самостоятельному виду методов прогнозирования. Специфическими чертами прогнозной экстраполяции можно назвать методы предварительной обработки числового ряда с целью преобразования его к виду, удобному для прогнозирования, а также анализ логики и физики прогнозируемого процесса, оказывающий существенное влияние, как на выбор вида экстраполирующей функции, так и на определение границ изменения ее параметров.

Основными недостатками данного метода являются:


  • необходимость наличия некоторого объема статистических данных;

  • невозможность учета скачков;

  • обязательная необходимость описания математических процессов изменения параметров.

2.3.3 Методы нейросетевого прогнозирования


Искусственные нейронные сети - математические модели, а также их программные или аппаратные реализации, построенные по принципу организации и функционирования биологических нейронных сетей - сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге при мышлении, и при попытке смоделировать эти процессы. Первой такой моделью мозга был персептрон. Впоследствии эти модели стали использовать в практических целях, как правило, в задачах прогнозирования.

Искусственная нейронная сеть представляет собой систему соединённых и взаимодействующих между собой простых процессоров (искусственных нейронов). Такие процессоры обычно довольно просты, особенно в сравнении с процессорами, используемыми в персональных компьютерах. Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И, тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие локально простые процессоры вместе способны выполнять довольно сложные задачи.


Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения — одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что, в случае успешного обучения, сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке.

2.3.4 Методы пространственной экстраполяции


При прогнозировании параметров с помощью метода пространственной экстраполяции используется в качестве аргумента один параметр – время. Пространственная экстраполяция связана с прогнозированием в пространстве характеристик, и состоит в оценке значений векторного поля по отдельным наблюдениям. Основная задача метода пространственной экстраполяции заключается в анализе результата наблюдений, полученных в результате оценки пространств ситуаций и решений. Отсюда можно сделать вывод, что основным достоинством метода является возможность не строить сложных математических моделей. Однако есть у метода и недостатки, такие как линейность преобразований причинно-следственных связей и следствий. А так же сложность разработки алгоритмов, оценивающих значимость наблюдения и учитывающих старение информации о ситуациях.

2.3.5 Методы прогнозной экстраполяции


Сущность методов прогнозной экстраполяции заключается в изучении динамики изменения характеристик в предпрогнозном периоде и перенесения найденной закономерности на некоторый период будущего. Обязательным условием применения экстраполяционного подхода в прогнозировании следует считать познание и объективное понимание природы исследуемого процесса, а также наличие устойчивых тенденций в механизме развития.


Однако степень реальности такого рода прогнозов и соответственно мера доверия к ним в значительной мере обуславливаются аргументированностью выбора пределов экстраполяции и стабильностью соответствия «измерителей» по отношению к сущности рассматриваемых характеристик. Следует обратить внимание на то, что сложные объекты, как правило, не могут быть охарактеризованы одним параметром.

-экстраполируемое значение уровня;

- период упреждения;

- уровень, принятый за базу экстраполяции.

Операцию экстраполяции в общем виде можно представить как определение значений функции. Простейшим способом прогнозирования считается подход, формирующий прогнозную оценку от фактически достигнутого уровня при помощи среднего прироста или темпа роста.



В соответствии с ним прогноз k шагов вперед на момент времени:

;



где dсредний абсолютный прирост.

Этот способ обладает определенными достоинствами, среди которых незначительна трудоемкость вычислительного алгоритма, универсальные расчетные схемы[6]. Кроме указанных достоинств, он имеет несколько существенных недостатков:


  • Все фактические наблюдения являются результатом закономерности или случайности, следовательно, основываться на последнем наблюдении неправомерно;
  • Нет возможности оценить правомерность использования среднего прироста в каждом конкретном случае;


  • Данный метод не позволяет сформировать интервал, в который попадает прогнозируемая величина.

Отсюда можно сделать вывод, что метод экстраполяции не дает точных результатов на длительных срок прогноза. Данный метод исходит из прошлого и настоящего, и тем самым погрешность с течением времени накапливается.

2.3.6 Методы моделирования процессов функционирования систем


Моделирование - исследование объектов познания на их моделях; построение и изучение моделей реально существующих предметов, процессов или явлений с целью получения объяснений этих явлений, а также для предсказания явлений, интересующих исследователя. Выделяют три метода моделирования: физическое, математическое и имитационное.

Физическое моделирование - метод экспериментального изучения различных физических явлений, основанный на их физическом подобии.

Метод применяется при следующих условиях:

  • Исчерпывающе точного математического описания явления на данном уровне развития науки не существует, или такое описание слишком громоздко и требует для расчётов большого объёма исходных данных, получение которых затруднительно.

  • Воспроизведение исследуемого физического явления в целях эксперимента в реальных масштабах невозможно, нежелательно, или слишком дорогостояще (например, некоторые процессы проистекающие в природе: цунами, торнадо и др.).

Метод состоит в создании лабораторной физической модели явления в уменьшенных масштабах, и проведении экспериментов на этой модели. Выводы и данные, полученные в этих экспериментах, распространяются затем на явление в реальных масштабах. Метод может дать надёжные результаты, лишь в случае соблюдения физического подобия реального явления и модели. Подобие достигается за счёт равенства для модели и реального явления значений критериев подобия — безразмерных чисел, зависящих от физических (в том числе геометрических) параметров, характеризующих явление. Экспериментальные данные, полученные методом физического моделирования, распространяются на реальное явление также с учётом критериев подобия. В широком смысле, любой лабораторный физический эксперимент является моделированием, поскольку в эксперименте наблюдается конкретный случай явления в частных условиях, а требуется получить общие закономерности для всего класса подобных явлений в широком диапазоне условий. Искусство экспериментатора заключается в достижении физического подобия между явлением, наблюдаемым в лабораторных условиях и всем классом изучаемых явлений.


Математическое моделирование предполагает под собой описание процесса или явления с помощью совокупности уравнений, неравенств, логических условий и т.д. Метод не может быть использован, если математическая модель объекта слишком объемна, в силу громоздкости вычислений. Для большого объекта составление системы уравнений описывающих данную систему может быть слишком трудоемким процессом, поэтому математическое моделирование используют в основном в тех случаях, когда модель легко поддается описанию с помощью формализации.

В свою очередь, имитационное моделирование применяется только в тех случаях, когда процессы сложны и многообразны настолько, что использование методов математического моделирования становится нерациональным, т.к. слишком приближение к действительной сути модели становится слишком грубым.

2.3.7 Логические методы искусственного интеллекта


Данные методы используются преимущественно для задач распознавания образов, где под образами подразумевается прогнозируемые явления и процессы. Логические методы основываются на дискретном анализе и исчислении высказываний.

В общем случае метод опирается на наличие логических связей с наблюдавшимися ранее событиями. Выражаются такого рода связи через булевы уравнения. При этом переменные являются логическими признаками прогнозируемых состояний, а неизвестные величины - классами состояний. При наличии большого числа состояний, будет присутствовать элемент эвристики при введении элементарных понятий и высказываний. Это, пожалуй, и является основным недостатком данного метода. Еще один минус заключается в монотонности логического вывода, и потреблении большого числа ресурсов при построении систем сложных объектов. В качестве преимущества можно указать возможность в условиях недостатка априорной информации применять методы логического прогнозирования в качестве методов экстраполяции в пространстве признаков подобных ситуаций.

2.3.8 Регрессионные методы прогнозирования


Для прогнозирования так же используются регрессионные алгоритмы. Коротко суть алгоритмов такого класса можно описать так. Существует прогнозируемая переменная Y (зависимая переменная) и отобранный заранее комплект переменных, от которых она зависит - X1, X2, ..., XN (независимые переменные). Природа независимых переменных может быть различной. Например, если предположить, что Y – некоторый показатель сети в следующем месяце, то независимой переменной может быть тот же показатель в прошлый и позапрошлый месяцы. Главное - уметь формализовать все внешние факторы, от которых может зависеть уровень показателей, в аналитический вид.
Модель множественной регрессии в общем случае описывается выражением



В более простом варианте линейной регрессионной модели зависимость зависимой переменной от независимых имеет вид:



Здесь - подбираемые коэффициенты регрессии,- компонента ошибки. Предполагается, что все ошибки независимы и нормально распределены.

Для построения регрессионных моделей необходимо иметь базу данных, выраженную с помощью таблицы значений прошлых наблюдений, в ней можно подобрать (например, методом наименьших квадратов) коэффициенты регрессии, настроив тем самым модель[6]. При работе с регрессией надо соблюдать определенную осторожность и обязательно проверять на адекватность найденные модели. Существуют разные способы такой проверки. Полезно иметь независимый набор примеров, на которых можно проверить качество работы модели.


В качестве недостатков данного метода можно отметить:


  • Неоднородность всех переменных, которые могут измеряться в разных шкалах;

  • Переменных может быть бесчисленное множество, часть из них может коррелировать между собой.

В этих условиях возникает явление мультиколлинеарности, приводящее к плохой обусловленности.

2.3.9 Выбор метода прогнозирования


В таблице 2.2 представлены методы прогнозирования, которые целесообразно применять к сложным техническим системам, к которым относятся корпоративные сети. По оценкам отечественных и зарубежных исследователей число различных методов, приемов и методик прогнозирования превысило 150.

Выбранные критерии позволяют составить адекватную оценку применимости выбранного метода для эффективного решения поставленной задачи прогнозирования поведения корпоративной сети. В результате анализа составляется шкала, показывающая среднюю оценку методов относительно критериев, по которой можно оценить, способен тот или иной метод математического прогнозирования справиться с поставленной перед ним задачей.

Таблица 1. Оценка основных методов математического прогнозирования.


Требования, предъявляемые к методу прогнозирования состояния корпоративной сети

Эвристические методы

Методы временной экстраполяции

Методы пространственной экстраполяции

Методы прогнозной экстраполяции

Методы моделирования

Логические методы


Регрессионные методы

Нейросетевые методы

Возможность многопараметрического прогноза

-

+

-

+

+

-

+

-

-

+

-

+

Возможность обработки данных в реальном масштабе времени

-

-

-

+

-

+

-

-

+

+

Нечувствительность к недостатку априорной информации

+

-

+


-

+

-

+

-

-

+

Возможность обработки разноформатной информации

+

-

+

+

-

+

+

-

-

+

-


Возможность прогнозирования не наблюдавшихся ранее событий

+

-

+

-

+

-

+

-

+


Возможность строгой формализации и алгоритмизации методов прогнозирования

-

+

+

-

+

+


+

+

+

Возможность решения слабо формализованных задач прогнозирования

+

-

-

-

+

-

+

+

+

Трудности реализации метода прогнозирования

+

-

-

+

-

-

-

-

+

-

+

-

Возможность аппаратной реализации методов прогнозирования

_


+

+

+

-

-

+

-

+

-

Суммарный показатель предпочтения

0

-4

3

-2

0

-1

0

6
Проведя анализ базовых методов математического прогнозирования можно прийти к выводу, что наиболее эффективным будет использование методов нейросетевого прогнозирования, т.к. большинство методов требуют чрезвычайно громоздких вычислений, либо слишком прямолинейны и не учитывают всей специфики предметной области, либо категорически не могут выдавать обоснованные результаты для данной области исследований.

В качестве примера рассмотрим метод временной экстраполяции, который работает с “историческими данными”. Разница заключается в том, что, во-первых, методом временной экстраполяции невозможно обрабатывать скачкообразные изменения данных. Вторым минусом данного метода является невозможность обойтись без математического описания процессов изменения параметров. Для нейронной сети достаточно иметь сеть необходимой конфигурации и достаточный набор данных, на которых данную сеть можно обучить. Знание о процессах изменения параметров не требуется.

Преимуществом нейронных сетей над эвристическими методами прогнозирования, которые во многом схожи с нейронной сетью, является тот факт, что нейронная сеть может обрабатывать многомерные данные, в то время как в эвристическом методе при обработке большого количества параметров используются знания нескольких экспертов. И с ростом параметров соответственно растет количество экспертов. Обработка такого количества различных экспертиз может занять не одну неделю, в то время как нейронная сеть обучается и выдает результат мгновенно. Методы математического моделирования для решения данной задачи будут слишком громоздкими. Нет возможности полностью описать систему, ни с точки зрения физического моделирования, ни с точки зрения математического моделирования. А имитационное моделирование не может охватить все возможные состояния корпоративной сети, тем более что изменение состояний происходит в режиме реального времени. Как вывод, прогнозирование поведения корпоративной сети методами математического моделирования не даст необходимого результата. Логические методы так же не подойдут в связи с тем, что в самой сути задачи нет необходимости производить какие бы то ни было логические изыскания. А методы регрессий требуют слишком большого числа вычислительных операций.

Таким образом, результаты оценки методов прогнозирования по представленным критериям позволили для решения задачи прогнозирования состояния корпоративной сети выбрать метод нейросетевого прогнозирования.



следующая страница >>