5. Методы предварительной обработки данных - К дипломному проекту

^ 5. Способы подготовительной обработки данных.
Если появляется необходимость использовать нейросетевые способы для решения определенных задач, то 1-ое с чем приходится сталкиваться – это подготовка данных. Обычно, при описании разных нейроархитектур, по дефлоту подразумевают что 5. Методы предварительной обработки данных - К дипломному проекту данные для обучения уже имеются и представлены в виде, доступном для нейросети. На практике же конкретно шаг предобработки может стать более трудозатратным элементом нейросетевого анализа. Фуррор обучения нейросети также может решающим образом 5. Методы предварительной обработки данных - К дипломному проекту зависеть от того, в каком виде представлена информация для ее обучения.

В этой главе рассматриваются разные процедуры нормировки и способы снижения размерности начальных данных, дозволяющие прирастить информативность обучающей подборки.


5.1 Максимизация энтропии как цель 5. Методы предварительной обработки данных - К дипломному проекту предобработки.

Разглядим основной руководящий принцип, общий для всех шагов предобработки данных. Допустим, что в начальные данные представлены в числовой форме и после соответственной нормировки все входные и выходные переменные показываются в единичном кубе. Задачка 5. Методы предварительной обработки данных - К дипломному проекту нейросетевого моделирования – отыскать статистически достоверные зависимости меж входными и выходными переменными. Единственным источником инфы для статистического моделирования являются примеры из обучающей подборки. Чем больше бит инфы принесет пример – тем лучше употребляются имеющиеся 5. Методы предварительной обработки данных - К дипломному проекту в нашем распоряжении данные.

Разглядим произвольную компоненту нормированных (предобработанных) данных: . Среднее количество инфы, приносимой каждым примером , равно энтропии рассредотачивания значений этой составляющие . Если эти значения сосредоточены в относительно маленький области единичного интервала 5. Методы предварительной обработки данных - К дипломному проекту, информационное содержание таковой составляющие не достаточно. В пределе нулевой энтропии, когда все значения переменной совпадают, эта переменная не несет никакой инфы. Напротив, если значения переменной умеренно распределены в единичном интервале 5. Методы предварительной обработки данных - К дипломному проекту, информация таковой переменной максимальна.

Общий принцип предобработки данных для обучения, таким макаром состоит в максимизации энтропии входов и выходов.


5.2 Нормировка данных.

Как входами, так и выходами могут быть совсем разнородные величины 5. Методы предварительной обработки данных - К дипломному проекту. Разумеется, что результаты нейросетевого моделирования не должны зависеть от единиц измерения этих величин. А конкретно, чтоб сеть трактовала их значения единообразно, все входные и выходные величин должны быть приведены к одному масштабу. Не считая 5. Методы предварительной обработки данных - К дипломному проекту того, для увеличения скорости и свойства обучения полезно провести дополнительную предобработку, разглаживающую рассредотачивания значений еще до шага обучения.


Персональная нормировка данных.

Приведение к одному масштабу обеспечивается нормировкой каждой переменной на спектр разброса ее 5. Методы предварительной обработки данных - К дипломному проекту значений. В простом варианте это – линейное преобразование:



в единичный отрезок: . Обобщение для отображения данных в интервал , рекомендуемого для входных данных элементарно.

Линейная нормировка оптимальна, когда значения переменной плотно заполняют 5. Методы предварительной обработки данных - К дипломному проекту определенный интервал. Но схожий «прямолинейный» подход применим далековато не всегда. Так, если в данных имеются относительно редчайшие выбросы, намного превосходящие обычный разброс, конкретно эти выбросы обусловят согласно предшествующей формуле масштаб нормировки. Это приведет 5. Методы предварительной обработки данных - К дипломному проекту к тому, что основная масса значений нормированной переменной сосредоточится поблизости нуля Еще надежнее, потому, ориентироваться при нормировке не а экстремальные значения, а на обычные, т.е. статистические свойства данных, такие как 5. Методы предварительной обработки данных - К дипломному проекту среднее и дисперсия.

, где

,

В данном случае основная масса данных будет иметь единичный масштаб, т.е. обычные значения все переменных будут сравнимы (рис. 6.1)





Но, сейчас нормированные величины не принадлежат гарантированно единичному интервалу, более того, наибольший разброс 5. Методы предварительной обработки данных - К дипломному проекту значений заблаговременно не известен. Для входных данных это может быть и не принципиально, но выходные переменные будут употребляться в качестве стандартов для выходных нейронов. В случае, если выходные нейроны – сигмоидные 5. Методы предварительной обработки данных - К дипломному проекту, они могут принимать значения только в единичном спектре. Чтоб установить соответствие меж обучающей подборкой и нейросетью в данном случае нужно ограничить спектр конфигурации переменных.

Линейное преобразование, представленное выше, не способно отнормировать основную массу данных 5. Методы предварительной обработки данных - К дипломному проекту и сразу ограничить спектр вероятных значений этих данных. Естественный выход из этой ситуации – использовать для предобработки данных функцию активации тех же нейронов. К примеру, нелинейное преобразование

,

нормирует основную массу данных сразу гарантируя что 5. Методы предварительной обработки данных - К дипломному проекту (рис. 5.2)




Как видно из приведенного выше рисунка, рассредотачивание значений после такового нелинейного преобразования еще поближе к равномерному.

Все выше перечисленные способы нормировки ориентированы на то, чтоб максимизировать энтропию каждого входа (выхода) по 5. Методы предварительной обработки данных - К дипломному проекту отдельности. Но, вообщем говоря, можно достигнуть еще большего максимизируя их совместную энтропию. Есть способы, дозволяющие проводить нормировку для всей совокупы входов, описание неких из их приведено в [4].


6.3 Снижение размерности входов.

Так как 5. Методы предварительной обработки данных - К дипломному проекту заблаговременно непонятно как полезны те либо другие входные переменные для пророчества значений выходов, появляется соблазн наращивать число входных характеристик, в надежде на то, что сеть сама обусловит, какие из их 5. Методы предварительной обработки данных - К дипломному проекту более значимы. Но в большинстве случаев это не приводит к ожидаемым результатам, а к тому же к тому же наращивает сложность обучения. Напротив, сжатие данных, уменьшение степени их избыточности, использующее имеющиеся в их 5. Методы предварительной обработки данных - К дипломному проекту закономерности, может значительно облегчить следующую работу, выделяя вправду независящие признаки. Можно выделить два типа алгоритмов, созданных для снижения размерности данных с малой потерей инфы:

Разглядим более тщательно оба типа алгоритмов.


5.3.1 Отбор более информативных признаков 5. Методы предварительной обработки данных - К дипломному проекту.

Для того, чтоб осознать какие из входных переменных несут максимум инфы, а какими можно пренебречь нужно или сопоставить все признаки меж собой и найти степень информативности каждого из их, или пробовать 5. Методы предварительной обработки данных - К дипломному проекту отыскать определенные композиции признаков, которые более много отражают главные свойства начальных данных.

В разделе 3.2 был описан метод, позволяющий упорядочить все признаки по мере убывания их значимости. Но накладываемые ограничения не позволяют использовать 5. Методы предварительной обработки данных - К дипломному проекту его для более всераспространенных задач.

Для выбора подходящей композиции входных переменных употребляется так именуемые генетические методы [5], которые отлично адаптированы для задач такового типа, так как позволяют создавать поиск посреди огромного числа 5. Методы предварительной обработки данных - К дипломному проекту композиций при наличии внутренних зависимостей в переменных.


5.3.2 Сжатие инфы. Анализ основных компонент.

Часто встречающийся способ снижения размерности - это анализ основных компонент (АГК).

Обычная реализация этого способа представлена в теории линейной алгебры 5. Методы предварительной обработки данных - К дипломному проекту. Основная мысль заключается в последующем: к данным применяется линейное преобразование, при котором фронтам новых координатных осей соответствуют направления большего разброса начальных данных. Для эти целей определяются попарно ортогональные направления наибольшей варианты начальных данных, после этого 5. Методы предварительной обработки данных - К дипломному проекту данные проектируются на место наименьшей размерности, порожденное компонентами с большей вариацией [4]. Один из недочетов традиционного способа основных компонент заключается в том, что это чисто линейный способ, и соответственно он 5. Методы предварительной обработки данных - К дипломному проекту может не учесть некие принципиальные свойства структуры данных.

В теории нейронных сетей разработаны более массивные методы, осуществляющие “нелинейный анализ основных компонент”[3]. Они представляют собой самостоятельную нейросетевую структуру, которую учят выдавать в качестве выходов свои собственные 5. Методы предварительной обработки данных - К дипломному проекту входные данные, но при всем этом в ее промежном слое содержится меньше нейронов, чем во входном и выходном слоях. (рис 5.3). Сети подобного рода носят заглавие – автоассоциативные сети.





Чтоб вернуть свои входные 5. Методы предварительной обработки данных - К дипломному проекту данные, сеть должна научиться представлять их в более низкой размерности. Базисный метод обучения в данном случае носит заглавие правило обучения Ойя для однослойной сети. Беря во внимание то, что в таковой структуре веса 5. Методы предварительной обработки данных - К дипломному проекту с схожими индексами в обоих слоях схожи, дельта-правило обучения верхнего (а тем и нижнего) слоя можно записать в виде:


, где

,и ,

, j=1,2,…,d – компонента входного вектора;

, выходы сети j 5. Методы предварительной обработки данных - К дипломному проекту=1,…,d;

d - количество нейронов на входном ми выходном слоях (размерность вектора признаков);

yi - выход с i-го нейрона внутреннего слоя, i=1,…,M

M – количество нейронов на внутреннем слое;

wij=wkj - веса сети 5. Методы предварительной обработки данных - К дипломному проекту , соответственно меж входным – сокрытым и сокрытым – выходным слоями.


Сокрытый слой таковой сети производит наилучшее кодирование входных данных, и содержит очень вероятное при данных ограничениях количество инфы. После обучения наружный интерфейс (wij) (рис.5.4) может быть 5. Методы предварительной обработки данных - К дипломному проекту сохранен и применен для снижения размерности.





Нелинейный анализ основных компонент.

Главное преимущество нейроалгоритмов в том, что они просто обобщаются на случай нелинейного сжатия инфы, когда никаких очевидных решений уже 5. Методы предварительной обработки данных - К дипломному проекту не существует. Можно поменять линейные нейроны в обрисованных выше сетях – нелинейными. С наименьшими видоизменениями нейроалгоритмы будут работать и в данном случае, всегда находя среднее сжатие инфы при наложенных ограничениях. К примеру, обычная подмена линейной функции 5. Методы предварительной обработки данных - К дипломному проекту активации нейронов на сигмоидную в правиле обучения Ойя:



приводит к новенькому качеству.

Таким макаром, нейроалгоритмы представляют собой удачный инструмент нелинейного анализа, позволяющий относительно просто отыскивать методы глубочайшего сжатия инфы и выделения 5. Методы предварительной обработки данных - К дипломному проекту нетривиальных признаков.


5.4 Выводы по разделу.

Естественно, описанными выше методиками не исчерпывается все обилие подходов к главный для нейро-анализа дилемме формирования места признаков. К примеру, есть разные методики, расширяющие анализ основных компонент. Также 5. Методы предварительной обработки данных - К дипломному проекту, большего внимания заслуживают генетические методы. Обширного не объять. Главное, чтоб за деталями не терялся основополагающий принцип предобработки данных: понижение имеющейся избыточности всеми вероятными методами. Это увеличивает информативность примеров и, тем 5. Методы предварительной обработки данных - К дипломному проекту, качество нейропредсказаний.

6. Реализация нейросетевой модели и исследование ее технических черт.


Ранее было показано, какими средствами нейроинформатики можно пробовать решить задачку идентификации типа сейсмического источника, какие процедуры целенаправлено использовать при подготовительной подготовке данных, был приведен 5. Методы предварительной обработки данных - К дипломному проекту маленький обзор разных алгоритмов обучения узнаваемых нейроархитектур. В этой главе представлено решение задачки на базе двухслойного персептрона, потому что конкретно он был избран на исходном шаге исследовательских работ. Дано также 5. Методы предварительной обработки данных - К дипломному проекту описание метода обучения и способов его оптимизации.


6.1 Структура нейронной сети.

Итак, для решения задачки идентификации типа сейсмического действия предлагается использовать одну из самых универсальных нейроархитектур – мультислойный персептрон, а поточнее его двухслойную реализацию 5. Методы предварительной обработки данных - К дипломному проекту (рис. 6.1). Как проявили опыты, повышение числа укрытых слоев не приводит к наилучшим результатам, а только усложняет процесс обучения, потому и была выбрана конкретно реализация с одним сокрытым слоем нейронов.




На вход сети подается p 5. Методы предварительной обработки данных - К дипломному проекту-мерный вектор признаков {xi, i=1,2,…,p}. Для определенности будем рассматривать случай, когда p=9, хотя исследования проводились и для p=5, p=18. Среднее количество нейронов на сокрытом слое H подбиралось экспериментально для различных p 5. Методы предварительной обработки данных - К дипломному проекту. Соответственно при p = 9 довольно брать H равным также 9 либо незначительно больше. Для разбиения начальных данных на два класса на выходе сети довольно 1-го нейрона. Меж входным и сокрытым слоями, также меж 5. Методы предварительной обработки данных - К дипломному проекту сокрытым и выходным слоями использовалась полносвязная структура.

С учетом этих дополнений опишем принятые на рисунке 7.1 обозначения:

p – размерность начальных данных (количество признаков применяемых для систематизации);

H – число нейронов на сокрытом 5. Методы предварительной обработки данных - К дипломному проекту слое;

xi – компонента входного вектора признаков, i = 1,…,p;

x0  1 – неизменное воздействие применяемое для работы нейронной сети;

wji – весовые коэффициенты меж входным и сокрытым слоями, i = 0,1,…,p , j = 1,…,H;

vk - весовые коэффициенты меж сокрытым 5. Методы предварительной обработки данных - К дипломному проекту и выходным слоями, k = 0,1,…,H.

zj – значение выхода j-го нейрона укрытого слоя; z0  1, j = 1,…,H;



y – значение выходного нейрона сети (выход сети)

(12)

f1(x) –функция активации нейронов укрытого слоя;

f2(x) –функция активации 5. Методы предварительной обработки данных - К дипломному проекту нейрона выходного слоя.


В качестве функции активации f1(x) для нейронов укрытого слоя и f2(x) для единственного нейрона на выходе сети предлагается использовать одну и ту же функцию, а 5. Методы предварительной обработки данных - К дипломному проекту конкретно сигмоидную функцию активации, ради сокращенности будем обозначать ее как f(x):

,

с производной в виде

.

Вид таковой функции представлен на рис.6.2




Т.к. значения функции f(x) ограничены в спектре [0, 1], итог 5. Методы предварительной обработки данных - К дипломному проекту сети y(x) может принимать любые действительные значения из этого же спектра, в следствии чего разумно интерпретировать выходы сети последующим образом: если y(x) > 0.5, то вектор принадлежит к одному классу (взрывы), в неприятном случае 5. Методы предварительной обработки данных - К дипломному проекту к другому (землетрясения).

6.2 Начальные данные.

На вход нейронной сети предлагается подавать вектора признаков составленные из сейсмограмм. О том, какие признаки были применены для этой задачки и как они получены, было поведано ранее 5. Методы предварительной обработки данных - К дипломному проекту в разделе 3.1. Необходимо отметить, что неувязка формирования векторов признаков – это только неувязка сейсмологии. Потому для исследования эффективности внедрения нейронных сетей в качестве начальных данных были применены уже готовые подборки векторов, которые 5. Методы предварительной обработки данных - К дипломному проекту содержали внутри себя примеры и землетрясений и взрывов.

Размерность векторов признаков p=9, хотя , как было отмечено в прошлом разделе, проводились опыты и с другим количеством признаков.

Для работы с нейросетью рекомендуется 5. Методы предварительной обработки данных - К дипломному проекту использовать начальные данные не в начальном виде, а после подготовительной обработки с помощью процедуры персональной нормировки по отдельному признаку, описанной в разделе 5.2. Это преобразование состоит в последующем:



где

xi – начальное значение вектора признаков, поточнее его 5. Методы предварительной обработки данных - К дипломному проекту i-я компонента;

xi,min – малое значение по i-му признаку, отысканное из всей совокупы начальных данных, включающей оба класса событий;

xi,max – наибольшее значение по i-му признаку …


Выбор 5. Методы предварительной обработки данных - К дипломному проекту конкретно этой нормировки, а менее универсальных, которые описаны в разделе 5, в реальных исследовательских работах продиктованы тем обстоятельством, что конкретно признаки измеренные по сейсмограммам, подвергаются поочередно двум нелинейным преобразованиям в согласовании с 5. Методы предварительной обработки данных - К дипломному проекту функциями

y=Ln(x) и z=(1/7)(y1/7-1),

и уже из этих значений формируются обучающие вектора. Такие преобразования приводят к большей кластеризации точек в многомерном пространстве, но спектр конфигурации каждого из признаков не нормирован относительно интервала 5. Методы предварительной обработки данных - К дипломному проекту [-1, 1], а избранная нормировка позволяет без утраты инфы перенести все входные значения в подходящий спектр.


6.3 Определение аспекта свойства системы и функционала его оптимизации.


Если через обозначить хотимый выход сети (указание учителя), то ошибка 5. Методы предварительной обработки данных - К дипломному проекту системы для данного входного сигнала (рассогласование реального и хотимого выходного сигнала) можно записать в последующем виде:

, где

k — номер обучающей пары в обучающей выборке, k=1,2,…,n1+n2

n1 - количество векторов первого класса;

n 5. Методы предварительной обработки данных - К дипломному проекту2 - число векторов второго класса.


В качестве функционала оптимизации будем использовать аспект минимума среднеквадратической функции ошибки:




6.4 Выбор исходных весовых коэффициентов.

Перед тем, как приступить к обучению нейронной сети, нужно задать ее изначальное состояние 5. Методы предварительной обработки данных - К дипломному проекту. От того как успешно будут выбраны исходные значения весовых коэффициентов зависит, как длительно сеть за счет обучения и подстройки будет находить их наилучшее величины и отыщет ли она их.

Обычно, всем весам 5. Методы предварительной обработки данных - К дипломному проекту на этом шаге присваиваются случайные величины умеренно распределенные в спектре [-A,A], к примеру [-1,1], либо [-3,3]. Но, как проявили опыты, данное решение не является лучшим и в качестве кандидатуры предлагается 5. Методы предварительной обработки данных - К дипломному проекту использовать другие виды исходной инициализации, а конкретно:

  1. Присваивать весам случайные величины, данные не равномерным рассредотачиванием, а обычным рассредотачиванием с параметрами N[,], где выборочное среднее =0, а дисперсия  = 2, либо хоть какой другой маленькой положительной величине. Для 5. Методы предварительной обработки данных - К дипломному проекту формирования нормально распределенной величины можно использовать последующий метод:

Шаг 1. Задать 12 случайных чисел x1, x2, …,x12 умеренно распределенных в спектре [0,1]. xi  R[0,1].

Шаг 2. Для разыскиваемых характеристик  и  величина , приобретенная по формуле:



будет принадлежать нормальному 5. Методы предварительной обработки данных - К дипломному проекту рассредотачиванию с параметрами N[,].

2. Можно создавать исходную инициализацию весов в согласовании с методикой, предложенной Nguyen и Widrow [7]. Для этой методики употребляются последующие переменные

число нейронов текущего слоя

количество нейронов следующего слоя

коэффициент масштабирования:



Вся 5. Методы предварительной обработки данных - К дипломному проекту процедура состоит из последующих шагов:

Для каждого нейрона следующего слоя:

Инициализируются весовые коэффициенты (с нейронов текущего слоя):

случайное число в спектре [-1,1] ( либо ).

Рассчитывается норма

Дальше веса преобразуются в согласовании с правилом 5. Методы предварительной обработки данных - К дипломному проекту:



Смещения выбираются случайным образом из спектра .

Обе предложенные методики позволили на практике достигнуть наилучших результатов, в сопоставлении со стандартным методом исходной инициализации весов.


6.5 Метод обучения и способы его оптимизации.

Приступая к 5. Методы предварительной обработки данных - К дипломному проекту обучению избранной нейросетевой модели, нужно было решить, какой из узнаваемых типов алгоритмов, градиентный (оборотное распространения ошибки) либо стохастический (Больцмановское обучение) использовать. В силу ряда личных обстоятельств был избран конкретно 1-ый подход 5. Методы предварительной обработки данных - К дипломному проекту, который и представлен в этом разделе.


Обучение нейронных сетей как минимизация функции ошибки.

Когда функционал ошибки нейронной сети задан (раздел 6.3), то основная задачка обучения нейронных сетей сводится к его минимизации. Градиентное обучение – это итерационная процедура 5. Методы предварительной обработки данных - К дипломному проекту подбора весов, в какой каждый последующий шаг ориентирован в сторону антиградиента функции ошибки. Математически это можно выразить последующим образом:

, либо , что то же самое : ,

тут  - темп обучения на шаге . В 5. Методы предварительной обработки данных - К дипломному проекту теории оптимизации этот способ известен как способ наискорейшего спуска.[]


Способ оборотного распространения ошибки.

Исторически самую большую трудность на пути к действенному правилу обучения мультислойных персептронов вызвала процедура расчета градиента функции ошибки . Дело 5. Методы предварительной обработки данных - К дипломному проекту в том, что ошибка сети определяется по ее выходам, т.е. конкретно связана только с выходным слоем весов. Вопрос состоял в .том, как найти ошибку для нейронов на укрытых слоях, чтоб отыскать производные по 5. Методы предварительной обработки данных - К дипломному проекту подходящим весам. Нужна была процедура передачи ошибки с выходного слоя к предыдущим слоям сети, в направлении оборотном обработке входной инфы. Потому таковой способ, когда он был найден, получил заглавие способа оборотного распространения 5. Методы предварительной обработки данных - К дипломному проекту ошибки (error back-propagation ).

Разберем этот способ на примере двухслойного персептрона с одним нейроном на выходе.(рис 6.1) Для этого воспользуемся введенными ранее обозначениями. Итак,

-Функция ошибки (13)

-необходимая корректировка весов корректировка 5. Методы предварительной обработки данных - К дипломному проекту весов (14)

для выходного слоя v записывается последующим образом.



Корректировка весов меж входным и сокрытым слоями делается по формуле:

(15)





Подставляя одно выражение в другое получаем

(16)


Производная функции активации, как было показано ранее (раздел 6.1), рассчитывается 5. Методы предварительной обработки данных - К дипломному проекту через значение самой функции.

Конкретно метод обучения состоит из последующих шагов:

  1. Избрать очередной вектор из обучающего огромного количества и подать его на вход сети.

  2. Вычислить выход сети y(x) по формуле 5. Методы предварительной обработки данных - К дипломному проекту (12).

  3. Вычислить разность меж выходом сети и требуемым значением для данного вектора (13).

  4. Если была допущена ошибка при систематизации избранного вектора, то подкорректировать поочередно веса сети поначалу меж выходным и сокрытым слоями (15), потом меж 5. Методы предварительной обработки данных - К дипломному проекту сокрытым и входным (16).

  5. Повторять шаги с 1 по 4 для каждого вектора обучающего огромного количества до того времени, пока ошибка на всем огромном количестве не достигнет применимого уровня.


Невзирая на универсальность, этот способ в 5. Методы предварительной обработки данных - К дипломному проекту ряде всевозможных случаев становится малоэффективным. Для того, чтоб избежать вырожденных случаев, также прирастить скорость сходимости функционала ошибки, создано много модификаций стандартного метода, а именно две из которых и предлагается использовать.


Многостраничное обучение.

С 5. Методы предварительной обработки данных - К дипломному проекту математической точки зрения обучение нейронных сетей (НС) – это многопараметрическая задачка нелинейной оптимизации. В традиционном способе оборотного распространения ошибки (single-режим) обучение НС рассматривается как набор однокритериальных задач оптимизации. Аспект для каждой задачки - качество 5. Методы предварительной обработки данных - К дипломному проекту решения 1-го примера из обучающей подборки. На каждой итерации метода оборотного распространения характеристики НС (синаптические веса и смещения) модифицируются так, чтоб сделать лучше решение 1-го примера. Таким макаром, в процессе обучения циклически 5. Методы предварительной обработки данных - К дипломному проекту решаются однокритериальные задачки оптимизации.

Из теории оптимизации следует, что при решении многокритериальных задач модификации характеристик следует создавать, используя сходу несколько критериев (примеров), в эталоне - все. Тем паче нельзя ограничиваться одним 5. Методы предварительной обработки данных - К дипломному проекту примером при оценке производимых конфигураций значений характеристик.

Для учета нескольких критериев при модификации характеристик употребляют агрегированные либо интегральные аспекты, которые могут быть, к примеру, суммой, взвешенной суммой либо квадратным корнем от 5. Методы предварительной обработки данных - К дипломному проекту суммы квадратов оценок решения отдельных примеров.

А именно, в реальных исследовательских работах конфигурации весов проводилось после проверки всей обучающей подборки, при всем этом функция ошибки рассчитывалась в виде :



где,

k - номер обучающей пары в обучающей 5. Методы предварительной обработки данных - К дипломному проекту выборке, k=1,2,…,n1+n2

n1 - количество векторов первого класса;

n2 - число векторов второго класса.

Как демонстрируют испытания, обучение при использовании пакетного режима, обычно сходится резвее, чем обучение по отдельным примерам.


Автоматическая 5. Методы предварительной обработки данных - К дипломному проекту корректировка шага обучения.

В качестве еще 1-го расширения обычного метода обучения предлагается использовать так именуемый градиентный метод с автоматическим определением длины шага . Для его описания нужно найти последующий набор характеристик:

Сначала обучения записываются на диск значения весов и смещений сети. Потом происходит данное число итераций обучения с данным шагом. Если после окончания этих итераций значение функции ошибки не возросло, то шаг обучения возрастает 5. Методы предварительной обработки данных - К дипломному проекту на заданную величину, а текущие значения весов и смещений записываются на диск. Если на некой итерации вышло повышение функции ошибки, то с диска считываются последние запомненные значения весов и смещений, а шаг обучения 5. Методы предварительной обработки данных - К дипломному проекту миниатюризируется на заданную величину.

При использовании автономного градиентного метода происходит автоматический подбор длины шага обучения в согласовании с чертами адаптивного рельефа, и его применение позволило приметно уменьшить время обучения сети без утраты 5. Методы предварительной обработки данных - К дипломному проекту свойства приобретенного результата.


Эффект переобучения.

Одна из более суровых проблем изложенного подхода обучения состоит в том, что таким макаром минимизируется не та ошибка, которую по сути необходимо минимизировать, а ошибка, которую можно 5. Методы предварительной обработки данных - К дипломному проекту ждать от сети, когда ей будут подаваться совсем новые наблюдения. По другому говоря, хотелось бы, чтоб нейронная сеть обладала способностью обобщать итог на новые наблюдения. В реальности сеть учится минимизировать ошибку 5. Методы предварительной обработки данных - К дипломному проекту на обучающем огромном количестве, и в отсутствие безупречного и нескончаемо огромного обучающего огромного количества это совершенно не то же самое, что минимизировать "реальную" ошибку на поверхности ошибок в заблаговременно неведомой 5. Методы предварительной обработки данных - К дипломному проекту модели явления [5]. По другому говоря, заместо того, чтоб обобщить известные примеры, сеть запомнила их. Этот эффект и именуется переобучением.

Соответственно появляется неувязка – каким способом оценить ошибку обобщения? Так как эта ошибка определена 5. Методы предварительной обработки данных - К дипломному проекту для данных, которые не входят в обучающее огромное количество, естественным решением задачи служит разделение всех имеющихся в нашем распоряжении данных на два огромного количества: обучающее – на котором подбираются определенные значения весов, и валидационного – на 5. Методы предварительной обработки данных - К дипломному проекту котором оцениваются предсказательные возможности сети. По сути, должно быть к тому же третье огромное количество, которое вообщем не оказывает влияние на обучение и употребляется только для оценки предсказательных способностей уже обученной сети. Ошибки 5. Методы предварительной обработки данных - К дипломному проекту, приобретенные на обучающем, валидационном и тестовом огромном количестве соответственно именуются ошибка обучения, валидационная ошибка и тестовая ошибка.

В нейроинформатике для борьбы с переобучением употребляются три главных подхода:

Самым обычным является 1-ый способ. Он предугадывает вычисление во время обучения не только лишь ошибки обучения, да и ошибки 5. Методы предварительной обработки данных - К дипломному проекту валидации, используя ее в качестве контрольного параметра. В самом начале работы ошибка сети на обучающем и контрольном огромном количестве будет схожей. По мере того, как сеть учится, ошибка обучения, естественно 5. Методы предварительной обработки данных - К дипломному проекту, убывает, и, пока обучение уменьшает действительную функцию ошибок, ошибка на контрольном огромном количестве также будет убывать. Если же контрольная ошибка закончила убывать либо даже стала расти, это показывает на то, что сеть 5. Методы предварительной обработки данных - К дипломному проекту начала очень близко аппроксимировать данные и обучение следует приостановить. Набросок 6.5 дает высококачественное представление об этой методике.





Внедрение этой методики в работе с сейсмическими данными затруднено тем обстоятельством, что начальная подборка очень мала, а хотелось 5. Методы предварительной обработки данных - К дипломному проекту бы как можно больше данных использовать для обучения сети. В связи с этим было принято решение отрешиться от формирования валидационного огромного количества, а в качестве момента остановки метода обучения использовать последующее условие: ошибка 5. Методы предварительной обработки данных - К дипломному проекту обучения добивается данного малого уровня, при этом значение минимума устанавливается мало огромным чем обычно. Для проверки этого условия проводились дополнительные опыты, показавшие что при определенном минимуме ошибки обучения достигался относительный минимум 5. Методы предварительной обработки данных - К дипломному проекту ошибки на тестовых данных.

Два других подхода для контроля переобучения предугадывают постепенное изменение структуры сети. Исключительно в одном случае происходит действенное вымывание малых весов (weight elimination) ,т.е. прореживание незначительных связей, а 5. Методы предварительной обработки данных - К дипломному проекту во 2-м, напротив, поэтапное наращивание трудности сети. [3,4,5].


6.6 Формирование обучающей подборки и оценка эффективности обученной нейросетевой модели.


Из начальных данных нужно сформировать как минимум две подборки – обучающую и проверочную. Обучающая подборка 5. Методы предварительной обработки данных - К дипломному проекту нужна для метода опции весовых коэффициентов, а наличие проверочной, испытательной подборки необходимо для оценки эффективности обученной нейронной сети.

Обычно, употребляют последующую методику: из всей совокупы данных случайным образом выбирают около 90% векторов для обучения, а 5. Методы предварительной обработки данных - К дипломному проекту на оставшихся 10% тестируют сеть. Но, в критериях малого количества примеров эта процедура становится неэффективной исходя из убеждений оценивания вероятности ошибки систематизации. В разделе 4.4 был описан другой, более четкий способ расчета ошибки систематизации. Это 5. Методы предварительной обработки данных - К дипломному проекту, так именуемый, способ скользящего экзамена (синонимы: cross-validation, “plug-in”-метод).[7,9].

В определениях нейронных сетей основную идею способа можно выразить так: выбирается один вектор из всей совокупы данных, а другие употребляются 5. Методы предварительной обработки данных - К дипломному проекту для обучения НС. Дальше, когда процесс обучения будет завершен, предъявляется этот избранный вектор и проверяется верно сеть распознала его либо нет. После проверки избранный вектор ворачивается в начальную подборку. Потом выбирается другой 5. Методы предварительной обработки данных - К дипломному проекту вектор, на оставшихся сеть вновь учится, и этот новый вектор тестируется. Так повторяется ровно n1+n2 раз, где n1–количество векторов первого класса, а n2 - второго.

По окончанию метода общая возможность ошибки 5. Методы предварительной обработки данных - К дипломному проекту P подсчитывается последующим образом:

, где

N= n1+n2 - общее число примеров;

E– число неверных векторов (сеть некорректно распознала предъявляемый пример).

Недочетом этого способа являются огромные вычислительные издержки, связанные с необходимость много раз проводить функцию 5. Методы предварительной обработки данных - К дипломному проекту опции весовых коэффициентов, а в следствии этого и огромное количество времени, требуемое для вычисления величины .

Но в случае с малым количеством данных для определения эффективности обученной нейронной сети рекомендуется использовать конкретно способ 5. Методы предварительной обработки данных - К дипломному проекту скользящего экзамена либо некие его варианты. Необходимо отметить, что эффективность статистических способов систематизации сейсмических сигналов также проверяется способом скользящего экзамена. Таким макаром, применяя его для тестирования нейросетевого подхода, можно 5. Методы предварительной обработки данных - К дипломному проекту корректно сопоставить результаты тестов с способностями стандартных способов.


7. Программная реализация.


При выборе программного обеспечения для решения определенной задачки при помощи нейронных сетей вероятны два подхода: внедрение готовых решений в виде коммерческих пакетов либо реализация 5. Методы предварительной обработки данных - К дипломному проекту главных мыслях в виде своей программки.

1-ый подход позволяет получить резвое решение, не вдаваясь в детализированное исследование работы метода. Но, отличные пакеты, в каких имеются массивные средства для реализации разных парадигм нейронных 5. Методы предварительной обработки данных - К дипломному проекту сетей, обработки данных и детализированного анализа результатов, стоят огромных средств. И это очень ограничивает их применение. Еще одним недочетом будет то, что невзирая на свою универсальность, коммерческие пакеты не реализовывают полностью все 5. Методы предварительной обработки данных - К дипломному проекту способности моделирования и опции нейронных сетей, и не все из их позволяют генерировать программный код, что очень принципиально.

Если же появляется необходимость выстроить нейросетевое решение, приспособленное под определенную задачку, и реализованное в виде 5. Методы предварительной обработки данных - К дипломному проекту отдельного программного модуля, то 1-ый подход в большинстве случаев неприемлем.

Конкретно такие требования и были выдвинуты на исходном шаге исследовательских работ. Поточнее, нужно было создать программку, созданную для систематизации сейсмических 5. Методы предварительной обработки данных - К дипломному проекту данных с помощью нейросетевых технологий, также работающую под операционной системой Unix (Linux и Sun Solaris SystemV 4.2). В итоге была разработана программка, реализующая главные идеи нейроинформатики, изложенные в разделе 6.

Необходимо подчеркнуть, что базисный 5. Методы предварительной обработки данных - К дипломному проекту метод программки был выполнен под системой Windows 95, а только потом оптимизирован под Unix по той причине, что предложенная операционная система употребляется в узеньких научных и корпоративных кругах, и доступ к ней несколько ограничен 5. Методы предварительной обработки данных - К дипломному проекту, а для отладки программки требуется много времени.

Для большей сопоставимости версий под разные платформы использовались способности языка программирования С.


7.1 Многофункциональные способности программки.

В программке “nvclass.с” – (нейро-классификатор векторов данных) реализована модель двухслойного 5. Методы предварительной обработки данных - К дипломному проекту персептрона, представленная в разделе 6. Эта программка создана для соотнесения тестируемого вектора признаков сейсмической инфы к одному из 2-ух классов. Входные данные представляют собой предысторию сейсмических явлений определенного региона, также тестируемый 5. Методы предварительной обработки данных - К дипломному проекту вектор признаков, соответственный сейсмическому событию, не включенному в предысторию. Эти данные считываются из соответственных файлов в виде набора векторов признаков данной размерности. Автоматом, зависимо от размерности входных векторов, определяется конфигурация нейронной сети 5. Методы предварительной обработки данных - К дипломному проекту т.е. по дефлоту для данной размерности входных данных выбирается определенное (рекомендуемое по результатам подготовительных тестов) число нейронов в входном и сокрытом слоях, хотя при желании эти характеристики просто изменяются.

В 5. Методы предварительной обработки данных - К дипломному проекту качестве правила обучения нейронной сети реализован метод оборотного распространения ошибки и некие способы его оптимизации. После окончания процесса обучения тестируемый вектор признаков подается на вход уже обученной сети и рассчитывается итог, по которому 5. Методы предварительной обработки данных - К дипломному проекту сеть с определенной вероятностью соотносит входной вектор к одному из данных классов.

Для дополнительной опции нейронной сети в программке реализован ряд процедур, обрисованных в разделе 6. Из их можно выделить последующие:


Последняя процедура (неоднократное обучение сети) предусмотрена для устранения вероятных ошибок идентификации 5. Методы предварительной обработки данных - К дипломному проекту. Для нейронной сети данное число раз (Cycle) генерируются матрицы исходных весовых коэффициентов и производится метод обучения и идентификации тестового вектора. По приобретенным результатам обучения и тестирования выбирается вариант большего повторения 5. Методы предварительной обработки данных - К дипломному проекту и итоговое решение принимается исходя из него. Для исключения неоднозначности это число выбирается положительным , целым, нечетным.

В программке “nvclass” предусмотрены последующие режимы функционирования:


«Внешний» режим предназначен для систематизации вновь поступивших сейсмических данных и может быть использовать в последующих случаях



«Внутренний» режим служит для оценки вероятности ошибки идентификации сети и включает два подрежима – проверки корректности идентификации 1-го из векторов набора предыстории и поочередной проверки всех 5. Методы предварительной обработки данных - К дипломному проекту данных векторов (“cross-validation”).

Режим работы программки устанавливается в файле опций.

После окончания работы главные результаты записываются в соответственный файл отчета, который позже можно использовать для детализированного анализа. Пример файла приведен в 5. Методы предварительной обработки данных - К дипломному проекту приложении 4.


7.2 Общие сведения.

  1. Программный пакет созданный для идентификации типа сейсмического действия включает последующие модули:




  1. В реальный момент создано две версии программки. Одна работает под операционной системой Dos 6.2 и выше, а другая под Unix 5. Методы предварительной обработки данных - К дипломному проекту (Linux, Solaris V4.2).

  2. Нужное средство компиляции:

7.3 Описание входного файла с начальными данными.

В качестве начальных данных употребляется отформатированный текстовый файл, в каком хранится информация о размерности векторов, их количестве и сами вектора данных. Файл обязан иметь 5. Методы предварительной обработки данных - К дипломному проекту форму числовой матрицы. Любая строчка матрицы соответствует одному вектору признаков. Количество признаков должно совпадать с параметром NDATA. Количество столбцов равно количеству признаков плюс два. 1-ый столбец содержит порядковый номер вектора в общей 5. Методы предварительной обработки данных - К дипломному проекту совокупы данных (соответствует последовательности 1, 2, 3,...,NPATTERN), а в последнем столбце записаны значения указателя классификатора: 1- для вектора из первого класса, 0 – для вектора из второго класса. Все числовые характеристики делятся пробелами и записываются в кодах 5. Методы предварительной обработки данных - К дипломному проекту ASCII. Пример файла приведен в приложении 2.


7.4 Описание файла опций.

Характеристики опции программки содержаться во входном файле “nvclass.inp”. Пример файла приведен в приложении 3. Для опции употребляются последующие переменные:

^ TYPE - РЕЖИМ РАБОТЫ Программки

TYPE 5. Методы предварительной обработки данных - К дипломному проекту=1_1

Это значение соответствует наружному режиму функционирования программки без обучения нейронной сети, т.е. тестирование на заблаговременно обученной нейронной сети. При всем этом нужно задать последующие характеристики:

  1. NDATA –Размерность входных данных

  2. TESTVECTOR – Название 5. Методы предварительной обработки данных - К дипломному проекту файла с тестируемым вектором

  3. NETWORKFILE – Название файла с матрицами весов за ранее обученной сети

TYPE=1_2

Это значение соответствует наружному режиму функционирования программки с обучением нейронной сети и тестированием на ней данного вектора. Нужно 5. Методы предварительной обработки данных - К дипломному проекту задать последующие характеристики:

  1. NDATA –Размерность входных данных

  2. ^ NPATTERN –Количество векторов признаков

  3. PATTERNFILE-Имя файла с набором векторов признаков

  1. TESTVECTOR – Название файла с тестируемым вектором;

  2. RESNETFNAME- Имя выходного файла с матрицами весов обученной 5. Методы предварительной обработки данных - К дипломному проекту сети.

TYPE=2_1

Данное значение соответствует внутреннему режиму с проверкой 1-го из векторов из представленной подборки. Для функционирования программки нужно задать последующие характеристики:

  1. NDATA –Размерность входных данных

  2. ^ NPATTERN –Количество векторов признаков

  3. PATTERNFILE -Имя файла с набором 5. Методы предварительной обработки данных - К дипломному проекту векторов признаков

  4. NUMBERVECTOR -Номер тестового вектора признаков из данной подборки

TYPE=2_2

При данном значении параметра программка будет работать во внутреннем режиме с поочередной проверкой всех векторов (“cross_validation”). Нужно задать последующие характеристики 5. Методы предварительной обработки данных - К дипломному проекту :

  1. NDATA -Размерность входных данных

  2. ^ NPATTERN –Количество векторов признаков

  3. PATTERNFILE -Имя файла с набором векторов признаков


NDATA РАЗМЕРНОСТЬ ВЕКТОРОВ ПРИЗНАКОВ

Задается размерность векторов признаков, либо количество признаков в каждом векторе наблюдений. Данной величине должны соответствовать все входные данные 5. Методы предварительной обработки данных - К дипломному проекту в текущем сеансе работы программки.


^ NPATTERN КОЛИЧЕСТВО ВЕКТОРОВ ПРИЗНАКОВ

Этот числовой параметр охарактеризовывает объем обучающей подборки и соответствует количеству строк во входном файле PATTERNFILE.


PATTERNFILE ^ Название файла С НАБОРОМ ВЕКТОРОВ ПРИЗНАКОВ

Название файла, содержащего наборы 5. Методы предварительной обработки данных - К дипломному проекту векторов признаков предыстории сейсмических явлений региона с указателями классификатора.


TESTVECTOR ^ Название файла С ТЕСТИРУЕМЫМ ВЕКТОРОМ ПРИЗНАКОВ.

Название файла, содержащего вектор признаков, который нужно идентифицировать. Файл обязан иметь форму строчки (числа делятся 5. Методы предварительной обработки данных - К дипломному проекту пробелами). Количество признаков должно соответствовать переменной NDATA.


NETWORKFILE ^ Название файла С МАТРИЦАМИ ВЕСОВ За ранее ОБУЧЕННОЙ СЕТИ.

В этом параметре задано название файла, содержащего матрицы весов за ранее обученной нейронной 5. Методы предварительной обработки данных - К дипломному проекту сети с фиксированной размерностью входных данных. Файл формируется на прошлых шагах работы программки. Нужно учесть количество признаков NDATA (очевидно обозначенных в названии файла, под которые проектировалась нейронная сеть (NDATA соответствует количеству входов сети) и символьную 5. Методы предварительной обработки данных - К дипломному проекту аббревиатуру региона, из которого получена сейсмическая информация.


RESNETFNAME ^ ИМЯ ВЫХОДНОГО ФАЙЛА С МАТРИЦАМИ ВЕСОВ ОБУЧЕННОЙ СЕТИ

Название файла, содержащего характеристики спроектированной и обученной нейронной сети в данном сеансе эксплуатации программки 5. Методы предварительной обработки данных - К дипломному проекту. В названии файла непременно следует указывать символьную абревиатуру региона, из которого получена сейсмическая информация и размерность векторов признаков NDATA обрабатываемой инфы, чтоб избежать неурядицы в интерпретации различных моделей. (К примеру, norv18.net либо isrl 5. Методы предварительной обработки данных - К дипломному проекту9.net).


NUMBERVECTOR ^ ПОРЯДКОВЫЙ НОМЕР ВЕКТОРА ПРИЗНАКОВ

Этот параметр соответствует номеру вектора признаков (номеру строчки в первом столбце матрицы) из файла PATTERNFILE. Этот вектор признаков с указателем классификатора в предстоящем будет интерпретироваться 5. Методы предварительной обработки данных - К дипломному проекту как тестовый вектор. Он удаляется из всего набора , а оставшиеся NPATTERN-1 векторов будут применены в качестве обучающей подборки.


REPORTFNAME ^ Название файла ОТЧЕТА

Название файла с плодами работы программки.


InitWeigthFunc ФУНКЦИЯ ИНИЦИАЛИЗАЦИИ 5. Методы предварительной обработки данных - К дипломному проекту Исходных ВЕСОВЫХ КОЭФФИЦИЕНТОВ СЕТИ.

InitWeigthFunc=Gauss

Исходные матрицы весовых коэффициентов будут выбраны как нормально распределенные случайные величины с математическим ожиданием Alfa и среднеквадратическом отклонении Sigma ( N[Alfa,Sigma]).

InitWeigthFunc=Random

Исходные матрицы весовых коэффициентов 5. Методы предварительной обработки данных - К дипломному проекту будут выбраны как умеренно распределенные случайные величины в спектре [-Constant,Constant].

(Значение по дефлоту – InitWeigthFunc= RandomDistribution[-3,3], т.е. Constant=3)


Constant ^ Спектр Умеренно РАСПРЕДЕЛЕННЫХ СЛУЧАЙНЫХ ВЕЛИЧИН

Смотри InitWeigthFunc …


Sigma СРЕДНЕКВАДРАТИЧЕСКОЕ ОТКЛОНЕНИЕ НОРМАЛЬНО РАСПРЕДЕЛЕН-НЫХ СЛУЧАЙНЫХ 5. Методы предварительной обработки данных - К дипломному проекту ВЕЛИЧИН

Смотри InitWeigthFunc …


Alfa ^ МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ НОРМАЛЬНО РАСПРЕДЕЛЕННЫХ СЛУЧАЙНЫХ ВЕЛИЧИН

Смотри InitWeigthFunc …


WidrowInit NGUYEN-WIDROW ИНИЦИАЛИЗАЦИЯ .

Параметр позволяет сформировать исходные весовые коэффициенты по методике предложенной Nguyen и Widrow. Вероятные варианты: “Yes” – провести подобающую инициализацию 5. Методы предварительной обработки данных - К дипломному проекту. “No”- не использовать эту функцию.(Значение по дефлоту – “No”)


Shuffle ^ Смешивание ВЕКТОРОВ ПРИЗНАКОВ

При значении параметра “Yes” – входные вектора будут за ранее перемешаны. При “No” – вектора будут подаваться на вход сети в 5. Методы предварительной обработки данных - К дипломному проекту той последовательности, в какой они размещены во входном файле (^ PATTERNFILE). (Значение по дефлоту – “Yes”).

Scaling Подготовительная ОБРАБОТКА ВЕКТОРОВ ПРИЗНАКОВ.

Этот параметр служит для использования в рамках программки “nvclass” процедуры 5. Методы предварительной обработки данных - К дипломному проекту масштабирования входных данных. Эта процедура позволяет существенно ускорить процесс обучения нейронной сети, также отменно улучшает результаты тестирования. Вероятные значения параметра: “Yes”,”No”. (Значение по дефлоту – “Yes”).

LearnToleranse ^ ТОЧНОСТЬ ОБУЧЕНИЯ.

Параметр определяющий качество обучения 5. Методы предварительной обработки данных - К дипломному проекту нейронной сети. При достижении данной точности ε для каждого вектора признаков из обучающей подборки настройка весовых коэффициентов сети завершается и сеть считается обученной. (Значение по дефлоту – 0.1).


Eta ^ КОЭФФИЦИЕНТ ОБУЧЕНИЯ НЕЙРОННОЙ СЕТИ.

Значение коэффициента 5. Методы предварительной обработки данных - К дипломному проекту задает скорость и качество обучения нейронной сети. Употребляется для метода оборотного распространения ошибки. (Значение по дефлоту–1.0)


MaxLearnCycles ^ Наибольшее КОЛИЧЕСТВО ИТЕРАЦИЙ ОБУЧЕНИЯ

Параметр задает количество итераций после которых процесс обучения будет автоматом завершен 5. Методы предварительной обработки данных - К дипломному проекту. (Величина по умолчанию- 2000)


Loop ^ КОЛИЧЕСТВО ПОВТОРОВ ОБУЧЕНИЯ.

Параметр задает величину полных циклов функционирования программки (целое нечетное число). В каждом цикле формируются исходные матрицы весов делается обучение сети и осуществляется систематизация тестового вектора. Результаты всех 5. Методы предварительной обработки данных - К дипломному проекту циклов обрабатываются, и формируется итоговое заключение . (Значение по дефлоту=1).


7.5 Метод работы программки.

Метод работы программки находится в зависимости от режима, в каком она работает. Но, для всех из их 5. Методы предварительной обработки данных - К дипломному проекту можно выделить базисный набор операций:

  1. Инициализация сети;

  2. Настройка;

  3. Проверка тестовых векторов.
Инициализация
В этом разделе происходит считывание всех данных из соответственных файлов (файл с примерами обучающей подборки, файл с конфигурацией обученной сети, файл 5. Методы предварительной обработки данных - К дипломному проекту с примерами для тестирования). Потом, зависимо от режима функционирования, или происходит инициализация всех весовых коэффициентов сети данным образом, или сходу начинается проверка тестовых векторов на обученной заблаговременно нейронной сети, конфигурация которой считана из файла 5. Методы предварительной обработки данных - К дипломному проекту.

Настройка.

Если избранный режим предугадывает выполнение метода обучения нейронной сети, то программка, после считывания начальных данных, и исходной инициализации весовых коэффициентов делает функцию их опции до того времени, пока не выполнится одно 5. Методы предварительной обработки данных - К дипломному проекту из критерий остановки. Или значение ошибки обучения достигнет хотимого уровня и сеть будет считаться обученной, или количество итераций обучения превзойдет за ранее данное наибольшее число. По мере выполнения метода 5. Методы предварительной обработки данных - К дипломному проекту автоматом формируется полный отчет о состоянии сети.


^ Проверка тестовых векторов.

На этом шаге происходит тестирование данных векторов. При этом вероятны два варианта: тестируемый вектор может быть считан из файла, также можно задать 5. Методы предварительной обработки данных - К дипломному проекту номер тестируемого вектора в выборке начальных данных тогда и он не будет применен во время обучения. Результаты проверки записываются в файл отчета.


7.6 Эксплуатация программного продукта.

Перед тем, как приступить к эксплуатации программного продукта рекомендуется 5. Методы предварительной обработки данных - К дипломному проекту ознакомиться с форматом данных, в каком должны быть записаны начальная подборка векторов и с основными переменными файла опций программки.


Для корректной работы в предстоящем лучше придерживаться определенной последовательности действий:

  1. Приготовить начальные данные 5. Методы предварительной обработки данных - К дипломному проекту согласно принятом формату.

  2. Поменять в согласовании с требованиями определенные поля в файле опций.

  3. Запустить программку.

  4. Проанализировать итог, записанный в соответственном файле.


7.7 Итог работы программки.

Для исследовательских работ способностей разработанного программного обеспечения были проведены 5. Методы предварительной обработки данных - К дипломному проекту разные опыты, основная цель которых - подобрать значения характеристик опции программки, при которых итоговые результаты ее работы содержали меньшее количество ошибок идентификации. Методика, по которой оценивалась ошибка систематизации, базирована на подходе 5. Методы предварительной обработки данных - К дипломному проекту “cross-validation”.

Опыты проводились на данных, приобретенных из сейсмограмм, записанных в Норвежской сейсмологической сети. В начальной выборке насчитывалось 86 событий из различных классов, из их соответственно 50 – землетрясений и 36 – взрывов. Исследования проводились для 5. Методы предварительной обработки данных - К дипломному проекту различного числа признаков идентификации, а конкретно для 18 и 9 размерных векторов признаков.

1-ая серия тестов была проведена на 18 размерных векторах. Структура нейронной сети соответствовала , где 18 – количество нейронов во входном слое, 9- число нейронов на первом сокрытом 5. Методы предварительной обработки данных - К дипломному проекту слое , 1-размерность выхода сети. Повышение нейронов на сокрытом слое не приводило к улучшению результатов, а при уменьшении появлялись дополнительные ошибки, в следствии чего такая структура предлагается в качестве хорошей.

Дальше представлены описание 5. Методы предварительной обработки данных - К дипломному проекту характеристик опции программки во входных файлах и результаты тестирования.


В качестве исходной конфигурации использовались последующие значения настраиваемых характеристик в файле “nvclass.inp”:

TYPE=2_2

NDATA=18

NPATTERN=86

PatternFile=norv18.pat

NetStructure=[18,9,1]

WidrowInit=No

Shuffle=Yes

Scaling 5. Методы предварительной обработки данных - К дипломному проекту=Yes

Eta=0.7

MaxLearnCycles=1950

Loop=5


Результаты тестов отражают количество ошибок идентификации от разных характеристик опции программки.

Для примера разглядим воздействие процедуры исходной инициализации весовых коэффициентов и точности обучения на ошибку систематизации. На рисунках 7.1 и 7.2 едставлены эти 5. Методы предварительной обработки данных - К дипломному проекту результаты.





Отметим, что более постоянные результаты получаются в случае инициализации весов с помощью нормально распределенных величин. Можно достигнуть всего только 4-5 ошибок из 86, что соответствует ошибке идентификации равной 5-6 процентов.

Для 5. Методы предварительной обработки данных - К дипломному проекту 9 размерных векторов признаков была применена последующая структура нейронной сети , т.е. 5 нейронов на сокрытом слое было довольно для получения не плохих результатов.

В качестве примера приведем исследования подобные тем, которые описаны выше.(Рис. 7.3, 7.4).





Последнюю диаграмму 5. Методы предварительной обработки данных - К дипломному проекту можно представить в виде.




Уже на данный момент можно прийти к выводу, что при использовании не всего набора признаков идентификации, а некой части признаков результаты приметно улучшаются. При этом для 5. Методы предварительной обработки данных - К дипломному проекту варианта 9 –размерных признаков необыкновенную роль процедура исходной инициализации не играет.

Выставленные опыты не отражают полной картины о способностях внедрения нейронных сетей для идентификации типа сейсмического действия, но они экспериментально подтверждают эффективность 5. Методы предварительной обработки данных - К дипломному проекту нейросетевых технологий для решения этой задачки.

8. Заключение

Проведенные исследования подтвердили эффективность внедрения нейросетевых технологий для идентификации типа источника сейсмических действия. При определенных настройках нейронной сети можно достигнуть результатов, когда возможность правильного определения составляет 96.5%. Ошибки появляются лишь 5. Методы предварительной обработки данных - К дипломному проекту на 3 векторах из 86. Если ассоциировать приобретенные результаты с теми, которые можно достигнуть при использовании стандартных способов систематизации, один из вариантов которых приведен в разделе 4, то они фактически повторяют друг дружку. И 5. Методы предварительной обработки данных - К дипломному проекту статистика и нейронные сети ошибаются однообразное количество раз, при этом на одних и тех же векторах. Из 86 событий статистические способы ошибаются на 3 векторах (1–землетрясение и 2-взрыва), и нейросетевой классификатор также ошибается конкретно 5. Методы предварительной обработки данных - К дипломному проекту на этих векторах. Соответственно пока нельзя гласить о каком-то приемуществе 1-го способа над другим.

Заметим, что в реальных исследовательских работах были применены достаточно общие и универсальные технологии нейроинформатики (мультислойные сети 5. Методы предварительной обработки данных - К дипломному проекту используются для решения многих задач, но это не всегда самая лучшая нейроструктура), а применение более узеньких и специализированных нейронных парадигм в неких случаях позволяет получать наилучшие результаты. А именно, с помощью нейропакетов 5. Методы предварительной обработки данных - К дипломному проекту на тех же данных были поставлены ряд тестов над сетями Кохонена, описанными в разделе 5.4. Результаты проявили, что количество ошибок идентификации почти всегда составляет 3-4 вектора, т.е. фактически совпадают с плодами, приобретенными на 5. Методы предварительной обработки данных - К дипломному проекту мультислойных сетях и традиционных способах.

Итак, подводя результат всему выше произнесенному, выделим главные результаты проведенных исследовательских работ:

  1. Нейронные сети позволяют удачно решать делему определения типа источника сейсмического действия.

  2. Новое решение не 5. Методы предварительной обработки данных - К дипломному проекту уступает по эффективности обычным способам, использующимся в текущее время для решения исследуемой задачки.

  3. Вероятны улучшения технических черт нейросетевого решения.


В качестве последующих исследовательских работ, направленных на увеличение эффективности нейросетевого решения, можно предложить последующие:



Перечень литературы 5. Методы предварительной обработки данных - К дипломному проекту.


  1. Уоссермен Ф. “Нейрокомпьютерная техника” - М.: Мир,1992.

  2. Горбань А.Н., Дубинин-БарковскийВ.Л., Кирдин А.Н. “Нейроинформатика” СП “Наука” РАН 1998.

  3. Горбань А.Н., Россиев Д.А. “Нейронные сети на компьютере” СП “Наука” РАН 5. Методы предварительной обработки данных - К дипломному проекту 1996.

  4. Ежов А.А., Шумский С.А. “Нейрокомпьютинг и его применение в экономике и бизнесе”.1998.

  5. Bishop C.M. “Neural Networks and Pattern Recognition.” Oxford Press. 1995.

  6. Goldberg D. “Genetic Algorithms in Machine Learning 5. Методы предварительной обработки данных - К дипломному проекту, Optimization, and Search.” – Addison-Wesley,1988.

  7. Fausett L.V. “Fundamentals of Neural Networks: Architectures, Algorithms and Applications”, Prentice Hall, 1994.

  8. Kohonen T. “Self-organization and Associative Memory”, Berlin: Springer- Verlag, 1989.

  9. Kushnir A.F., Haikin L 5. Методы предварительной обработки данных - К дипломному проекту.M., Troitsky E.V. “Physics of the earth and planetary interiors” 1998.

  10. Копосов А.И., Щербаков И.Б., Кисленко Н.А., Кисленко О.П., Варивода Ю.В. Отчет по научно-исследовательской работе 5. Методы предварительной обработки данных - К дипломному проекту "Создание аналитического обзора информационных источников по применению нейронных сетей для задач газовой технологии"; и др., ВНИИГАЗ, 1995, www.neuralbench.ru

  11. Fukunaga K., Kessel D.L., “Estimation of classification error”, IEEE Trans. Comp. C 20, 136-143. 1971.

  12. Деев А.Д 5. Методы предварительной обработки данных - К дипломному проекту., “Применение статистического дискриминационного анализа и его ассимптотического расширения для сопоставления разных размерностей места.”, РАН 195, 759-762. 1970.

Приложение.


1. Пример подборки сейсмограмм.

В левом столбце представлены сейсмограммы, описывающие взрывы, а в правом – землетрясения 5. Методы предварительной обработки данных - К дипломному проекту.






  1. Пример файла с векторами признаков.

Представлена подборка из файла 9_Norv.txt, содержащего 9 размерные вектора признаков.



5-plan-samostoyatelnoj-raboti-uchebno-metodicheskij-kompleks-po-discipline-strategicheskij-menedzhment.html
5-plani-seminarskih-prakticheskih-zanyatij-rabochaya-programma-disciplini-specialnost-080103-65-nacionalnaya-ekonomika.html
5-planirovanie-osnovnih-fondov-i-oborotnih-sredstv-planirovanie-tehnicheskogo-razvitiya-proizvodstva-45-planirovanie.html