Форум

Gruz

что?

Gruz

нан пхп делать мат вычисления да еще с графикой это жесть.

А что улучшает эта Смигма? Зачем она вообще нужна
_________________
-=- infinity-=-

xcont

Добавляет нелинейность в нейронную сеть

xcont

Но в моей нейронной сети она до писды. Она нужна в многослойных нейронных сетях с обратным распространением ошибки

Может меня кто то посчитает некропостером, но дюже интересно продолжить беседу о нейронных сетях. Есть ли на этом форуме жители знакомые с НС ?

BrittaniLouiseBieber

Rasty

Gruz

Rasty

Недели три назад начал читать книгу по нейросетям (Ян Гудфеллоу, Иошуа Бенджио, Аарон Курвиль - "Глубокое обучение"). Тяжело идет. Там первая глава, на 50 страничек, по Линейной Алгебре. 15 лет назад учил Линейную Алгебру на первом курсе. Линейные уравнения тогда решал очень бодренько, а сейчас все позабывал, причем наглухо. Сидел две недели вспоминал. Ну, как-то хз. Две недели сидеть линейные уравнения решать, вместо программирования нейросетей. Книгу, короч, отложил - потом дочитаю.

Надо че-нить напрограммировать. Че можно напрограммировать? Вообще, у специалистов по машобу есть своя "хеллоу ворлд" программа - программа, с которой начинают изучение нейросетей и на которой потом соревнуются, чья нейросеть круче. Это программа, распознающая рукописные цифры. Существует база данных MNIST, которая содержит 60 000 картинок для обучения и 10 000 картинок для тестирования. Картинки такие:

Унылота, блеать

Во-первых, на JS получить цвет пикселя на картинке - то еще колдунство. Политика безопасности браузеров не позволяет загружать в скрипт картинки с веника. В противном случае, злоумышленник мог бы получить содержимое любого файла, находящегося на компьютере пользователя, зашедшего на сайт. Поэтому приходится загружать картинки на сайт, в папку со скриптом. Там это все дело тоже работает на отъебись. Намудохался летом, когда клеточные автоматы делал. Массив с популяцией затер, но осталась картинка с генофондом. Пришлось парсить. JS через раз файл подгружает.
Во-вторых, обучать нейросеть распознавать цифры - скучно это. В 60-х годах обучили

Куда еще можно нейросеть прикрутить? Таки вспомнил ту хуиту, которую 7 лет назад навыдумывал

Rasty

[youtube]http://youtube.com/watch?v=Tf0f28pmz7Y[/youtube]

Slav

а шо она делает?

Rasty

Кто?

Slav

Нейронка

Rasty

В данном случае, обучается выживать в некоторых заданных условиях.

Смотри, что вообще за хуита эти "нейросети".

Spoiler:

Самый простой нейрон - это сумма множества "входные сигналов" умноженных на соответствующие им "весовые коэффициенты".

Входными сигналами могут быть, например, цвета пикселей на картинке. Черный пиксель - 0 на вход, белый пиксель - 1 на вход. Весовые коэффициенты - константы, которые мы редактируем в процессе обучения, чтобы научить нейрон активироваться (выдавать нужное число на выходе) только когда на входы поступают "правильные" сигналы. Сигнал на выходе считается максимум просто:
y=x1*w1+x2*w2+...+xn*wn

Например, обучаем нейрон распознавать цифру 3 на картинке. Пиксели на картинке - xn. Устанавливаем весовые коэффициенты wn таким образом, чтобы сумма была максимальной, если на входе тройка, и минимальной, если на входе другая цифра. Следующий нейрон обучаем распознавать девятку. Для него тоже устанавливаем соответствующие весовые коэффициенты. Для каждого нейрона свои весовые коэффициенты, которые никак не зависят от весовых коэффициентов других нейронов. Два нейрона, например:

Циферки размером 3х5 пикселей такая нейронка распознает без проблем (в самом начале этой темы ссылка и исходник на PHP), но если сделать картинки побольше - нейронка начинает тупить. Не только картинку побольше - перевернешь картинку вверх ногами и нейросеть ее больше не распознает. Решается это добавлением "скрытый слоев" в нейронку. Выходы нейронов в каждом скрытом слое являются входами для нейронов в следующем слое. На картинке пример с двумя слоями:

Скрытые слои не распознают картинку, а учатся выделять некоторые свойства картинки. Например, кружочки или палочки на картинках, если пытаемся обучить сеть распознавать цифры. Слой на выходе уже не напрямую с пикселями работает, а с кружочками и палочками из скрытого слоя.

Все нейросетки делаются по вышеописанному принципу, с некоторыми модификациями. Сложность нейросети не в архитектуре, а в способе обучения. Много разных способов напридумывали, как обучить нейросеть. Самый кайф той системы, что я тут на днях напридумывал в том, что нейросеть вполне можно обучить генетическим алгоритмом. Даже не так. Самый кафй в том, что обучение нейросети - одна из тех задач, которые решаются генетическим алгоритмом.

Каждая особь ("генотип" каждой особи) в генетическом алгоритме - это массив с весовыми коэффициентами, которые нам надо подобрать (подобрать коэффициенты = обучить сеть). В начальной популяции, состоящей из некоторого числа особей, эти коэффициенты заполняются случайным образом. Каждая особь в популяции пытается решить определенную задачу - берем коэффициенты из массива (генотипа) особи, подставляем в нейросеть, смотрим, что нейросеть дает на выходе. Далее считаем количество ошибок сделанных каждой особью. Те особи, которые чаще всего ошибаются - уничтожаются. Те, которые реже ошибаются - размножаются. Размножение - берем две лучшие особи, смешиваем их генотипы (массивы с весовыми коэффициентами), добавляем мутаций (несколько рандомных чисел записываем в массив), получаем две особи, которыми заменяем двух уничтоженных особей. Если повторять это многократно (решение задачи -> генетический алгоритм -> решение задачи -> генетический алгоритм ->) - в популяции будут оставаться особи, которые делают все меньше и меньше ошибок.

Задача, которую пытаются решить нейросети (в той модели, которую я тут напрограммировал) - необычная. Кайф в том, что они решают ее не по отдельности, а совместно. То есть, нейросеть, кроме всего прочего должна понимать, что рядом с ней может находится плохо обученная нейросеть, которая делает ошибки и, тем самым, мешает решить задачу.

В том виде, в котором сейчас это дело у меня во вкладке запущено, задача выглядит следующим образом. Есть поле 200х200 клеток. На поле 200 красных точек, 200 зеленых и 200 синих. Красные точки - это особи-нейросетки, синие и зеленые - боты, которые не двигаются. Красные спавнятся в верхней части поля, зеленые - в центральной, синие - в нижней. У каждой точки есть параметр hp (у ботов тоже). Когда особь добавляется на поле (при первом запуске или после скрещивания, когда плохие особи убираются с поля и вместо них добавляются новые), ей устанавливается значение hp равное 10000. За один цикл (один цикл - каждая сетка смотрит, что находится вокруг нее и делает ход в одном из 9-ти направлений) особь теряет 1 hp. Красные едят зеленых, синие едят красных (зеленые едят синих, но это не происходит, томущо они спавнятся в разных областях и не двигаются). Как едят? Если красная становится в клетку, где находится зеленая - hp красной увеличивается на 100 за один цикл, hp зеленой уменьшается на 100. Если красная становится в клетку, где находится синяя - у красной уменьшается hp, у синей - увеличивается. Чем больше стартовое hp - тем дольше живет особь и тем тщательней происходит отбор (тщательней собирается статистика для отбора).

После инициализации, все точки заспавнились в своих областях:

6000 циклов. Красные равномерно заполняют поле:

30000 циклов. Большая часть красных занимает область, где спавнятся зеленые и старается не лезть в область с синими:

85000 циклов:

400000 циклов:

523000 циклов:

Вот здесь реализация: http://xcont.com/n/rgb/

Как это реализовано. Фактически, здесь три поля, вместо одного. Одно поле - на котором размещаются красные точки, второе - зеленые, третье - синие. Каждая особь видит вокруг область 11х11=121 пикселей вокруг своих координат (клетки, где она находится). 121 на красном поле, 121 на зеленом и 121 на синем. Итого 363 входа. В скрытом слое находится 121 нейрон (число взято от балды - предположительно, чем больше нейронов в скрытом слое - тем умнее сеть). В выходном слое 9 нейронов, отвечающих за изменение координат особи.

Вот так это безобразие выглядит в динамике после 7-ми часов обучения:

[youtube]http://youtube.com/watch?v=XIbkmkw-8PA[/youtube]

Rasty

Сидел после Нового Года от травы отходил, читал Википедию и ВНЕЗАПНО понял, как работают сверточные нейронные сети

Экспериментального котяру посворачивал: