Форум

xcont

Какаю бабочками :)))

Для тех, кому похуй, как работает, можете попробовать его обучить распознавать все цифры:
http://xcont.com/perc/newperceptron/ очень интересное занятие :)))))

Каждая новая цифра сбивает нейрон с толку, и некоторые цифры приходится учить повторно :)))

Ну а работает оно так:

Spoiler:

Код:

<?php
class Perceptron{
   public $mul; //отмасштабированные сигналы
   public $weight; //коэфициенты связей
   public $sinaps; //синапсы
   public $sizeX;
   public $sizeY;
   public $filename;
   public $sum; //сумма сигналов
   public $limit; //порог

   public function __construct($filename){
      $this->sizeX=3;
      $this->sizeY=5;
      $this->limit=100;
      $this->filenameW="wp/w".$filename.".txt";
   }
   public function set_filenameP($filename){
      $this->filenameP="wp/p".$filename.".png";
   }
   public function save_weight_file(){
      $serialize = serialize($this->weight);
      fwrite( fopen($this->filenameW,"w"), $serialize);
   }
   public function load_weight_file(){
      if(file_exists($this->filenameW)){
         $this->weight = unserialize(file_get_contents($this->filenameW));
      }else{
         for($x=0;$x<$this->sizeX;$x++){
            for($y=0;$y<$this->sizeY;$y++){
               $this->weight[$x][$y]="0";
            }
         }
      }
   }
   public function load_file(){
      $im = imagecreatefrompng($this->filenameP);
      for($x=0;$x<$this->sizeX;$x++){
         for($y=0;$y<$this->sizeY;$y++){
            $rgb = imagecolorat($im, $x, $y);
            $color=imagecolorsforindex($im, $rgb);
            if($color['red']>127){
               $color=0;
            }else{
               $color=1;
            }
            $this->sinaps[$x][$y]=$color;
         }
      }
      imagedestroy($im);
   }
   public function mul_weights(){
      for($x=0;$x<$this->sizeX;$x++){
         for($y=0;$y<$this->sizeY;$y++){
            $this->mul[$x][$y]=$this->sinaps[$x][$y]*$this->weight[$x][$y];
         }
      }
   }
   public function sum_muls(){
      $this->sum=0;
      for($x=0;$x<$this->sizeX;$x++){
         for($y=0;$y<$this->sizeY;$y++){
            $this->sum+=$this->mul[$x][$y];
         }
      }
   }
   public function porog(){
      if($this->sum >= $this->limit){
         return true; //true - отнимаем
      }else{
         return false; //false - прибавляем
      }
   }
   public function teach_plus(){
      for($x=0;$x<$this->sizeX;$x++){
         for($y=0;$y<$this->sizeY;$y++){
            $this->weight[$x][$y]+=$this->sinaps[$x][$y];
         }
      }
   }
   public function teach_minus(){
      for($x=0;$x<$this->sizeX;$x++){
         for($y=0;$y<$this->sizeY;$y++){
            $this->weight[$x][$y]-=$this->sinaps[$x][$y];
         }
      }
   }
}
for($i=0;$i<10;$i++){
   echo "<img style=\"border:1px solid #000000;\" src=\"wp/p".$i.".png\" width=\"30\" height=\"50\" /> ";
}
echo "<form style=\"padding-bottom:10px;\" action=\"".$_SERVER['PHP_SELF']."\" method=\"get\">\n";
echo "Изучить выбранную картинку <input type=\"text\" name=\"n\" value=\"";
echo (int)$_GET['n'];
echo "\" /><br>\n";
echo "Очистить коэффициенты связей <input type=checkbox Name=\"del\"/><br>";
echo "<input type=\"submit\" value=\"Поехали!\" /><br>\n";
echo "</form>\n";

if(isset($_GET['del'])){
   for($i=0;$i<10;$i++){
      $fp="wp/w".$i.".txt";
      if(file_exists($fp)){
         unlink($fp);
      }
   }
   echo "Коэффициенты связей очищены. Можете заново обучить нашуй нейронную сеть :)<br>\n";
}else{
   if((isset($_GET['n']))&&($_GET['n']>=0)&&($_GET['n']<=9)){
      $n=(int)$_GET['n'];
      echo "Грузим картинку ".$n.".<br>\n<br>\n";
      echo "<img src=\"wp/p".$n.".png\" width=\"30\" height=\"50\" /><br>\n<br>\n";
      do{
      $errors=0;
         for($i=0;$i<10;$i++){
            $perc[$i]=new Perceptron($i);
            $perc[$i]->set_filenameP($n);
            $perc[$i]->load_weight_file();
            $perc[$i]->load_file();
            $perc[$i]->mul_weights();
            $perc[$i]->sum_muls();
            $porog[$i]=$perc[$i]->porog();
            $say="false";
            if($porog[$i]){
               $say="true";
            }
            echo "Нейрон ".$i." сказал ".$say;
            if($i==$n){
               if($porog[$i]==true){
                  /*$perc[$i]->teach_minus();*/
               }else{
                  $perc[$i]->teach_plus();
                  echo ", учим нейрон ".$i." не говорить чепуху (плюсуем веса).";
                  $errors++;
               }
            }else{
               if($porog[$i]==true){
                  $perc[$i]->teach_minus();
                  echo ", учим нейрон ".$i." не говорить чепуху (минусуем веса).";
                  $errors++;
               }else{
                  /*$perc[$i]->teach_plus();*/
               }
            }
            echo "<br>\n";
            $perc[$i]->save_weight_file();
         }
         echo "Наша нейронная сеть ошиблася ".$errors." раз.";
         if($errors>0){
            echo " Продолжаем обучаться<br>\n<br>\n";
         }else{
            $finded=array_search('true', $porog);
            echo "<br>\nНейронная сеть определила на картинке: <span style=\"font-weight: bold; font-size:18px;\">".$finded."</span> <br>\n";
         }
      }while($errors!=0);
   }
}
?>

15 входов, слой на 10 нейронов, 10 выходов.

xcont

Прежде, чем его обучать - поставьте галочку, чтобы очистить предыдущее обучение. Или можете не ставить :)))

xcont

Надо будет потом сделать, чтобы ему можно было некорректные картинки скармливать

xcont

По поводу обучения. Если вы обучите сеть распознавать 0 (надо ввести "0" и нажать на кнопочку "Поехали!"), сеть потом безошибочно будет угадывать 0. Но если потом обучите сеть распознавать 1 - она временно забудет 0. Поочередно обучая 0 и 1 - сеть научится их безошибочно распознавать. Но потом если обучить 2 - она опять будет тормозить на 0 и 1. Но в этот раз 0 и 1 она вспоминать будет значительно быстрее.

Gruz

а границы цифер лучше четкие (т е black-white), или с градиентным переходом?
_________________
-=- infinity-=-

xcont

Границы цифер - четкие. размеры 3х5. Но растянуты до 30х50 пикселей в браузере, чтобы их было видно. Нечеткость добавляет сам браузер.
Для самой же нейронной сети до пизды градиент - там жесткое стоит правило:

xcont

xcont

PS. Чем выше порог активации - тем умнее сеть, и тем дольше ее обучать.
Это-же касается и весов, которые мы отнимаем (прибавляем) на каждом этапе обучения. Чем больше отнимем (прибавим) - тем глупее становится сеть. Если отнимать (прибавлять) входные сигналы - сеть получается довольно глупой. Чтобы сеть поумнела, надо перед корректировкой весов умножать входные сигналы на какой-то положительный дробный коэффициент (чем меньше - тем умнее сеть)

xcont

Самые проблемные цифры - 8 и 9, иногда 4 и 5 шалят. 1 2 и 0 узнает безошибочно.
Если повысить порог активации до 1000 - сеть становится умнее. Но повышать не буду, чтобы мне сайт не угробили.

Rasty

Кстати, можно какой-то примитивный генетический алгоритм попробовать на этом персептроне соорудить.

На поверхности клеточного автомата

xcont

xcont

Область, которую видит каждая бактерия:
1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1
1 1 1 1 0 1 1 1 1
1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1
стало быть, у каждого из 8 нейронов должен быть 81 вход.

8 нейронов, который выдал на входе больше порог - тот и определяет, куда сдвинется бактерия:
1 1 1
1 0 1
1 1 1

Если опасность увеличилась - нейрон ошибся и мы его наказываем (понижая коэффициенты)

Ну а если он так и не обучился - его слопают. Да и хуй с ним - лучше учиться надо было.

xcont

Gruz

кроль да кефир

Круто

сижу подрачиваю