Evrisimsel Sinir Agları Ile Rekabetçi Derin Ögrenme
Proje Grubu: EEEAG Sayfa Sayısı: 51 Proje No: 118E293 Proje Bitiş Tarihi: 15.04.2021 Metin Dili: Türkçe İndeks Tarihi: 11-10-2022
Evrisimsel Sinir Agları Ile Rekabetçi Derin Ögrenme
Öz: Imge üzerinde nesne tanımada, nesnenin imge üzerindeki yeri, açısal oryantasyonu ve ölçütü algoritmik olarak çözülmesi gereken önemli zorluklardır. Bu zorlukları asmak için literatürde en sık kullanılan ve en basarılı sonuçları veren yaklasım evrisimsel yapay sinir aglarıdır (EYSA). EYSA yaklasımında katmanlar halinde evrisimsel süzgeçleme yapılır. Her katman, bir önceki katmanın sonuçlarını kullanarak daha karmasık öznitelikler elde eder. Son katmandan elde edilen en soyut öznitelikler ile sınıflandırma yapılır. EYSA yaklasımının en kritik asaması süzgeçlerin algoritmik ögrenilmesidir. Bu görev için agırlıklı olarak gradyan temelli geri yayılım (backpropagation) ögrenme algoritması kullanılmaktadır. Gradyan temelli algoritmalarda çogunlukla hem katman sayısı, hem de katmanlar için belli sayıda sinir seçilir ve bu sinirlerin girdi agırlıkları ilklendirilerek arama uzayında baslangıç noktası sabitlenir. Egitim, sınıflandırmanın yapıldıgı en son katmandan ilk katmana dogru, sinirler arası baglantılar düzenlenerek yapılır. Katmanlarda olusturulması gereken sinir sayısı hem veri kümesinin ne kadar zorlu olduguna, hem de veri kümesindeki örneklerin boyut sayısına baglıdır. Arama uzayının büyüklügü, verinin boyut sayısı ile üstel ilintilidir. Bu durum, pek çok problemde dogru sayıda ve uygun ilk degerlerle sinir olusturulmasını zorlastırır. Her sinirin çok sayıda girdisi oldugu için egitim asamasında sınıflandırma hatasının girdi saglayan sinirlere dogru paylastırılması zordur. Hatanın eniyilenmesi gradyan üzerinde gerçeklestirildigi için sinir agırlıkları ancak küçük adımlarla güncellenebilir. Bu durum imge örnekleri üzerinde çok sayıda epok yapılmasını zorunlu kılar. Bu nedenlerle, gradyan temelli yaklasımlarda (1) basarı rastgele ilklendirmeye baglıdır, (2) asamalar kredi atama problemine (credit assignment problem) açıktır ve (3) egitim, örnekler üzerinde çok sayıda tekrar gerektirmesi nedeniyle yavastır. Bu projede, EYSA mimarisi için gradyan temelli olmayan, gözetimsiz bir makine ögrenmesi yöntemi önerilmistir. Önerilen rekabetçi derin ögrenme (RDÖ) yaklasımı her katmanda sinirler arası rekabete dayalıdır. Yöntemimizde egitim, katmanlar halinde yapılır. Her katman bos olarak baslar. Ilk egitim örnegi, özgün bir öznitelik kabul edilerek süzgeç haline getirilir ve katmanın tek siniri olarak ilklendirilir. Egitim örnegi için katmanda sinir varsa, çıktılar hesaplanır. Belli bir esigin üzerinde etkinlesen sinirler arasında en yüksek çıktıya sahip sinir kazanan olarak seçilir ve ögrenme sadece bu sinir üzerinde, egitim örnegine dogru evrilerek olur. Böyle bir sinir mevcut degilse yeni bir sinir olusturulur. Tüm egitim örnekleri islendiginde, katmanda egitim kümesindeki örüntülerin degiskenliginin temsili için yeterli sayıda sinir olusturulmus olur. Sinirlerin egitim sırasında gerektikçe ve egitim örneklerine yakınsayacak sekilde olusturulması yoluyla EYSA'dan iki önemli hiperparametreyi; sinir sayısı ve sinir agırlıklarının ilklendirilmesini kaldırdık. Sınıflandırma asaması için, en derin katmanda ögrenilen karmasık öznitelikleri tam baglı bir sinir agına girdi olarak kullanarak gözetimli ögrenme gerçeklestirdik. Bu sayede, sıg evrisimsel katmanlarda kredi (hata) atama ve istikrarsız gradyanlar problemlerini ortadan kaldırmıs olduk. Sinirlerin rastgele degil, egitim örneklerine dayalı olarak olusturulması ile evrisimsel katmanlarda öznitelik çıkarımını her bir katman için bir epokta tamamladık. Katmanlarda rastgele ve gereginden fazla sinir olusturulmaması; sinirlerin egitim örneklerine dayalı olarak olusturulması sayesinde az sayıda tekrar yapılması; bunlara ek olarak öznitelik çıkarımında geri yayılım asamasının olmaması egitim sürecimizi kayda deger oranda hızlandırdı. Önerdigimiz RDÖ yöntemini, literatürde sık kullanılan MNIST, CIFAR-10 ve Tiny ImageNet veri kümeleri üzerinde sınıflandırma deneyleri ve BRATS veri kümesi üzerinde tümör bulma problemi üzerinde denedik ve sonuçlarımızı raporladık.
Anahtar Kelime: Konular:
-
Öz: Varying location, orientation and scale are the biggest challenges in object recognition with image processing. The most popular approach to tackle these challenges is the Convolutional Neural Networks (CNN) where filtering is done in convolutional layers that scan the entire image. Each layer of a CNN processes the outputs of the previous layer to extract more and more abstract and descriptive features. Classification is performed on the outputs of the last feature extraction layer through conventional supervised learning. The most critical stage of the CNN approach is algorithmic training of the filters in the hidden layers. One way to learn the filters is the gradient based backpropagation (BP) algorithm. Gradient based algorithms typically initialize a preset number of neurons with random weights, fixing the starting point in the search space. BP starts with the outputs of the last layer and progresses backwards as it distributes the credit (or error) towards the first layer, updating weights layer-wise. The number of neurons to be initialized in a layer depends on both the complexity of the data set and the dimensionality of the samples. This dependency makes it unpractical to initialize a correct number of hidden neurons with suitable weights for most problems. Distribution of classification error to neurons is a challenge as each neuron has multiple inputs. Error minimization is performed on a gradient; therefore weight updates can only be made with small steps. As a result, gradient based methods require repetitive exposure of training samples until convergence. Consequently in gradient based methods; (1) the success depends on random initialization, (2) learning stages are vulnerable to the credit assignment problem and (3) training is slow as it requires numerous epochs on samples. In this project we proposed an unsupervised learning algorithm to be used with the CNN architecture. In the proposed competitive deep learning (CDL) algorithm, neurons of a layer compete with each other to become a winner. The training of the network is performed layerwise and each layer starts out empty. The first training sample is considered a novel feature, which is converted into a filter and initialized as the only neuron of the layer. In case the layer is not empty, we calculate the outputs of the neurons for the input. The neuron that is stimulated the most and above a given similarity threshold is considered the winner and its weights are updated to evolve towards the input. When no such neuron exists, a new neuron will be initialized for this novel input. Therefore at the end of the training, a required and enough number of neurons are generated and initialized for representing the variance in the training set. A new neuron is generated only when the layer does not embody a neuron that is a representative of the given sample. This eliminates two important hyperparameters from CNN; the number of neurons and initialization of neuron weights. We performed classification by feeding the outputs of the deepest, most abstract and representative neurons as input to a fully connected network, which is to be trained in a supervised manner. Consequently, we eliminated the credit assignment and vanishing or exploding gradients problem in the shallow convolutional layers. Generation of new neurons based on the training examples significantly speeds up the convergence rate of the neuron weights and training is usually completed in a single epoch. Creation of exactly enough number of neurons and their targeted initialization together with the lack of back propagation significantly sped up our training process. We experimented on the popular MNIST, CIFAR-10 and Tiny ImageNet datasets to assess the classification performance; and on BRATS dataset to assess the tumor detection performance of the proposed algorithm.
Anahtar Kelime: Konular:
Erişim Türü: Erişime Açık
| APA | ESKİL M (2021). Evrisimsel Sinir Agları Ile Rekabetçi Derin Ögrenme. , 0 - 51. |
| Chicago | ESKİL Mustafa Taner Evrisimsel Sinir Agları Ile Rekabetçi Derin Ögrenme. (2021): 0 - 51. |
| MLA | ESKİL Mustafa Taner Evrisimsel Sinir Agları Ile Rekabetçi Derin Ögrenme. , 2021, ss.0 - 51. |
| AMA | ESKİL M Evrisimsel Sinir Agları Ile Rekabetçi Derin Ögrenme. . 2021; 0 - 51. |
| Vancouver | ESKİL M Evrisimsel Sinir Agları Ile Rekabetçi Derin Ögrenme. . 2021; 0 - 51. |
| IEEE | ESKİL M "Evrisimsel Sinir Agları Ile Rekabetçi Derin Ögrenme." , ss.0 - 51, 2021. |
| ISNAD | ESKİL, Mustafa Taner. "Evrisimsel Sinir Agları Ile Rekabetçi Derin Ögrenme". (2021), 0-51. |
| APA | ESKİL M (2021). Evrisimsel Sinir Agları Ile Rekabetçi Derin Ögrenme. , 0 - 51. |
| Chicago | ESKİL Mustafa Taner Evrisimsel Sinir Agları Ile Rekabetçi Derin Ögrenme. (2021): 0 - 51. |
| MLA | ESKİL Mustafa Taner Evrisimsel Sinir Agları Ile Rekabetçi Derin Ögrenme. , 2021, ss.0 - 51. |
| AMA | ESKİL M Evrisimsel Sinir Agları Ile Rekabetçi Derin Ögrenme. . 2021; 0 - 51. |
| Vancouver | ESKİL M Evrisimsel Sinir Agları Ile Rekabetçi Derin Ögrenme. . 2021; 0 - 51. |
| IEEE | ESKİL M "Evrisimsel Sinir Agları Ile Rekabetçi Derin Ögrenme." , ss.0 - 51, 2021. |
| ISNAD | ESKİL, Mustafa Taner. "Evrisimsel Sinir Agları Ile Rekabetçi Derin Ögrenme". (2021), 0-51. |
