Parçacık sürü optimizasyonu algoritması ile yapay sinir ağı eğitiminin FPGA üzerinde donanımsal gerçeklenmesi

Karakuzu, Cihan; ÇAVUŞLU, Mehmet Ali; Şahin, Suhap

Parçacık sürü optimizasyonu algoritması ile yapay sinir ağı eğitiminin FPGA üzerinde donanımsal gerçeklenmesi

Mehmet Ali ÇAVUŞLU, (Y-Vizyon Sinyalizasyon Tic. Ltd. Şti, Hacettepe Teknokent 3. ARGE Binası, NO: 13 06800, Beytepe, Ankara)

Cihan KARAKUZU, (Bilecik Üniversitesi, Mühendislik Fakültesi, Bilgisayar Mühendisliği Bölümü, Bilecik, Türkiye)

Suhap ŞAHİN (Kocaeli Üniversitesi, Mühendislik Fakültesi, Bilgisayar Mühendisliği Bölümü, Kocaeli, Türkiye)

Politeknik Dergisi

5 0

Yıl: 2010 Cilt: 13 Sayı: 2 Sayfa Aralığı: 83 - 92 Metin Dili: Türkçe İndeks Tarihi: 29-07-2022

Parçacık sürü optimizasyonu algoritması ile yapay sinir ağı eğitiminin FPGA üzerinde donanımsal gerçeklenmesi

Öz:

Bu çalışmada YSAnın doğasına uygun olarak paralel işlemlerle, FPGA üzerinde, YSA eğitimi için yeni bir yaklaşım sunulmuştur. Eğitim türev bilgisine ihtiyaç duymaksızın, rastgele arama algoritması olan parçacık sürü optimizasyonu (PSO) kullanılarak FPGA üzerinde gerçeklenmiştir. FPGA'de ilgili tüm parametre değerleri ve işlemler IEEE 754 kayan noktalı sayı formatında tanımlanmıştır. Önerilen yaklaşım örnek bir YSA mimarisi baz alınarak VHDL dilinde kodlanıp Altera EP2C35F672C6 FPGA'sı üzerinde gerçeklenmiştir. Elde edilen sonuçlar önerilen yaklaşımın YSA eğitimini başarı ile gerçeklediğini göstermiştir.

Anahtar Kelime:

Hardware implementation of artificial neural network training using particle swarm optimization on FPGA

Öz:

In this study, a new ANN training approximation on FPGA is presented using parallel processes according to the nature of ANN. Training is implemented on FPGA using particle swarm optimization (PSO) stochastic search algorithm which does not need any derivative information. All related parameter values and processes are defined with IEEE 754 floating point numbers format. Proposed approach has been realized on Altera EP2C35F672C6 FPGA based on a sample ANN architecture using VHDL language. Obtained results show that proposed approach has successfully achieved ANN training.

Anahtar Kelime:

Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık

1. Szabö, T., Feher, B., Horvâth, G., Neural network implementation using distributed arithmetic, in Proceedings of the International Conference on Knowledge-Based Electronic Systems , Adelaide, Australia, vol. 3, Pages. 511-520,1998.
2. Chau, K. W., A split-step PSO algorithm in predicting construction litigation outcome, Lecture Notes in Artificial Intelligence, Vol. 4099, Pages.1211-1215, 2006.
3. Kennedy, J., Eberhart, R. C., Particle swarm optimization, Proc. IEEE int'l conf. on neural networks,Vol. IV,. IEEE service center, Piscataway, NJ, Pages. 1942-1948, 1995.
4. Guerra, F.A., Coelho, L. dos S., Multi-step ahead nonlinear identification of Lorenz's chaotic system using radial basis neural network with learning by clustering and particle swarm optimization, Chaos, Solitons & Fractals, Volume 35, Issue 5, Pages 967-979, March 2008.
5. Zhou, J., Duan, Z., Li, Y., Deng, J.,Yu, D„ PSO-based neural network optimization and its utilization in a boring machine, Journal of Materials Processing Technology, Volume 178, Issues 1-3, 14 Pages 19-23, September 2006.
6. Bocaniala, C.D., Costa, J.S., Application of a novel fuzzy classifier to fault detection and isolation of the DAMADICS benchmark problem, Control Engineering Practice, Volume 14, Issue 6, Pages 653-669, June 2006,
7. Ghoshal, S.P., Optimizations of PID gains by particle swarm optimizations in fuzzy based automatic generation control, Electric Power Systems Research, Volume 72, Issue 3, Pages 203-212,15 December 2004.
8. Nedjah, N., Silva, R.M.D., Mourelle, L.M.M., Silva, M.V.C.D., Dynamic MAC-based architecture of artificial neural networks suitable for hardware implementation on FPGAs, Neurocomputing, Volume 72, Issues 10-12, Pages.2171-2179, 2009.
9. Atencia, M, Boumeridja, H., Joya, G., Garcıa-Lagos, F., Sandoval, F., FPGA implementation of a systems identification module based upon Hopfield Networks, Neurocomputing, Volume 70, Issues 16-18, Pages. 2828- 2835, 2009.
10. Stepanova, M., Lin, F., Lin, V.C.L., A Hopfield Neural Classifier and Its FPGA Implementation for Identification of Symmetrically Structured DNA Motifs, Journal of VLSI Signal Processing Systems, Volume 48, Issue 3, Pages 239-254, September 2007.
11. Rucket, U, Funke, A., Pintake, C., Acceleratorboard for Neural Associative Memories, Neurocomputing, Volume 5, Issue 1, Pages 39-49, 1993.
12. Cox, C., Blanz, W„ GABGLION- a Fast Field Programmable Gate Array Implementation of a Connectionist Classifier, IEEE Journal of Solid-satate Circuits, Volume 27, Issue 3, Pages 288-299,1992.
13. Morgan, P., Ferguson, A., Bolouri, H., Cost-performance analysis of FPGA, VLSI and WSI implementations of a RAM-based neural network, Proceedings of the Fourth International ,Conference on Microelectronics for Neural Networks and Fuzzy Systems, Turin, Italy, Pages. 235- 243, Sep. 26-28, 1994.
14. Martinez, J.J., Toledo, F.J., Fernandez, E., Ferrândez, J.M., A retinomorphic architecture based on discrete-time cellular neural networks using reconfigurable computing, Neurocomputing, Volume 71, Issues 4-6, Pages 766-775, January 2008.
15. Krips, M., Lammert, T., Kummert, A., FPGA implementation of a neural network for a real-time handtracking system, Proceedings of The First IEEE International Workshop on Electronic Design, Test and Applications, Pages 313-317, 2002.
16. Ossoinig, H., Reisinger, E., Steger, C., Weiss, R., Design and FPGA-Implementation of a Neural Networkwork, Proceedings of the 7th International Conference on Signal Processing Applications & Technology, Boston, USA,- Pages. 939-943,1996.
17. Şahin, S., Becerikli, Y., Yazici, S., Neural Network Implementation in Hardware Using FPGAs, Lecture Notes in Computer Science, Vlome 4234, Pages 1105- 112,2006.
18. Zhu, J., Milne, G.Jç, Gunther, B.K., Towards an FPGA Based Reconfigurable Computing Environment for Neural Network Implementations, Proceedings of the Ninth International Conference' orl' Artificial Neural Networks (ICANN'99) IEE Conference Proceedings 470,Edinburgh, UK , Pages.661-666, 1999.
19. Mousa,M., Areibi, S., Nichols, K, On the Arithmetic Precision for Implementing Back-Propagation Networks on FPGA: A Case Study, in FPGA Implementations of Neural Networks, eds. Amos R. Omondi and Jağath C. Rajapakse,Springer, US, Pages 37-61, 2006.
20. Ferreira, P., Ribeiro, P., Antunes, A., Dias, F.M. A high bit resolution FPGA implementation of a FNN with a new algorithm for the activation function, Neurocomputing, Volume 71, Issue (1-3), Pages. 71-77, 2006.
21. Won, E., A hardware implementation of articial neural nertworks using field programmable gate arrays, Nuclear Instruments and Methods in Physics Research Section A: Accelerators, Spectrometers, Detectors and Associated Equipment Volume 581, Issue 3, Pages 816-820, 1 November 2007.
22. Ferrer, D., Gonzalez, R., Fleitas, R., Acle, J.P., Canetti, R., NeuroFPGA - Implementing Artificial Neural Networks on Programmable Logic Devices, Proceedings of Design, Automation and Test in Europe Conference and Exhibition, Volume 3, Pages.218-223, 2004.
23. Chalhoub, N., Muller,F., Auguin, M., FPGA-based generic neural network architecture, Industrial Embedded Systems, International Symposium on; Antibes Juan-Les- Pins,France, Pages: 1-4, 18-20 Oct. 2006.
24. Çavuşlu, M.A., Karakuzu, C., Şahin, S., Neural Networkwork Hardware Implementation Using FPGA, in ISEECE 2006 3rd International Symposium on Electrical, Electronic and Computer Engineering Symposium Proceedings, Nicosia, TRNC,, Pages. 287-290, 2006.
25. Elliot, D. L., A Better Activation Function for Artificial Neural Networks, Technical Research Report T.R. 93-8, Institute for Systems Research, University of Maryland, 1993.
26. Lâzaro, J., Arias, J., Astarloa, A., Bidarte, U., Zuloaga, A., Hardware architecture for a general regression neural network coprocessor, Neurocomputing, Volume 71, Issues 1-3, Pages 78-87, December 2007.
27. Boubaker, M., Akil, M. Khalifa, K.B., Grandpierre.T.. Bedoui, M., Implementation of an LVQ neural network with a variable size: algorithmic specification, architectural exploration and optimized implementation on FPGA devices, Neural Computing & Applications, Volume 19, Number 2, Pages: 283-297, September 15, 2009
28. Savich, A.W., Moussa, M., Areibi,S., The Impact of Arithmetic Representation on Implementing MLP-BP on FPGAs: A Study, IEEE Transactions on Neural Networks, Volume 18, Issue 1, Pages:240 - 252, 2007.
29. Çavuşlu, M. A. , Karakuzu, C., Şahin, S., Yakut, M., Neural Network Training Based on FPGA with Floating Point Number Format and It's Performance, Neural Computing & Applications , DOI 10.1007/s00521-010- 0423-3.
30. Avcı, G. . Kösten, M.M. , Altun, H. , Karakaya, F., Çavuşlu, M. A, Implementation of an Hybrid Approach on FPGA for License Plate Detection Using Genetic Algorithm and Neural Networks, International Symposium on INnovations in Intelligent SysTems and Applications, Trabzon, Pages. 392-396, June 29-July 1, 2009.
31. Farmahini-Farahani, A., Fakhraie, S. M., Safari, S., Scalable Architecture for on-Chip Neural Network Training using Swarm Intelligence, Proc. of the Design, Automation and Test in Europe Conf. (DATE'08), Munich, Germany, Pages. 1340-1345, 2008.
32. Shi Y., Eberhart R. A Modified Particle Swarm Optimizer, Proceedings of the 1998 IEEE International Conference on Evolutionary Computation, Pages 69-73, 1998.
33. http://www.altera.com/support/examples/vhdl/vhd-single- clock-syncram.html (erişim 13 Eyl 2010)
34. Brysbaert, M., Algorithms for randomness in the behavioral sciences: A tutorial. Behavior Research Methods, Instruments, & Computers, Volume 23, Pages 45-60,1991.
35. Az, I., Şahin, S., Karakuzu, C. , Çavuşlu, M. A., Implementation of FFT and IFFT Algorithms in FPGA, in ISEECE 2006 3rd International Symposium on Electrical, Electronic and Computer Engineering Symposium Proceedings, Nicosia, TRNC, Pages. 7-10 ,2006.
36. Çavuşlu, M. A., Dikmese, S., Şahin, S., Küçük K. ve Kavak, A., Akıllı Anten Algoritmalarının IEEE 754 Kayan Sayı Formatı ile FPGA Tabanlı Gerçeklenmesi ve Performans Analizi, in Proc. URSI-TÜRKİYE' 2006 3. Bilimsel Kongresi, Ankara, Turkey, Pages. 610-612. 2006

APA	ÇAVUŞLU M, Karakuzu C, Şahin S (2010). Parçacık sürü optimizasyonu algoritması ile yapay sinir ağı eğitiminin FPGA üzerinde donanımsal gerçeklenmesi. , 83 - 92.
Chicago	ÇAVUŞLU Mehmet Ali,Karakuzu Cihan,Şahin Suhap Parçacık sürü optimizasyonu algoritması ile yapay sinir ağı eğitiminin FPGA üzerinde donanımsal gerçeklenmesi. (2010): 83 - 92.
MLA	ÇAVUŞLU Mehmet Ali,Karakuzu Cihan,Şahin Suhap Parçacık sürü optimizasyonu algoritması ile yapay sinir ağı eğitiminin FPGA üzerinde donanımsal gerçeklenmesi. , 2010, ss.83 - 92.
AMA	ÇAVUŞLU M,Karakuzu C,Şahin S Parçacık sürü optimizasyonu algoritması ile yapay sinir ağı eğitiminin FPGA üzerinde donanımsal gerçeklenmesi. . 2010; 83 - 92.
Vancouver	ÇAVUŞLU M,Karakuzu C,Şahin S Parçacık sürü optimizasyonu algoritması ile yapay sinir ağı eğitiminin FPGA üzerinde donanımsal gerçeklenmesi. . 2010; 83 - 92.
IEEE	ÇAVUŞLU M,Karakuzu C,Şahin S "Parçacık sürü optimizasyonu algoritması ile yapay sinir ağı eğitiminin FPGA üzerinde donanımsal gerçeklenmesi." , ss.83 - 92, 2010.
ISNAD	ÇAVUŞLU, Mehmet Ali vd. "Parçacık sürü optimizasyonu algoritması ile yapay sinir ağı eğitiminin FPGA üzerinde donanımsal gerçeklenmesi". (2010), 83-92.

APA	ÇAVUŞLU M, Karakuzu C, Şahin S (2010). Parçacık sürü optimizasyonu algoritması ile yapay sinir ağı eğitiminin FPGA üzerinde donanımsal gerçeklenmesi. Politeknik Dergisi, 13(2), 83 - 92.
Chicago	ÇAVUŞLU Mehmet Ali,Karakuzu Cihan,Şahin Suhap Parçacık sürü optimizasyonu algoritması ile yapay sinir ağı eğitiminin FPGA üzerinde donanımsal gerçeklenmesi. Politeknik Dergisi 13, no.2 (2010): 83 - 92.
MLA	ÇAVUŞLU Mehmet Ali,Karakuzu Cihan,Şahin Suhap Parçacık sürü optimizasyonu algoritması ile yapay sinir ağı eğitiminin FPGA üzerinde donanımsal gerçeklenmesi. Politeknik Dergisi, vol.13, no.2, 2010, ss.83 - 92.
AMA	ÇAVUŞLU M,Karakuzu C,Şahin S Parçacık sürü optimizasyonu algoritması ile yapay sinir ağı eğitiminin FPGA üzerinde donanımsal gerçeklenmesi. Politeknik Dergisi. 2010; 13(2): 83 - 92.
Vancouver	ÇAVUŞLU M,Karakuzu C,Şahin S Parçacık sürü optimizasyonu algoritması ile yapay sinir ağı eğitiminin FPGA üzerinde donanımsal gerçeklenmesi. Politeknik Dergisi. 2010; 13(2): 83 - 92.
IEEE	ÇAVUŞLU M,Karakuzu C,Şahin S "Parçacık sürü optimizasyonu algoritması ile yapay sinir ağı eğitiminin FPGA üzerinde donanımsal gerçeklenmesi." Politeknik Dergisi, 13, ss.83 - 92, 2010.
ISNAD	ÇAVUŞLU, Mehmet Ali vd. "Parçacık sürü optimizasyonu algoritması ile yapay sinir ağı eğitiminin FPGA üzerinde donanımsal gerçeklenmesi". Politeknik Dergisi 13/2 (2010), 83-92.