Çoklu Kamera Görüntülerinin Evrişimsel Sinir Ağları (CNN) ve Makine Öğrenmesi Teknikleri ile İşlenerek Sakarya Şehri İçin Özelleştirilmiş Bir Trafik Planlama Aracının Geliştirilmesi

OZMEN, AHMET; VARAN, Metin

Çoklu Kamera Görüntülerinin Evrişimsel Sinir Ağları (CNN) ve Makine Öğrenmesi Teknikleri ile İşlenerek Sakarya Şehri İçin Özelleştirilmiş Bir Trafik Planlama Aracının Geliştirilmesi

Yürütücü

Ahmet ÖZMEN (SAKARYA ÜNİVERSİTESİ, BİLGİSAYAR VE BİLİŞİM BİLİMLERİ FAKÜLTESİ, BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ)

Araştırmacı(lar)

Metin VARAN (SAKARYA ÜNİVERSİTESİ, BİLGİSAYAR VE BİLİŞİM BİLİMLERİ FAKÜLTESİ, BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ)

19 14

Proje Grubu: EEEAG Sayfa Sayısı: 29 Proje No: 119E077 Proje Bitiş Tarihi: 15.09.2020 Metin Dili: Türkçe İndeks Tarihi: 05-01-2022

Çoklu Kamera Görüntülerinin Evrişimsel Sinir Ağları (CNN) ve Makine Öğrenmesi Teknikleri ile İşlenerek Sakarya Şehri İçin Özelleştirilmiş Bir Trafik Planlama Aracının Geliştirilmesi

Öz:

Kavşaklarda gerçek zamanlı olarak trafik akışının izlenmesi, şehir planlaması, dinamik trafik akış kontrolü ve simülasyon araçları için gerekli bir adımdır. Ancak, kavşaklardaki trafik akışının kamera ile izleyerek online bilgi çıkarımı yapılması zor bir problemdir. Kavşaklardan elde edilen birden çok şerit, gelen-giden yönleri ve çeşitli araç sınıflarını içeren görüntülerden anlamlı veri çıkarımı ciddi çalışma gerektirmektedir. Literatürde bu alanda çalışmalar olmakla beraber, gerçek-zamanlı olarak veri çıkarımında bu algoritmalar eksik kalmaktadır. Bu çalışmada, nesne algılama ve nesne izleme gibi görüntü işleme algoritmaları kavşaklarda seyir halindeki araçlar için geliştirilmiş ve sonuç olarak video temelli gerçek zamanlı trafik akış izleme sistemi geliştirilmiştir. Kavşağa gelen ve çıkan araçların yörüngelerini bulmak için, araç tespitinin çıktısı olan ?sınırlayıcı-kutu? (bounding-box) özellikleri kullanılarak yeni bir nesne izleme algoritması geliştirilmiştir. Birçok parametrenin ele alındığı görüntü işleme algoritmasında, araçların tespiti ve sınıflandırılması için Evrişimli Sinir Ağları (CNN) kullanılmıştır. Çalışma sırasında çeşitli bölgeler için özel araç veri setleri oluşturulmuş ve yapay sinir ağları bu verilerle eğitilmiştir. Proje kapsamında geliştirilen yazılım aracı online olarak kavşaklardan geçen araçlar için veri üretebilmektedir. Bu veriler, araçların sınıflarına göre sayıları, nereden gelip hangi istikamete gittikleri, kavşaktan hangi hızda geçtikleri gibi bilgiler içermektedir. Bunun yanında, geliştirilen sistemin doğruluğunu etkileyen, görüntüde araçların örtüşmesi veya çeşitli parlaklık sorunlarına neden olan kamera konumları ve açıları gibi çeşitli parametreler incelenmiştir. Proje çalışmalarının son kısmında karşılaştırmalı çalışma yapmak üzere Kalman Filtresi kodlanmış ve aynı video görüntüleri her iki sisteme uygulanmıştır. Proje kapsamında geliştirilen ?sınırlayıcı-kutu? (bounding-box) araç izleme algoritmalarının en az %5 daha doğru sonuçlar ürettiği görülmüştür. Bunun yanında, sınırlayıcı-kutu daha az RAM, CPU gibi bilgisayar kaynağı tüketmiştir. Geliştirilen algoritmaların görüntü temelli gerçek-zamanlı trafik akış kontrolünde kullanılabileceği anlaşılmaktadır

Anahtar Kelime: gerçek zamanlı trafik akışı izleme; araç tespiti; araç takibi; veri ilişkilendirme; derin sinir ağı.

Konular: Bilgisayar Bilimleri, Donanım ve Mimari Bilgisayar Bilimleri, Teori ve Metotlar

Erişim Türü: Erişime Açık

Ahmad, F., Basit, A., Ahmad, H., Mahmud, S. A., Khan, G. M., & Yousaf, F. Z. (2013, Dec). Feasibility of deploying wireless sensor based road side solutions for intelligent transportation systems. In 2013 international conference on connected vehicles and expo (iccve) (pp.320–326).
Badino, H., Franke, U., & Mester, R. (2012, 03). Free space computation using stochastic occupancy grids and dynamic programming. , 1–12. Barrois, B., Hristova, S., Wohler, C., Kummert, F., & Hermes, C. (2009, June). 3d pose estimation of vehicles using a stereo camera. In 2009 ieee intelligent vehicles symposium (pp. 267–272).
Bin-Feng Lin, Yi-Ming Chan, Li-Chen Fu, Pei-Yung Hsiao, Li-An Chuang, Shin-Shinh Huang, & Min-Fang Lo. (2011, June). Integrating appearance and edge features for sedan vehicle detection in the blind-spot area. IEEE Transactions on Intelligent Transportation Systems, 13 (2), 737–747.
Broggi, A., Cappalunga, A., Caraffi, C., Cattani, S., Ghidoni, S., Grisleri, P., Zani, P. (2010, March). Terramax vision at the urban challenge 2007. IEEE Transactions on Intelligent Transportation Systems, 11 (1), 194–205.
Cabani, I., Toulminet, G., & Bensrhair, A. (2008, Oct). Contrast-invariant obstacle detection system using color stereo vision. In 2008 11th international ieee conference on intelligent transportation systems (pp. 1032–1037).
Chang, W., & Cho, C. (2008, Oct). Real-time side vehicle tracking using parts-based boosting. In 2008 ieee international conference on systems, man and cybernetics (pp. 3370–3375). Chang, W., & Cho, C. (2010, June). Online boosting for vehicle detection. IEEE Transactionson Systems, Man, and Cybernetics, Part B (Cybernetics), 40 (3), 892–902.
Chen, Y., Ardila-Gomez, A., & Frame, G. (2017). Achieving energy savings by intelligent transportation systems investments in the context of smart cities. Transportation Research Part D: Transport and Environment , 54 , 381– 396.
Datondji, S. R. E., Dupuis, Y., Subirats, P., & Vasseur, P. (2016, Oct). A survey of vision-based traffic monitoring of road intersections. IEEE Transactions on Intelligent Transportation Systems, 17 (10), 2681-2698. Ding, Z., & Huang, G. (n.d.).
El Mokaddem, Y., Jawab, F., & Saâd, L. E. (2019, June). Intelligent transportations systems : Review of current challenges and success factors: The case of developing countries. In 2019 international colloquium on logistics and supply chain management (logistiqua) (p. 1-6).
Erbs, F., Barth, A., & Franke, U. (2011, June). Moving vehicle detection by optimal segmentation of the dynamic stixel world. In 2011 ieee intelligent vehicles symposium (iv) (pp.951–956).
Felzenszwalb, P. F., Girshick, R. B., McAllester, D., & Ramanan, D. (2010, Sep.). Object detection with discriminatively trained part-based models. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32 (9), 1627–1645.
Fernández-Sanjurjo, M., Bosquet, B., Mucientes, M., & Brea, V. M. (2019). Real-time visual detection and tracking system for traffic monitoring. Engineering Applications of Artificial Intelligence, 85 , 410 – 420.
Franke, U., Rabe, C., Badino, H., & Gehrig, S. (2005). 6d-vision: Fusion of stereo and motion for robust environment perception.
W. G. Kropatsch, R. Sablatnig, & A. Hanbury (Eds.),Pattern recognition (pp. 216–223). Berlin, Heidelberg: Springer Berlin Heidelberg.
Geetha, S., & Cicilia, D. (2017, Oct). Iot enabled intelligent bus transportation system. In 2017 2nd international conference on communication and electronics systems (icces) (pp. 7–11).
Girshick, R. (2015, Dec). Fast r-cnn. In 2015 ieee international conference on computer vision (iccv) (pp. 1440– 1448).
Girshick, R., Donahue, J., Darrell, T., & Malik, J. (2014, June). Rich feature hierarchies for accurate object detection and semantic segmentation. In 2014 ieee conference on computer vision and pattern recognition (pp. 580–587).
Guerrero-Ibáñez, J., Zeadally, S., & Contreras-Castillo, J. (2018). Sensor technologies for intelligent transportation systems. Sensors, 18 (4), 1–24.
Guido, G., Gallelli, V., Rogano, D., & Vitale, A. (2016). Evaluating the accuracy of vehicle tracking data obtained from unmanned aerial vehicles. International Journal of Transportation Science and Technology, 5 (3), 136 - 151. (Unmanned Aerial Vehicles and Remote Sensing).
Haselhoff, A., & Kummert, A. (2009, Oct). An evolutionary optimized vehicle tracker in collaboration with a detection system. In 2009 12th international ieee conference on intelligent transportation systems (pp. 1–6).
Higuchi, T., Martin, P., Chakraborty, S., & Srivastava, M. (2015). Anonycast: Privacy preserving location distribution for anonymous crowd tracking systems. In Proceedings of the 2015 acm international joint conference on pervasive and ubiquitous computing (p. 1119-1130). New York, NY, USA: Association for Computing Machinery.
Hilbert, E. E., Rennie, P. A., & Kneidl, W. A. (1980, May). A sensor for control of arterials and networks. IEEE Transactions on Vehicular Technology, 29 (2), 208–215.
Ismagilova, E., Hughes, L., Dwivedi, Y. K., & Raman, K. R. (2019). Smart cities: Advances in research an information systems perspective. International Journal of Information Management , 47 , 88 – 100.
Javed, M. A., Zeadally, S., & Hamida, E. B. (2019). Data analytics for cooperative intelligent transport systems. Vehicular Communications, 15 , 63 – 72.
Kanhere, N. K., Pundlik, S. J., & Birchfield, S. T. (2005, June). Vehicle segmentation and tracking from a lowangle off-axis camera. In 2005 ieee computer society conference on computer vision and pattern recognition (cvpr’05) (Vol. 2, p. 1152-1157 vol. 2).
Kavukcuoglu, K., Sermanet, P., Boureau, Y.-L., Gregor, K., Mathieu, M., & LeCun, Y. (2010). Learning convolutional feature hierarchies for visual recognition. In Proceedings of the 23rd international conference on neural information processing systems - volume 1 (p. 1090-1098). Red Hook, NY, USA: Curran Associates Inc.
Khan, R., Zawoad, S., Haque, M. M., & Hasan, R. (2014). Otit: Towards secure provenance modeling for location proofs. New York, NY, USA: Association for Computing Machinery.
LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521 (7553), 436-444.
Lee, S., Tewolde, G., & Kwon, J. (2014, March). Design and implementation of vehicle tracking system using gps/gsm/gprs technology and smartphone application. In 2014 ieee world forum on internet of things (wf-iot) (pp. 353–358).
Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Zitnick, C. L. (2014). Microsoft coco: Common objects in context. Lecture Notes in Computer Science, 740-–755.
Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C.-Y., & Berg, A. C. (2016). Ssd: Single shot multibox detector. In Computer vision – eccv 2016 (pp. 21–37). Cham: Springer International Publishing.
Liu, W., Wen, X., Duan, B., Yuan, H., & Wang, N. (2007, June). Rear vehicle detection and tracking for lane change assist. In 2007 ieee intelligent vehicles symposium (pp. 252–257).
Liu, Y., Tian, B., Chen, S., Zhu, F., & Wang, K. (2013, July). A survey of vision-based vehicle detection and tracking techniques in its. In Proceedings of 2013 ieee international conference on vehicular electronics and safety (pp. 72–77).
Lombardi, P., Giordano, S., Farouh, H., & Yousef, W. (2012). Modelling the smart city performance. Innovation: The European Journal of Social Science Research, 25 (2), 137–149.
Mandellos, N. A., Keramitsoglou, I., & Kiranoudis, C. T. (2011). A background subtraction algorithm for detecting and tracking vehicles. Expert Systems with Applications, 38 (3), 1619 – 1631.
Peng Chang, Hirvonen, D., Camus, T., & Southall, B. (2005, Sep.). Stereo-based object detection, classifcation, and quantitative evaluation with automotive applications. In 2005 ieee computer society conference on computer vision and pattern recognition (cvpr’05) -workshops (pp. 62–62).
Pu, M., Mao, J., Du, Y., Shen, Y., & Jin, C. (2019). Road intersection detection based on direction ratio statistics analysis. In 2019 20th ieee international conference on mobile data management (mdm) (pp. 288–297).
Redmon, J., & Farhadi, A. (2017, July). Yolo9000: Better, faster, stronger. In 2017 ieee conference on computer vision and pattern recognition (cvpr) (pp. 6517–6525).
Ren, S., He, K., Girshick, R., & Sun, J. (2017, June). Faster r-cnn: Towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39 (6), 1137–1149.
Rouf, I., Miller, R., Mustafa, H., Taylor, T., Oh, S., Xu, W., Seskar, I. (2010). Security and privacy vulnerabilities of in-car wireless networks: A tire pressure monitoring system case study. In Proceedings of the 19th usenix conference on security (p. 21). USA: USENIX Association.
Sivaraman, S., & Trivedi, M. M. (2013a, June). Integrated lane and vehicle detection, localization, and tracking: A synergistic approach. IEEE Transactions on Intelligent Transportation Systems, 14 (2), 906-917.
Sivaraman, S., & Trivedi, M. M. (2013b, Dec). Looking at vehicles on the road: A survey of vision-based vehicle detection, tracking, and behavior analysis. IEEE Transactions on Intelligent Transportation Systems, 14 (4), 1773- 1795.
Szczodrak, M., Dalka, P., & Czyżewski, A. (2010). Performance evaluation of video object tracking algorithm in autonomous surveillance system. In 2010 2nd international conference on information technology, (2010 icit) (pp. 31–34).
Thiagarajan, A., Biagioni, J., Gerlich, T., & Eriksson, J. (2010). Cooperative transit tracking using smart-phones. In Proceedings of the 8th acm conference on embedded networked sensorsystems (p. 85—98). New York, NY, USA: Association for Computing Machinery.
Wang, C. R., & Lien, J. J. (2008, March). Automatic vehicle detection using local features a statistical approach. IEEE Transactions on Intelligent Transportation Systems, 9 (1), 83–96.

APA	OZMEN A, VARAN M (2020). Çoklu Kamera Görüntülerinin Evrişimsel Sinir Ağları (CNN) ve Makine Öğrenmesi Teknikleri ile İşlenerek Sakarya Şehri İçin Özelleştirilmiş Bir Trafik Planlama Aracının Geliştirilmesi. , 1 - 29.
Chicago	OZMEN AHMET,VARAN Metin Çoklu Kamera Görüntülerinin Evrişimsel Sinir Ağları (CNN) ve Makine Öğrenmesi Teknikleri ile İşlenerek Sakarya Şehri İçin Özelleştirilmiş Bir Trafik Planlama Aracının Geliştirilmesi. (2020): 1 - 29.
MLA	OZMEN AHMET,VARAN Metin Çoklu Kamera Görüntülerinin Evrişimsel Sinir Ağları (CNN) ve Makine Öğrenmesi Teknikleri ile İşlenerek Sakarya Şehri İçin Özelleştirilmiş Bir Trafik Planlama Aracının Geliştirilmesi. , 2020, ss.1 - 29.
AMA	OZMEN A,VARAN M Çoklu Kamera Görüntülerinin Evrişimsel Sinir Ağları (CNN) ve Makine Öğrenmesi Teknikleri ile İşlenerek Sakarya Şehri İçin Özelleştirilmiş Bir Trafik Planlama Aracının Geliştirilmesi. . 2020; 1 - 29.
Vancouver	OZMEN A,VARAN M Çoklu Kamera Görüntülerinin Evrişimsel Sinir Ağları (CNN) ve Makine Öğrenmesi Teknikleri ile İşlenerek Sakarya Şehri İçin Özelleştirilmiş Bir Trafik Planlama Aracının Geliştirilmesi. . 2020; 1 - 29.
IEEE	OZMEN A,VARAN M "Çoklu Kamera Görüntülerinin Evrişimsel Sinir Ağları (CNN) ve Makine Öğrenmesi Teknikleri ile İşlenerek Sakarya Şehri İçin Özelleştirilmiş Bir Trafik Planlama Aracının Geliştirilmesi." , ss.1 - 29, 2020.
ISNAD	OZMEN, AHMET - VARAN, Metin. "Çoklu Kamera Görüntülerinin Evrişimsel Sinir Ağları (CNN) ve Makine Öğrenmesi Teknikleri ile İşlenerek Sakarya Şehri İçin Özelleştirilmiş Bir Trafik Planlama Aracının Geliştirilmesi". (2020), 1-29.

APA	OZMEN A, VARAN M (2020). Çoklu Kamera Görüntülerinin Evrişimsel Sinir Ağları (CNN) ve Makine Öğrenmesi Teknikleri ile İşlenerek Sakarya Şehri İçin Özelleştirilmiş Bir Trafik Planlama Aracının Geliştirilmesi. , 1 - 29.
Chicago	OZMEN AHMET,VARAN Metin Çoklu Kamera Görüntülerinin Evrişimsel Sinir Ağları (CNN) ve Makine Öğrenmesi Teknikleri ile İşlenerek Sakarya Şehri İçin Özelleştirilmiş Bir Trafik Planlama Aracının Geliştirilmesi. (2020): 1 - 29.
MLA	OZMEN AHMET,VARAN Metin Çoklu Kamera Görüntülerinin Evrişimsel Sinir Ağları (CNN) ve Makine Öğrenmesi Teknikleri ile İşlenerek Sakarya Şehri İçin Özelleştirilmiş Bir Trafik Planlama Aracının Geliştirilmesi. , 2020, ss.1 - 29.
AMA	OZMEN A,VARAN M Çoklu Kamera Görüntülerinin Evrişimsel Sinir Ağları (CNN) ve Makine Öğrenmesi Teknikleri ile İşlenerek Sakarya Şehri İçin Özelleştirilmiş Bir Trafik Planlama Aracının Geliştirilmesi. . 2020; 1 - 29.
Vancouver	OZMEN A,VARAN M Çoklu Kamera Görüntülerinin Evrişimsel Sinir Ağları (CNN) ve Makine Öğrenmesi Teknikleri ile İşlenerek Sakarya Şehri İçin Özelleştirilmiş Bir Trafik Planlama Aracının Geliştirilmesi. . 2020; 1 - 29.
IEEE	OZMEN A,VARAN M "Çoklu Kamera Görüntülerinin Evrişimsel Sinir Ağları (CNN) ve Makine Öğrenmesi Teknikleri ile İşlenerek Sakarya Şehri İçin Özelleştirilmiş Bir Trafik Planlama Aracının Geliştirilmesi." , ss.1 - 29, 2020.
ISNAD	OZMEN, AHMET - VARAN, Metin. "Çoklu Kamera Görüntülerinin Evrişimsel Sinir Ağları (CNN) ve Makine Öğrenmesi Teknikleri ile İşlenerek Sakarya Şehri İçin Özelleştirilmiş Bir Trafik Planlama Aracının Geliştirilmesi". (2020), 1-29.