Sesli Komutları Otomatik Olarak Servislerin Komposisyonuna Dönüştüren Yeni Bir Yaklaşım

20 14

Proje Grubu: EEEAG Sayfa Sayısı: 52 Proje No: 118E125 Proje Bitiş Tarihi: 15.08.2021 Metin Dili: Türkçe İndeks Tarihi: 10-01-2022

Sesli Komutları Otomatik Olarak Servislerin Komposisyonuna Dönüştüren Yeni Bir Yaklaşım

Öz:
Son yıllarda konuşma tanıma, makine öğrenme ve doğal dil işleme alanlarındaki teknolojik gelişmeler konuşmaların anlamlandırılmasını şimdiye kadar hiç olmadığı kadar kolaylaştırmıştır. Apple Siri, Google Now, Amazon Alexa ve benzeri uygulamalar günümüz teknolojileri ile sesli komutları anlamlandırarak neler yapılabileceğini örneklemiştir. Günümüzde bir yazılımı sesli komutları algılayabilir hale getirmek pahalı ve zaman alan bir süreçtir. Bunun yanında anlamlandırılan komutların yazılımların sunduğu servislerin orkestrasyonu ile etkin bir biçimde nasıl gerçekleştirilebileceği literatürde açık bir problemlem olarak kalmıştır. Özellikle mobil uygulamaların söyleşisel etkileşimi (İng. conversational intereaction) desteklemesi görme engelli veya bedensel engelli (el titremesi, el kaybı, el felci vb.) kullanıcılar için büyük önem taşımaktadır. Kalıcı engeli olmayan kullanıcılar da bağlamsal olarak (araba süren sürücünün yola bakmaktan araba radyosunu kontrol edememesi, kırık bir kemikten ötürü eli alçıya alınmış bir hasta) geçici engelli hale gelebilmektedirler. Bu durumda bu tür yazılımların söyleşisel etkileşimi desteklemesi bu durumlardaki kullanıcılara daha iyi bir kullanıcı deneyimi sunacaktır. Bunlara ek olarak son yıllarda internet bağlantılı akıllı cihazların (akıllı Tvler, saatler, araba radyoları, beyaz eşyalar, reklam panoları) kullanımı giderek yaygınlaşmaktadır. Bu cihazların sesli komutları desteklemesi iki sebepten ötürü faydalı olacaktır. Birincisi bu durum kullanıcılar için daha sezgisel bir etkileşim sunacaktır. İkincisi ise bu tür cihazların fare, klavye, dokunmatik ekran gibi ek bir etkileşim aracı ile üretilmesi ihtiyacını ortadan kaldırarak bu cihazların daha ufak ve daha ucuz üretilebilmesini sağlayacaktır. Bu projede sesli komutları yazılım servislerinin orkestrasyonu ile gerçekleştirecek yeni bir yaklaşımı araştırdık. Sesli komutları yazılım unsurları ile ilişkilendirecek bir yazılım çerçevesi tasarladık. Daha sonra, bu çerçeveyi kullanarak verilen sesli bir sorgu üzerinden otomatik olarak bir kompozisyon planı hesaplayan bir algoritma ürettik. Bu kompozisyon planını yazılım fonksiyonlarını çağırarak gerçekleyecek ve bu süreçte kullanıcı ile uygulama arasındaki diyalogları yönetecek bir orkestra şefi yazılımı üzerinde çalıştık. Ulaştığımız sonuçlarla söyleşisel yazılımların geliştirilmesi alanına önemli katkılar sunduğumuzu düşünmekteyiz.
Anahtar Kelime: otomatik yazılım servisleri komposisyonu söyleşisel yazılım servisleri alana özgü diller

Konular: Bilgisayar Bilimleri, Teori ve Metotlar
Erişim Türü: Erişime Açık
  • [1] Schmid, H. A.,1997. “Systematic framework design by generalization”. Commun. ACM 40, 10 (October 1997), 48-51.
  • [2] Android Annotations. “Improved Code Inspection With Annotations (Android),” https://developer.android.com/studio/write/annotations.html# Son erişim tarihi: Aralık 2021
  • [3] Arnold, S.C., Mark, L., Goldthwaite, J., 2000. "Programming by voice, VocalProgramming". Proceedings of the International ACM Conference on Assistive Technologies, pp. 149–155.
  • [4] Azenkot, S. Nicole, B. L. 2013. “Exploring the use of speech input by blind people on mobile devices”, Proceedings of ASSETS.
  • [5] Bigham, J. P., Craig, M. P., Richard, E. L. 2008. “WebAnywhere: a screen reader on-the-go”, Proceedings of Web for All Conference.
  • [6] Cortana. “Cortana”. https://www.microsoft.com/en/mobile/experiences/cortana/ Son erişim tarihi: Aralık 2021
  • [7] Chung, H. S., Chong, A., Khoongumjorni, N., Wong, D. L., 2015. “Framework for voice controlling applications”. United States Patent US 9218052 B2.
  • [8] Dix, A., Finlay, J., Abowd, G., Beale, R. 2003. Human-Computer Interaction (3rd Edition). NJ, USA: Prentice-Hall.
  • [9] Edwards, J., 1997. “Voice-Based Interfaces Make PCs Better Listeners.”, IEEE Computer 30 (8), 14-16.
  • [10] Fayad, M., Schmidt, D. C. 1997. “Object-oriented application frameworks” Communications of the ACM, vol. 40, no. 10, pp. 32–38, 10.
  • [11] Gerede, C., Mazan., Z. 2018. “Will it pass?: Predicting the outcome of a source code review”. Turk J Elec Eng & Comp Sci. 10.3906/elk-1707-173
  • [12] Gerede, C., 2016. “Konuşma Yoluyla Etkileşilebilen Mobil Yazılımların Geliştirilmesine Yönelik Anotasyon Yönelimli Bir Yazılım Çerçevesi”, 10. Ulusal Yazılım Mühendisliği Sempozyumu Bildiri Kitapçığı, sayfa 87-98.
  • [13] Gerede, C., 2007. “Modeling, Analysis, and Composition of Business Processes”, PhD dissertation, University of California, Santa Barbara.
  • [14] Gerede, C., Su, J., 2007. “Specification and Verification of Artifact Behaviors in Business Process Models”. International Conference on Service Oriented Computing.
  • [15] Gerede, C., Bhattacharya, K., Su, J., 2007. “Static Analysis of Business Artifact-centric Operational Models”. International Conference on Service Oriented Computing and Applications.
  • [16] Gerede, C., Ibarra, O., Ravikumar, B., Su, J., 2005. ”Online and Minimum-Cost Ad Hoc Delegation in e-Service Composition”. International Conference on Services Computing.
  • [17] Gerede, C., Hull, R., Ibarra, O., Su, J., 2004. “Automated composition of e-services: lookaheads”. International Conference on Service Oriented Computing.
  • [18] Glass, J., Weinstein, E. Cyphers, S. Polifroni, J., Chung, G. Nakano, M. 2005. “A Framework for Developing Conversational User Interfaces”, Computer-Aided Design of User Interfaces IV. Berlin/Heidelberg: Springer-Verlag, pp. 349–360.
  • [19] Google Now. “Ok Google voice search & actions”. https://support.google.com/websearch/answer/2940021?hl=en&rd=1 Son erişim tarihi: Aralık 2021
  • [20] Greengard, S. 2015. “The internet of things /, ser. The MIT press essential knowledge series”, Cambridge, Massachusetts :: MIT Press,
  • [21] Guerreiro, T., et al. 2010. “Towards accessible touch interfaces”, Proceedings of ASSETS.
  • [22] JAWS Screenreader. “The World's Most Popular Windows Screen Reader”. http://www.freedomscientific.com/Products/Blindness/JAWS Son erişim tarihi: Aralık 2021
  • [23] Johnson, R. E., Foote, B., 1988. "Designing Reusable Classes". Journal of Object-Oriented Programming, June 1988.
  • [24] Johnson, R. E. 1992. “Documenting frameworks using patterns”. Proceedings on Objectoriented programming systems, languages, and applications (OOPSLA). ACM, New York, NY, USA, 63-76.
  • [25] Kane, S., Jeffrey, P. B., Jacob O. W. 2008. “Slide rule: making mobile touch screens accessible to blind people using multi-touch interaction techniques”. Proceedings of ASSETS.
  • [26] Lei, X., Andrew, S., Alexander, G., Jeffrey S. 2013. “Accurate and Compact Large Vocabulary Speech Recognition on Mobile Devices”. Proceedings of INTERSPEECH.
  • [27] Mackenzie, I. S. 1992. “Fitts’ law as a performance model in human-computer interaction.”
  • [28] Mancini, F., Hovland, D., Mughal, K. A., 2010. "Investigating the Limitations of Java Annotations for Input Validation". International Conference on Availability, Reliability, and Security.
  • [29] McGraw, I., Prabhavalkar, R., Alvarez, R., Arenas, M. G., Rao, K, Rybach, D., Alsharif, O., Sak, H, Gruenstein, A., Beaufays, F., Parada, C., 2016. “Personalized Speech Recognition On Mobile Devices”. International Conference on Acoustics, Speech and Signal Processing (ICASSP), IEEE.
  • [30] McTear M., Callejas Z., Griol D., 2016. “The Conversational Interface: Talking to Smart Devices”. Cham: Springer.
  • [31] Nosal, M., Sulir, M., Juhar, J. 2015. "Source Code Annotations as Formal Languages". Proceedings of the Federated Conference on Computer Science and Information Systems, pp. 953–964.
  • [32] Nosal, M., Sulir, M., Juhar, J., 2016. "Language Composition Using Source Code Annotations". Special issue on Trends in Software Technologies, volume 13, issue 3.
  • [33] Oracle. “Declaring an Annotation Type”. https://docs.oracle.com/javase/tutorial/java/annotations/declaring.html Son erişim tarihi: Aralık 2021
  • [34] Pree, W. “Design Patterns for Object-Oriented Software Development”. Adison-Wesley, 1994.
  • [35] Processor Web Sayfası. “Annotation Processor” http://docs.oracle.com/javase/7/docs/api/javax/annotation/processing/Processor.html Son erişim tarihi: Aralık 2021
  • [36] Raman, T.V., Charles, L. C., Tim, C. 2011. “Leveraging Android accessibility APIs to create an accessible experience”. Google I/O Conference.
  • [37] Roberts, D., Johnson, R., 1996. "Evolving frameworks: A pattern language for developing Object-Oriented frameworks". Proceedings of the Conference on Pattern Languages and Programming, volume 3.
  • [38] Roberts, D., Johnson, R., 1996. "Evolve frameworks into domain-specific languages”. Proceedings of the 3rd International Conference on Pattern Languages.
  • [39] Schmandt, C. 1993. “Voice Communication with Computers: Conversational Systems”. New York, NY: Van Nostrand Reinhold, ISBN: 9780442239350.
  • [40] Siri. “Siri for iOS”. http://www.apple.com/accessibility/ios Son erişim tarihi: Aralık 2021
  • [41] Srinivasan S., Vergo J. 1998. “Object oriented reuse: experience in developing a framework for speech recognition applications”, Proceedings of the 20th International Conference on Software Engineering.
  • [42] Sulir, M., Nosál, M., Porubän, J. 2016. "Recording concerns in source code using annotations." Computer Languages, Systems & Structures, pages 44-65, volume 46.
  • [43] Talkback. “TalkBack: An Open Source Screenreader For Android”. http://google-opensource.blogspot.com.tr/2009/10/talkback-open-source-screenreader-for.html Son erişim tarihi: Aralık 2021
  • [44] Voice Access Beta. “Building more accessible technology”. https://googleblog.blogspot.com.tr/2016/04/building-more-accessible-technology.html Son erişim tarihi: Aralık 2021
  • [45] Voice Command Device. “Voice Command Device”. https://en.wikipedia.org/wiki/Voice_command_device Son erişim tarihi: Aralık 2021
  • [46] Voice Over. “Voice Over for iOS”. http://www.apple.com/accessibility/ios/voiceover/ Son erişim tarihi: Aralık 2021
  • [47] Wagner, A., Rudraraju, R., Datla, S., Banerjee, A., Sudame, M., Gray, J. 2012. “Programming by voice: A hands-free approach for motorically challenged children”. Proceedings of International Conference on Human Factors in Computing Systems.
  • [48] Wagner, A. 2013. “Automation of VUI to GUI Mapping”, Proceedings of CHI.
  • [49] Wagner, A. 2015. “Programming By Voice: A Hands-Free Approach For Motorically Challenged Children”, Ph. D. Dissertation, Computer Science Department, University of Alabama.
  • [50] Walker, M. A., Fromer, J., Di Fabbrizio, G., Mestel, C., Hindle, D., 1998. "What can i say?: evaluating a spoken language interface to email". In Proceedings of the ACM SIGCHI conference on Human factors in computing systems, pp. 582–589.
  • [51] Wikipedia. “Java annotation”. https://en.wikipedia.org/wiki/Java annotation Son erişim tarihi: Aralık 2021
  • [52] Wobbrock, J. O., Kane, S. K., Gajos, K. Z., Harada, S., and Froehlich J. 2011. “Ability-Based Design: Concept, Principles and Examples”. ACM Transactions on Accessible Computing, volume 3, issue 3, Article 9
  • [53] Yu, D., Benko, J., Mallya, S. 2013. “Voice Control of Applications by Assoicating User Input with Action-Context Identifier Pairs”. United States Patent Application Publication. US2013/0246050 A1.
  • [54] Zhong, Y., Raman, T.V., Burkhardt, C., Biadsy, F., Bigham, J. P. 2014. “JustSpeak: Enabling Universal Voice Control on Android”, Proceedings of Web for All Conference.
  • [55] Hopcroft J.E., Motwani R., Ullman J.D. 2006. “Introduction to Automata Theory, Languages, and Computation” (3rd Edition). MA, USA: Addison-Wesley Longman Publishing Co., Inc.
  • [56] Paik, H.H.-Y., Lemos, A.L., Barukh, M.C., Benatallah, B., Natarajan, A. 2017. “Web Service Implementation and Composition Techniques”. Springer International Publishing
  • [57] Aho, A., Sethi, R., Ullman, J., Lam, M. S. 1986. “Compilers: Principles, Techniques, and Tools”. Pearson
  • [58] Alonso, G., Casati, F., Kuno, H., Machiraju, V. 2004. “Web Services: Concepts, Architectures and Applications (Data-Centric Systems and Applications)”. Springer.
APA GEREDE Ç (2021). Sesli Komutları Otomatik Olarak Servislerin Komposisyonuna Dönüştüren Yeni Bir Yaklaşım. , 1 - 52.
Chicago GEREDE Çağdaş Evren Sesli Komutları Otomatik Olarak Servislerin Komposisyonuna Dönüştüren Yeni Bir Yaklaşım. (2021): 1 - 52.
MLA GEREDE Çağdaş Evren Sesli Komutları Otomatik Olarak Servislerin Komposisyonuna Dönüştüren Yeni Bir Yaklaşım. , 2021, ss.1 - 52.
AMA GEREDE Ç Sesli Komutları Otomatik Olarak Servislerin Komposisyonuna Dönüştüren Yeni Bir Yaklaşım. . 2021; 1 - 52.
Vancouver GEREDE Ç Sesli Komutları Otomatik Olarak Servislerin Komposisyonuna Dönüştüren Yeni Bir Yaklaşım. . 2021; 1 - 52.
IEEE GEREDE Ç "Sesli Komutları Otomatik Olarak Servislerin Komposisyonuna Dönüştüren Yeni Bir Yaklaşım." , ss.1 - 52, 2021.
ISNAD GEREDE, Çağdaş Evren. "Sesli Komutları Otomatik Olarak Servislerin Komposisyonuna Dönüştüren Yeni Bir Yaklaşım". (2021), 1-52.
APA GEREDE Ç (2021). Sesli Komutları Otomatik Olarak Servislerin Komposisyonuna Dönüştüren Yeni Bir Yaklaşım. , 1 - 52.
Chicago GEREDE Çağdaş Evren Sesli Komutları Otomatik Olarak Servislerin Komposisyonuna Dönüştüren Yeni Bir Yaklaşım. (2021): 1 - 52.
MLA GEREDE Çağdaş Evren Sesli Komutları Otomatik Olarak Servislerin Komposisyonuna Dönüştüren Yeni Bir Yaklaşım. , 2021, ss.1 - 52.
AMA GEREDE Ç Sesli Komutları Otomatik Olarak Servislerin Komposisyonuna Dönüştüren Yeni Bir Yaklaşım. . 2021; 1 - 52.
Vancouver GEREDE Ç Sesli Komutları Otomatik Olarak Servislerin Komposisyonuna Dönüştüren Yeni Bir Yaklaşım. . 2021; 1 - 52.
IEEE GEREDE Ç "Sesli Komutları Otomatik Olarak Servislerin Komposisyonuna Dönüştüren Yeni Bir Yaklaşım." , ss.1 - 52, 2021.
ISNAD GEREDE, Çağdaş Evren. "Sesli Komutları Otomatik Olarak Servislerin Komposisyonuna Dönüştüren Yeni Bir Yaklaşım". (2021), 1-52.