Panelist atama problemi için bir algoritma ve karar destek sistemi: TÜBİTAK örneği

Kat, Bora

doi:10.17341/gazimmfd.631071

Panelist atama problemi için bir algoritma ve karar destek sistemi: TÜBİTAK örneği

Bora Kat (Türkiye Bilimsel ve Teknolojik Araştırma Kurumu (TÜBİTAK), Ankara, Türkiye)

Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi

22 3

Yıl: 2021 Cilt: 36 Sayı: 1 Sayfa Aralığı: 69 - 87 Metin Dili: Türkçe DOI: 10.17341/gazimmfd.631071 İndeks Tarihi: 09-11-2022

Panelist atama problemi için bir algoritma ve karar destek sistemi: TÜBİTAK örneği

Öz:

Proje önerilerinin sağlıklı bir şekilde ve proje konusunda uzmanlığa sahip kişiler tarafından değerlendirilmesi hem kaynakların etkin bir şekilde kullanılması hem de bu hizmetleri yürüten kurumların güvenilirliği açısından önem taşımaktadır. Bu çalışmada, birden fazla proje önerisinin değerlendirildiği panellerde en uygun panelist kümesinin oluşturulması için potansiyel panelist adaylarını dinamik bir şekilde listeleyen bir algoritma ve bu algoritmayı kullanan bir karar destek sistemi (PaneLIST) geliştirilmiştir. MS Excel VBA tabanlı PaneLIST, ülkemizde araştırma desteklerininin önemli bir bölümünü sağlayan ve bunu gerçekleştirirken her yıl çok sayıda panel düzenleyen TÜBİTAK’ın verileri kullanılarak oluşturulan test panellerinde sınanmış ve elde edilen sonuçların öngörülen kriterlerin tamamını önemli ölçüde sağladığı görülmüştür. Ayrıca, PaneLIST’in sunduğu çözümler, uygunluk skorları toplamını en büyükleyen (EBSkT) ve proje önerilerinin değerlendirme seviyeleri arasındaki sapmaları en küçükleyen (EKSp) tamsayılı programlama modelleri ile birlikte bu iki durumu bir arada ele alan üçüncü bir modelden (EBSkT-5) elde edilen kesin ve en iyi çözümleri ile kıyaslanmıştır. PaneLIST’in, yüksek uygunluk skorları toplamını, projeler arasında dengeli bir dağılım gözeterek gerçekleştirdiği ve bu yönüyle EBSkT ve EKSp’de yer alan iki hedefi bir arada gözettiği; %5’lik bir sapma kısıtı altında en büyük skoru bulmayı amaçlayan problem (EBSkT-5) ile hemen hemen aynı (%1’in altında yakınlık) performansı gösterdiği belirlenmiştir.

Anahtar Kelime: Akran değerlendirmesi panel değerlendirmesi karar destek sistemi hakem atama problemi TÜBİTAK tamsayılı programlama sezgisel algortima dinamik panelist atama

An algorithm and a decision support system for the panelist assignment problem: The case of TUBITAK

Öz:

Evaluation of project proposals in a proper manner and by the people who have expertise on the topics of the proposals is crucial not only for efficient deployment of resources, but also for credibility of the funding organizations. In this study, an algorithm and a decision support system (PaneLIST) are developed to provide a dynamic list of potential panelists from which the most appropriate set of panelists will be selected. PaneLIST, which is based on MS Excel VBA, has been validated by using the data of TUBITAK, primary organization responsible for research funding and conducts the comprehensive peer review activities for a long time. The results showed that the PaneLIST satisfies the required criteria to a great extent. Moreover, PaneLIST’s performance was compared with the results of the two integer programming models having the objectives of maximizing the sum of relevance scores (EBSkT) and minimizing the total deviation among the evalution levels of the proposals (EKSp) as well as a third model (EBSkT-5) which couples the two. The numerical experiments showed that PaneLIST attains high sum of relevance scores with a balanced distribution in terms of evaluation levels of proposals, thus shows regard to objectives of both EBSkT and EKSp at the same time; moreover, the results are so close (less than 1%) to the results of EBSkT-5 in which sum of relevance scores is maximized under a 5% constraint on the total deviation among the evalution levels of the proposals.

Anahtar Kelime: Peer review panel evaluation decision support system reviewer assignment problem TUBITAK integer programming heuristic algorithm dynamic panelist assignment

Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık

1. Ma J., Xu W., Sun Y., Turban E., Wang S., Liu O., An Ontology-Based Text-Mining Method to Cluster Proposals for Research Project Selection, IEEE Trans Syst Man, Cybern - Part A Syst Humans, 42 (3), 784- 790, 2012.
2. ESF. European Peer Review Guide. Strasbourg; 2011.
3. Janak S., Taylor M., Floudas C., Burka M., Mountziaris T., Novel and Effective Integer Optimization Approach for the NSF Panel-Assignment Problem: A Multiresource and Preference-Constrained Generalized Assignment Problem, Ind Eng Chem Res., 45 (1), 258- 265, 2006.
4. Ceylan D., Saatçioǧlu Ö., Sepil C., An algorithm for the committee construction problem, Eur J Oper Res., 77 (1), 60-69, 1994.
5. Karimzadehgan M., Zhai C., Integer linear programming for Constrained Multi-Aspect Committee Review Assignment, Inf Process Manag., 48 (4), 725- 740, 2012.
6. Kuhn H., The Hungarian method for the assignment problem, Nav Res Logist Q, 2 (1-2), 83-97, 1955.
7. Pentico D.W., Assignment problems: A golden anniversary survey, Eur J Oper Res., 176 (2), 774-793, 2007.
8. Dell’amico M., Martello S., Linear assignment in Annotated Bibliographies in Combinatorial Optimization, Editör: Martello S., Dell’amico M., Maffioli F., John Wiley & Sons Ltd., Chichester, England, 1997.
9. Bouajaja S., Dridi N., A survey on human resource allocation problem and its applications, Oper Res., 17 (2), 339-369, 2017.
10. Çavdur F., Sebatlı A., Köse Küçük M., A group- decision making and goal programming-based solution approach for the student project team formation problem, Journal of the Faculty of Engineering and Architecture of Gazi University, 34 (1), 505-521, 2019.
11. Gupta S., Punnen A., Minimum deviation problems, Oper Res Lett., 7 (4), 201-204, 1988.
12. Wang F., Chen B., Miao Z., A Survey on Reviewer Assignment Problem. International Conference on Industrial, Engineering and Other Applications of Applied Intelligent Systems, Springer, Berlin, Heidelberg, 718-727, 2008.
13. Hartvigsen D., Wei J., Czuchlewski R., The Conference Paper-Reviewer Assignment Problem, Decis Sci., 30 (3), 865-876, 1999.
14. Yıldırım E., Aykanat C., Oruç A., Atmaca A., Kayaaslan E., Koca E., Geniş Kapsamlı Proje Değerlendirme ve Seçim Sistemi, TÜBİTAK, 2012.
15. Xu Y., Ma J., Sun Y., Hao G., Xu W., Zhao D., A decision support approach for assigning reviewers to proposals. Expert Syst Appl., 37 (10), 6948-6956, 2010.
16. Daş G., Göçken T., A fuzzy approach for the reviewer assignment problem, Comput Ind Eng., 72, 50-57, 2014.
17. Hettich S., Pazzani M., Mining for proposal reviewers, in Proceedings of the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining - KDD ’06., ACM Press, New York, USA, 862-871, 2006.
18. Fan Z., Chen Y., Ma J., Zhu Y., Decision support for proposal grouping: A hybrid approach using knowledge rule and genetic algorithm, Expert Syst Appl., 36 (2), 1004-1013, 2009.
19. Goldsmith J., Sloan R., The AI conference paper assignment problem, in Proc. AAAI Workshop on Preference Handling for Artificial Intelligence. Vancouver, Canada, 2007.
20. Sun Y., Ma J., Fan Z., Wang J., A Hybrid Knowledge and Model Approach for Reviewer Assignment, in 40th Annual Hawaii International Conference on System Sciences (HICSS’07), IEEE, 2007.
21. Liu O., Wang J., Ma J., Sun Y., An intelligent decision support approach for reviewer assignment in R&D project selection, Comput Ind, 76, 1-10, 2016.
22. Yunhong X., Xianli Z., A LDA model based text-mining method to recommend reviewer for proposal of research project selection, in 13th International Conference on Service Systems and Service Management (ICSSSM), IEEE, 1-5, 2016.
23. Protasiewicz J., Pedrycz W., Kozłowski M., vd., A recommender system of reviewers and experts in reviewing problems, Knowledge-Based Syst, 106, 164- 178, 2016.
24. Tayal D., Saxena P., Sharma A., Khanna G., New method for solving reviewer assignment problem using type-2 fuzzy sets and fuzzy functions, Appl Intell, 40 (1), 54-73, 2014.
25. Cook W.D., Golany B., Kress M., Penn M., Raviv T., Optimal allocation of proposals to reviewers to facilitate effective ranking, Manage Sci., 51 (4), 655-661, 2005.
26. Yeşilçimen A., Yıldırım E., An alternative polynomial- sized formulation and an optimization based heuristic for the reviewer assignment problem, Eur J Oper Res., 276 (2), 436-4502019.
27. Dumais S., Nielsen J., Automating the assignment of submitted manuscripts to reviewers, in Proceedings of the 15th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, 1992.
28. Garg N., Kavitha T., Kumar A., Mehlhorn K., Mestre J., Assigning Papers to Referees, Algorithmica, 58 (1), 119-136, 2010.
29. Zhao H., Tao W., Zou R., Xu C., Construction and Application of Diversified Knowledge Model for Paper Reviewers Recommendation, in International Conference of Pioneering Computer Scientists, Engineers and Educators, Springer, Singapore, 120-127, 2018.
30. Mungen A., Gundogan E., Alhajj R., Kaya M., A Novel Local Propagation Based Expert Finding Method, in International Conference on Artificial Intelligence and Data Processing (IDAP), IEEE, 1-7, 2018.
31. Liu X., Suel T., Memon N., A robust model for paper reviewer assignment, in Proceedings of the 8th ACM Conference on Recommender Systems - RecSys ’14, ACM Press, New York, USA, 25-32, 2014.
32. Jin J., Niu B., Ji P., Geng Q., An integer linear programming model of reviewer assignment with research interest considerations, Ann Oper Res., 1-25, 2018.
33. Karimzadehgan M., Zhai C., Belford G., Multi-aspect expertise matching for review assignment, in Proceeding of the 17th ACM Conference on Information and Knowledge Management - CIKM ’08, ACM Press, New York, USA, 1113-1122, 2008.
34. Moawad M., Maher M., Awad A., Sakri S., MINARET: A Recommendation Framework for Scientific Reviewers, in 22nd International Conference on Extending Database Technology (EDBT), Lisbon, Portugal, 2019.
35. Nguyen J., Sánchez-Hernández G., Agell N., Rovira X., Angulo C., A decision support tool using Order Weighted Averaging for conference review assignment, Pattern Recognit Lett, 105, 114-120, 2018.
36. Üçer S., Bilimsel Değerlendirmeler için Performans Varisi Tabanlı Bir Değerlendirme Sistemi Geliştirilmesi. TÜBİTAK Uzmanlık Tezi, Ankara, 2011.
37. Selçuk Doğan G.H., Expert Finding in Domains with Unclear Topics, Yüksek Lisans Tezi, ODTÜ, Fen Bilimleri Enstitüsü, Ankara, 2012.
38. Aksop C. Akademik Makale Değerlendirmesi Kapsamında Hakem Atma Süreçlerinin İncelenmesi ve Yeni Bir Sistem Önerisi, TÜBİTAK Uzmanlık Tezi, Ankara, 2018.

APA	Kat B (2021). Panelist atama problemi için bir algoritma ve karar destek sistemi: TÜBİTAK örneği. , 69 - 87. 10.17341/gazimmfd.631071
Chicago	Kat Bora Panelist atama problemi için bir algoritma ve karar destek sistemi: TÜBİTAK örneği. (2021): 69 - 87. 10.17341/gazimmfd.631071
MLA	Kat Bora Panelist atama problemi için bir algoritma ve karar destek sistemi: TÜBİTAK örneği. , 2021, ss.69 - 87. 10.17341/gazimmfd.631071
AMA	Kat B Panelist atama problemi için bir algoritma ve karar destek sistemi: TÜBİTAK örneği. . 2021; 69 - 87. 10.17341/gazimmfd.631071
Vancouver	Kat B Panelist atama problemi için bir algoritma ve karar destek sistemi: TÜBİTAK örneği. . 2021; 69 - 87. 10.17341/gazimmfd.631071
IEEE	Kat B "Panelist atama problemi için bir algoritma ve karar destek sistemi: TÜBİTAK örneği." , ss.69 - 87, 2021. 10.17341/gazimmfd.631071
ISNAD	Kat, Bora. "Panelist atama problemi için bir algoritma ve karar destek sistemi: TÜBİTAK örneği". (2021), 69-87. https://doi.org/10.17341/gazimmfd.631071

APA	Kat B (2021). Panelist atama problemi için bir algoritma ve karar destek sistemi: TÜBİTAK örneği. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 36(1), 69 - 87. 10.17341/gazimmfd.631071
Chicago	Kat Bora Panelist atama problemi için bir algoritma ve karar destek sistemi: TÜBİTAK örneği. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 36, no.1 (2021): 69 - 87. 10.17341/gazimmfd.631071
MLA	Kat Bora Panelist atama problemi için bir algoritma ve karar destek sistemi: TÜBİTAK örneği. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, vol.36, no.1, 2021, ss.69 - 87. 10.17341/gazimmfd.631071
AMA	Kat B Panelist atama problemi için bir algoritma ve karar destek sistemi: TÜBİTAK örneği. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi. 2021; 36(1): 69 - 87. 10.17341/gazimmfd.631071
Vancouver	Kat B Panelist atama problemi için bir algoritma ve karar destek sistemi: TÜBİTAK örneği. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi. 2021; 36(1): 69 - 87. 10.17341/gazimmfd.631071
IEEE	Kat B "Panelist atama problemi için bir algoritma ve karar destek sistemi: TÜBİTAK örneği." Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 36, ss.69 - 87, 2021. 10.17341/gazimmfd.631071
ISNAD	Kat, Bora. "Panelist atama problemi için bir algoritma ve karar destek sistemi: TÜBİTAK örneği". Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 36/1 (2021), 69-87. https://doi.org/10.17341/gazimmfd.631071