TÜRKÇE ÖĞRETMENLERİNE YÖNELİK TEKNOLOJİK PEDAGOJİK ALAN BİLGİSİ ÖLÇEĞİ’NİN GELİŞTİRİLMESİ
Yıl: 2020 Cilt: 1 Sayı: 56 Sayfa Aralığı: 272 - 291 Metin Dili: Türkçe DOI: 10.21764/maeuefd.769481 İndeks Tarihi: 18-03-2021
TÜRKÇE ÖĞRETMENLERİNE YÖNELİK TEKNOLOJİK PEDAGOJİK ALAN BİLGİSİ ÖLÇEĞİ’NİN GELİŞTİRİLMESİ
Öz: Bu araştırmanın amacı Türkçe öğretmenlerininteknoloji, pedagoji ve alan bilgisi yeterlik düzeylerinibelirlemeye yönelik bir ölçek geliştirmektir. Araştırmanınçalışma grubunu 2019-2020 eğitim öğretim yılında Antalya ilve ilçe merkezlerinde devlet okullarında görev yapmakta olanve gönüllü olarak katılım gösteren 497 Türkçe öğretmenioluşturmaktadır. Çalışma grubundaki 268 öğretmenden alınanveriler açımlayıcı faktör analizinde, 231 öğretmenden alınanveriler doğrulayıcı faktör analizinde kullanılmıştır. Yapılanaçımlayıcı faktör analizi sonucunda ölçeğin TeknolojiDestekli Pedagoji ve Alan Bilgisi, Pedagojik Alan Bilgisi,Teknoloji Bilgisi, Alan Bilgisi ve Pedagoji Bilgisi olmaküzere 5 boyut ve 46 maddeden oluştuğu sonucunaulaşılmıştır. AFA sonucunda hesaplanan Cronbach α içtutarlılık anlamında güvenirlik katsayıları sırayla 0.95, 0.92,0.85, 0.84, 0.85 olarak belirlenmiştir. Doğrulayıcı faktöranalizi sonuçlarına göre ise, χ2/sd 2.12, CFI 0.97, RMSEA0.070, NFI 0.94 ve NNFI 0.96 olarak hesaplanmıştır. DFAsonucunda hesaplanan Cronbach α iç tutarlılık anlamındagüvenirlik katsayıları sırayla 0.95, 0.93, 0.77, 0.83, 0.87olarak belirlenmiştir. Sonuçlar değerlendirildiğinde ölçeğingeçerliği ve güvenirliğinin sağlandığı ve Türkçeöğretmenlerinin Teknolojik Pedagojik Alan Bilgisi yeterlikdüzeylerini ortaya koyabileceği belirlenmiştir.
Anahtar Kelime: DEVELOPMENT OF TECHNOLOGICAL PEDAGOGICAL CONTENT KNOWLEDGE SCALE FOR TURKISH TEACHERS
Öz: The aim of this study is to develop a scale to determine the technology, pedagogy, and subject matter knowledge competence levels of Turkish teachers. The study group of the research consists of 497 Turkish Language teachers who work in public schools in Antalya city center and district centers in 2019-2020 academic year. Teachers participated to the research voluntarily. Data from 268 teachers in the study group were used in exploratory factor analysis, and data from 231 teachers were used in confirmatory factor analysis. Exploratory factor analysis showed that the scale consists of 5 dimensions and 46 items which are Technology Supported Pedagogical and Subject Matter Knowledge, Pedagogical Content Knowledge, Technology Knowledge, Subject Matter Knowledge and Pedagogy Knowledge. Reliability coefficients were calculated after EFA, Cronbach α coefficients determined as 0.95, 0.92, 0.85, 0.84, 0.85, respectively. According to confirmatory factor analysis results, χ2 / sd 2.12, CFI 0.97, RMSEA 0.070, NFI 0.94 and NNFI 0.96. After CFA Cronbach α coefficients determined as 0.95, 0.93, 0.77, 0.83, 0.87, respectively. As a result, it was determined that the validity and reliability of the scale was obtained.
Anahtar Kelime: Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık
- Akın, E. ve Çeçen, M. A. (2015). Çoklu ortama dayalı Türkçe öğretimine ve çoklu ortam araçlarına yönelik öğrenci görüşleri. Turkish Studies, 10(7), 51-72.
- Akpınar, Y. (2003). Öğretmenlerin yeni bilgi teknolojileri kullanımında yükseköğretimin etkisi: İstanbul okulları örneği. The Turkish Online Journal of Educational Technology, 2(2), 79-96.
- Altunbay, M. ve Bıçak, N. (2018). Türkçe eğitimi derslerinde “z kuşağı” bireylerine uygun teknoloji tabanlı uygulamaların kullanımı. Zeitschrift für die Welt der Türken/Journal of World of Turks, 10(1), 127-142.
- Archambault, L. M. ve Barnett, J. H. (2010). Revisiting technological pedagogical content knowledge: Exploring the TPACK framework. Computers & Education, 55(4), 1656- 1662.
- Bakioğlu, B. ve Çevik, M. (2020). COVID-19 Pandemisi Sürecinde Fen Bilimleri Öğretmenlerinin Uzaktan Eğitime İlişkin Görüşleri. Electronic Turkish Studies, 15(4).
- Balçın, M. D. ve Ergün, A. (2016). Technological pedagogical content knowledge (TPCK) selfefficacy scale for pre-service science teachers on material development: Development, reliability and validity study. Turkish Journal of Education, 5(3), 130-143.
- Balçın, M. D. ve Ergün, A. (2018). Fen bilgisi öğretmen adaylarının sahip oldukları teknolojik pedagojik alan bilgisi (TPAB) özyeterliklerinin belirlenmesi ve çeşitli değişkenlere göre incelenmesi. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, (45), 23-47.
- Baran, E. ve Canbazoğlu Bilici, S. (2015). Teknolojik pedagojik alan bilgisi (TPAB) üzerine alanyazın incelemesi: Türkiye örneği. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 30(1), 15-32.
- Bayburtlu, Y. S. (2020). Covid-19 Pandemi Dönemi Uzaktan Eğitim Sürecinde Öğretmen Görüşlerine Göre Türkçe Eğitimi. Electronic Turkish Studies, 15(4).
- Bozkurt, N. (2016). Tarih öğretmeni adaylarının teknolojik pedagojik alan bilgisine yönelik özgüvenlerinin belirlenmesi. Mustafa Kemal Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 13(33), 153-167.
- Brown, T. A. (2006). Confirmatory factor analysis for applied research. Newyork: Guilford Publications.
- Can, E. (2020). Coronavirüs (Covid-19) pandemisi ve pedagojik yansımaları: Türkiye’de açık ve uzaktan eğitim uygulamaları. Açıköğretim Uygulamaları ve Araştırmaları Dergisi, 6(2), 11- 53.
- Canbazoğlu Bilici, S., Yamak, H., Kavak, N. ve Guzey, S.S. (2013). Technological pedagogical content knowledge self-efficacy scale (TPACK-SeS) for preservice science teachers: Construction, validation and reliability. Egitim Arastirmalari-Eurasian Journal of Educational Research, 52, 37-60.
- Çakır, R. ve Yıldırım, S. (2009). Bilgisayar öğretmenleri okullardaki teknoloji entegrasyonu hakkında ne düşünürler?. İlköğretim Online, 8(3), 952-964.
- Çetin, İ. (2017). Ortaöğretim matematik öğretmeni adaylarının teknolojik pedagojik alan bilgisi (TPAB) yeterliklerindeki ve düzeylerindeki değişimin incelenmesi (Yayımlanmamış doktora tezi). Necmettin Erbakan Üniversitesi, Konya.
- Çokluk, Ö., Şekercioğlu, G., ve Büyüköztürk, Ş. (2014). Sosyal bilimler için çok değişkenli istatistik: SPSS ve LISREL uygulamaları. Pegem Akademi.
- Dargut, T. ve Çelik, G. (2014). Türkçe öğretmeni adaylarının eğitimde teknoloji kullanımına ilişkin tutum ve düşünceleri. Ana Dili Eğitimi Dergisi, 2(2), 28-41.
- Dikkartin Ovez, F. T. Ve Akyüz, G. (2013). Modelling technological pedagogical content knowledge constructs of pre-service elementary mathematics teachers. Eğitim ve Bilim, 38(170).
- Doğru, E. ve Aydın, F. (2017). Coğrafya öğretmenlerinin teknolojik pedagojik alan bilgisi ile ilgili yeterliliklerinin incelenmesi. Journal of History Culture and Art Research, 6(2), 485-506.
- Erdemir, N., Bakırcı, H. ve Eyduran, E. (2009). Öğretmen adaylarının eğitimde teknolojiyi kullanabilme özgüvenlerinin tespiti. Journal of Turkish Science Education, 6(3), 99-108.
- Graham, C. R. (2011). Theoretical considerations for understanding technological pedagogical content knowledge (TPACK). Computers & Education, 57(3), 1953-1960.
- Graham, R. C., Burgoyne, N., Cantrell, P., Smith, L., St Clair, L. ve Harris, R. (2009). Measuring the TPACK confidence of inservice science teachers. TechTrends, 53(5), 70-79.
- Güler, Ç. ve Bilici, S. (2016). Ortaöğretim Öğretmenlerinin TPAB Düzeylerinin Öğretim Teknolojilerini Kullanma Durumlarına Göre İncelenmesi. İlköğretim Online, 15(3).
- Hacıömeroğlu, G., Şahin, Ç. ve Arcagök, S. (2014). Turkish adaptation of preservice teachers’ technological pedagogical content knowledge assesment scale. Eğitimde Kuram ve Uygulama, 10(2), 297-315.
- Hambleton, R.K., Merenda, P.F. ve Spielberger, C.D. (2005). Adapting educational and psychological tests for cross-cultural assessment. Mahwah, NJ: Lawrence Erlbaum.
- Harris, J. B., Mishra, P. ve Koehler, M. J. (2007). Teachers’ technologicalpedagogical content knowledge: curriculum-basedtechnology ıntegration reframed. In Annual Meeting of the American Educational Research Association.
- Hu, L.T. and Bentler, P.M. (1999). Cut off criteria for fit ındexes in covariance structure analysis: conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1-55.
- İşler, C. ve Yıldırım, Ö. (2018). Türkiye’deki İngilizce öğretmeni adaylarının tekno-pedagojik içerik bilgisi ile ilgili algıları. Journal of Education and Future, 0(13), 145-160.
- Jedeskog, G. ve Nissen, J. (2004). ICT in the classroom: is doing more important than knowing?. Education and information technologies, 9(1), 37-45.
- Jöreskog, K. ve Sörbom, D. (1993). Lisrel 8. Chicago: Scientific Software International Inc.
- Kabakçı-Yurdakul, I., Odabaşı, H. F., Kılıçer, K., Çoklar, A. N., Birinci, G. ve Kurt, A. A. (2012). The development, validity and reliability of TPACK-deep: A technological pedagogical content knowledge scale. Computers & Education, 58(3), 964-977.
- Karadeniz, Ş. ve Vatanartıran, S. (2015). Sınıf öğretmenlerinin teknolojik pedagojik alan bilgilerinin incelenmesi. Elementary Education Online, 14(3).
- Kaya, S. ve Dağ, F. (2013). Sınıf öğretmenlerine yönelik teknolojik pedagojik içerik bilgisi ölçeğinin Türkçeye uyarlanması. Kuram ve Uygulamada Eğitim Bilimleri, 13(1), 291-306.
- Kaya, Z., Kaya, O. N. ve Emre, I. (2013). Adaptation of Technological Pedagogical Content Knowledge Scale to Turkish. Educational Sciences: Theory and Practice, 13(4), 2367-2377.
- Kinuthia, W., BrantLey-Dias, L. ve Clarke, P. A. J. (2010). Development of pedagogical technology integration content knowledge in preparing mathematics preservice teachers: The role of instructional case analyses and reflection. Journal of Technology and Teacher Education, 18(4), 645-669.
- Kline, R. B. (2005). Principles and practice of structural equation modeling (Second Edition) New York:Guilford Press.
- Koehler, M. J. ve Mishra, P. (2008). Introducing technological pedagogical knowledge. In AACTE (Ed.), The Handbook of technological pedagogical content knowledge for educators. New York: Routledge/Taylor & Francis Group for the American Association of Colleges for Teacher Education.
- Koehler, M. ve Mishra, P. (2009). What is technological pedagogical content knowledge (TPACK)?. Contemporary issues in technology and teacher education, 9(1), 60-70.
- Koh, J. H. L., Chai, C. S. ve Tsai, C. C. (2010). Examining the technological pedagogical content knowledge of Singapore pre-service teachers with a large-scale survey. Journal of Computer Assısted Learning, 26(6), 563-573.
- Koh, J. H. L., Chai, C. S. ve Tsai, C. (2013). Examining practicing teachers' perceptions of technological pedagogical content knowledge (TPACK) pathways: A structural equation modeling approach. Instructional Science, 41(4), 793-809.
- Kurubacak, G. ve Yuzer, T. V. (2004). The building of knowledge networks with interactive radio programs in distance education systems. In E-Learn: World Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education (pp. 2360-2367). Association for the Advancement of Computing in Education (AACE).
- Kuşkaya-Mumcu, F., Haşlaman, T. ve Usluel, Y. K. (2008). Teknolojik pedagojik içerik bilgisi modeli çerçevesinde etkili teknoloji entegrasyonunun göstergeleri. In International Educational Technology Conference, Anadolu Üniversitesi, Eskişehir, Türkiye (396-400).
- Lee, M. ve Tsai, C. (2010). Exploring teachers' perceived self-efficacy and technological pedagogical content knowledge with respect to Educational use of the World Wide Web. Instructıonal Science, 38(1), 1-21.
- Lux, N. J., Bangert, A. W. ve Whittier, D. B. (2011). The development of an instrument to assess preservice teacher’s technological pedagogical content knowledge. Journal of Educational Computing Research, 45(4), 415-431.
- MEB Eğitim Teknolojileri Genel Müdürlüğü (2010). Eğitimde fırsatları artırma teknolojiyi iyileştirme hareketi projesi (FATİH). http://fatihprojesi.meb.gov.tr/ adresinden 25.06.2020 tarihinde erişilmiştir.
- MEB. (2017). Öğretmenlik Mesleği Genel Yeterlikleri. Ankara: MEB Yayınları. https://oygm.meb.gov.tr/www/ogretmenlik-meslegi-genel-yeterlikleri/icerik/39
- MEB. (2017). Türkçe Öğretmeni Özel Alan Yeterlikleri. Ankara: MEB Yayınları. http://oygm.meb.gov.tr/www/ilkogretim-ozel-alan-yeterlikleri/icerik/257
- Mishra, P. ve Koehler, M. J. (2006). Technological pedagogical content knowledge: A framework for teacher knowledge. Teachers college record, 108(6), 1017-1054.
- Mutluoğlu, A. ve Erdoğan, A. (2016). İlköğretim matematik öğretmenlerinin öğretim stili tercihlerine göre teknolojik pedagojik alan bilgi (TPAB) düzeylerinin incelenmesi. OPUS Uluslararası Toplum Araştırmaları Dergisi, 6(10), 102-126.
- Nunnally, J. C. ve Bernstein, I. H. (1994). Psychometric theory. (Third Edition). New York: McGraw-Hill, Inc.
- Önal, N. (2016). Development, Validity and Reliability of TPACK Scale with Pre-Service Mathematics Teachers. International Online Journal of Educational Sciences, 8(2), 93-107.
- Özdemir, O. (2017). Türkçe öğretiminde dijital teknolojilerin kullanımı ve bir web uygulaması örneği. Electronic Turkish Studies, 12(4).
- Raykov, T. ve Marcoulides, G. A. (2008). An Introduction to Applied Multivariate Analysis (First Edition). NY: Taylor & Francis Group.
- Sancar-Tokmak, H., Sürmeli, H. ve Özgelen, S. (2014). Preservice Science Teachers' Perceptions of Their TPACK Development after Creating Digital Stories. International Journal of Environmental and Science Education, 9(3), 247-264.
- Schmidt, D. A., Baran, E., Thompson, A. D., Koehler, M. J., Mishra, P. ve Shin, T. (2009). Technological pedagogical content knowledge (TPACK): The development and validation of an assessment instrument for preservice teachers. Journal of Research on Technology in Education, 42(2), 123-149.
- Shih, C. ve Chuang, H. (2013). The development and validation of an instrument for assessing college students' perceptions of faculty knowledge in technology-supported class environments. Computers & Education, 63(2013), 109-118.
- Shulman, L. (1987). Knowledge and teaching: Foundations of the new reform. Harvard educational review, 57(1), 1-23.
- Sümer, N. (2000). Yapısal eşitlik modelleri: Temel kavramlar ve örnek uygulamalar. Türk psikoloji yazıları, 3(6), 49-74.
- Şahin, İ. (2011). Development of survey of technological pedagogical and content knowledge (TPACK). Turkish Online Journal of Educational Technology-TOJET, 10(1), 97-105.
- Şahin, A. ve Akçay, A. (2011). Türkçe öğretmeni adaylarinin bilgisayar destekli eğitime ilişkin tutumlarının incelenmesi. Electronic Turkish Studies, 6(2), 909-918.
- Şencan, H. (2005). Sosyal ve davranışsal ölçümlerde güvenilirlik ve geçerlilik. Ankara: Seçkin Yayınları
- Tabachnick, B.G. ve Fidell, L.S. (2013). Using multivariate statistics (6th ed.). New Jersey: Pearson.
- Tatlı, Z., Akbulut, H. İ. ve Altınışık, D. (2016). Öğretmen adaylarının teknolojik pedagojik alan bilgisi özgüvenlerine Web 2.0 araçlarının etkisi. Turkish Journal of Computer and Mathematics Education, 7(3), 659.
- Telli, S. G. ve Altun, D. (2020). Coronavirüs ve çevrimiçi (online) eğitimin önlenemeyen yükselişi. Üniversite Araştırmaları Dergisi, 3(1), 25-34.
- Timur, B. ve Taşar, M. F. (2011). Teknolojik pedagojik alan bilgisi öz güven ölçeğinin (TPABÖGÖ) Türkçe'ye uyarlanması. Gaziantep University Journal of Social Sciences, 10(2).
- UNESCO. (2020). COVID-19 : 10 Recommendations to plan distance learning solutions https://en.unesco.org/news/covid-19-10-recommendations-plan-distance-learning-solutions
- Yılmaz, Y., Üstündağ, M. T., Güneş, E. ve Çalışkan, G. (2017). Dijital hikâyeleme yöntemi ile etkili Türkçe öğretimi. Eğitim Teknolojisi Kuram ve Uygulama, 7(2), 254-275.
APA | Direkci B, Şimşek B, Ayvallı Karagöz M (2020). TÜRKÇE ÖĞRETMENLERİNE YÖNELİK TEKNOLOJİK PEDAGOJİK ALAN BİLGİSİ ÖLÇEĞİ’NİN GELİŞTİRİLMESİ. , 272 - 291. 10.21764/maeuefd.769481 |
Chicago | Direkci Bekir,Şimşek Bilal,Ayvallı Karagöz Merve TÜRKÇE ÖĞRETMENLERİNE YÖNELİK TEKNOLOJİK PEDAGOJİK ALAN BİLGİSİ ÖLÇEĞİ’NİN GELİŞTİRİLMESİ. (2020): 272 - 291. 10.21764/maeuefd.769481 |
MLA | Direkci Bekir,Şimşek Bilal,Ayvallı Karagöz Merve TÜRKÇE ÖĞRETMENLERİNE YÖNELİK TEKNOLOJİK PEDAGOJİK ALAN BİLGİSİ ÖLÇEĞİ’NİN GELİŞTİRİLMESİ. , 2020, ss.272 - 291. 10.21764/maeuefd.769481 |
AMA | Direkci B,Şimşek B,Ayvallı Karagöz M TÜRKÇE ÖĞRETMENLERİNE YÖNELİK TEKNOLOJİK PEDAGOJİK ALAN BİLGİSİ ÖLÇEĞİ’NİN GELİŞTİRİLMESİ. . 2020; 272 - 291. 10.21764/maeuefd.769481 |
Vancouver | Direkci B,Şimşek B,Ayvallı Karagöz M TÜRKÇE ÖĞRETMENLERİNE YÖNELİK TEKNOLOJİK PEDAGOJİK ALAN BİLGİSİ ÖLÇEĞİ’NİN GELİŞTİRİLMESİ. . 2020; 272 - 291. 10.21764/maeuefd.769481 |
IEEE | Direkci B,Şimşek B,Ayvallı Karagöz M "TÜRKÇE ÖĞRETMENLERİNE YÖNELİK TEKNOLOJİK PEDAGOJİK ALAN BİLGİSİ ÖLÇEĞİ’NİN GELİŞTİRİLMESİ." , ss.272 - 291, 2020. 10.21764/maeuefd.769481 |
ISNAD | Direkci, Bekir vd. "TÜRKÇE ÖĞRETMENLERİNE YÖNELİK TEKNOLOJİK PEDAGOJİK ALAN BİLGİSİ ÖLÇEĞİ’NİN GELİŞTİRİLMESİ". (2020), 272-291. https://doi.org/10.21764/maeuefd.769481 |
APA | Direkci B, Şimşek B, Ayvallı Karagöz M (2020). TÜRKÇE ÖĞRETMENLERİNE YÖNELİK TEKNOLOJİK PEDAGOJİK ALAN BİLGİSİ ÖLÇEĞİ’NİN GELİŞTİRİLMESİ. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, 1(56), 272 - 291. 10.21764/maeuefd.769481 |
Chicago | Direkci Bekir,Şimşek Bilal,Ayvallı Karagöz Merve TÜRKÇE ÖĞRETMENLERİNE YÖNELİK TEKNOLOJİK PEDAGOJİK ALAN BİLGİSİ ÖLÇEĞİ’NİN GELİŞTİRİLMESİ. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi 1, no.56 (2020): 272 - 291. 10.21764/maeuefd.769481 |
MLA | Direkci Bekir,Şimşek Bilal,Ayvallı Karagöz Merve TÜRKÇE ÖĞRETMENLERİNE YÖNELİK TEKNOLOJİK PEDAGOJİK ALAN BİLGİSİ ÖLÇEĞİ’NİN GELİŞTİRİLMESİ. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, vol.1, no.56, 2020, ss.272 - 291. 10.21764/maeuefd.769481 |
AMA | Direkci B,Şimşek B,Ayvallı Karagöz M TÜRKÇE ÖĞRETMENLERİNE YÖNELİK TEKNOLOJİK PEDAGOJİK ALAN BİLGİSİ ÖLÇEĞİ’NİN GELİŞTİRİLMESİ. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi. 2020; 1(56): 272 - 291. 10.21764/maeuefd.769481 |
Vancouver | Direkci B,Şimşek B,Ayvallı Karagöz M TÜRKÇE ÖĞRETMENLERİNE YÖNELİK TEKNOLOJİK PEDAGOJİK ALAN BİLGİSİ ÖLÇEĞİ’NİN GELİŞTİRİLMESİ. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi. 2020; 1(56): 272 - 291. 10.21764/maeuefd.769481 |
IEEE | Direkci B,Şimşek B,Ayvallı Karagöz M "TÜRKÇE ÖĞRETMENLERİNE YÖNELİK TEKNOLOJİK PEDAGOJİK ALAN BİLGİSİ ÖLÇEĞİ’NİN GELİŞTİRİLMESİ." Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, 1, ss.272 - 291, 2020. 10.21764/maeuefd.769481 |
ISNAD | Direkci, Bekir vd. "TÜRKÇE ÖĞRETMENLERİNE YÖNELİK TEKNOLOJİK PEDAGOJİK ALAN BİLGİSİ ÖLÇEĞİ’NİN GELİŞTİRİLMESİ". Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi 1/56 (2020), 272-291. https://doi.org/10.21764/maeuefd.769481 |