Bu sayfada
Eğitimde Yapay Zeka Araştırmaları Haftalık Güncellemesi #1
Bu İngilizce sayfanın bir ana dili konuşanı tarafından gözden geçirilmemiş otomatik çevirisidir.
Eğitimde Yapay Zeka Bilgi Tabanı'ndan haftalık bir özet: geçen hafta yayımlanan araştırmaların eğitmenler, geliştiriciler, araştırmacılar ve yöneticiler için ne anlama geldiği üzerine.
Bu hafta 71 yeni çalışma ve iki yeni kaynak eklendi; bilgi tabanı böylece 1.805 makale özetine, 220 kavram sayfasına, 37 SSS'ye ve 33 kaynağa ulaştı. Arayın veya bilgi tabanıyla sohbet etmek için yapay zekayı kullanın.
İçindekiler
- Öne çıkanlar ve sorular
- Eğitmenler için
- Geliştiriciler için
- Araştırmacılar için
- Yöneticiler için
- Öne çıkan kavramlar
- Yeni kaynaklar
- Bu hafta ayrıca eklenenler
- Site notları
- Güncellemeyi takip edin
Öne çıkanlar ve sorular
Bu haftanın manşet sonuçlarının ikisi de aynı şeyi söylüyor: puan, sonuç değildir. Üç kollu bir deneme, alıştırma puanlarını açık web ile %29,85 iken sınırsız ChatGPT ile %71,84'e çıkardı, kavramsal öğrenme ise hiç farklılaşmadı; yani yapay zeka erişimi altında daha yüksek bir not, öğrencilerin daha çok öğrendiğinin kanıtı değildir. On üç dedektör, tek bir düzeltme okumasından sonra insan eliyle yazılmış metinleri %0 ile %100 arasında değişen oranlarda işaretledi; yani bir dedektör işareti suistimalin kanıtı değildir.
- Ödevleri yükselten özel ders aracı sınavı da yükseltiyor mu? Rastgele atamalı bir deneme, ispat yazımı için bir özel ders aracını öğrencilerin önüne koydu ve ardından onsuz girilen bir sınavı ölçtü.
- Bir ödev iyi göründüğünde, ne kadarı modelin? Elli dokuz sohbet kaydı, aynı öğrencilerin teslim ettiği çalışmayla karşılaştırıldı.
- Bir yapay zeka dedektörü, insanın gerçekten yazdığı metni ne sıklıkla işaretliyor? On üç dedektör, yalnızca dilin değiştiği 135.389 belge çifti.
- Yapay zeka ile konuşma pratiği konuşmayı mı geliştiriyor, yoksa onun ölçülen tek bir özelliğini mi? On çalışma, altı CEFR özelliği ve tek bir bütüncül puan bildiren dört çalışma.
- Öğrencilere geri bildirimi kullanmayı öğretmek katılımlarını mı artırıyor, yoksa tersi mi? İkisinin sırasını belirleyemeyen üç dalgalı bir panel.
- Bir öğrenci reddettiğinde, geri çekildiğinde veya durumu tırmandırdığında yapay zeka özel ders araçları nerede hâlâ başarısız oluyor? Gerçek öğrencilerin vaka çalışmalarından kurulan 923 diyalog, uygulayıcıların belgeledikleriyle puanlandı.
- Eğitimde yapay zeka yönetişimi hukuk mu, rehberlik mi, yoksa temenni mi? 160 belge; bunlardan yalnızca dördü bağlayıcı biçim alıyor.
Eğitmenler için
Bir özel ders aracı ödevi yükseltip sınavı olduğu yerde bırakabilir
Chen ve arkadaşları, Carnegie Mellon'da ispat yazımı yapan 153 öğrenciyi rastgele erken ya da geç bir ispat özel ders aracına atadı ve ardından odada yapay zeka olmadan girilen bir sınavı ölçtü. Araç kullanılabilirken ödev puanları 2,56 puan arttı. Ara sınav puanları farklılaşmadı. Herkesin erişimi olduğunda ve kendi dozunu seçtiğinde, her 100 ek sohbet botu mesajı bir sonraki sınavda 3,02 puan daha düşük puanla birlikte gitti ve öz yeterlik düzeyi daha düşük olan öğrenciler aracı en çok kullananlardı.
Bu sizin için neyi değiştirir: araç açıkken kazanılan bir not, öğrencinin onsuz ne yapabildiğinin kanıtı değildir; bu yüzden bu ağırlığı desteksiz görevin taşıması gerekir. Bu ayrıca, ona yaslanma riski en yüksek olan öğrencilerin başlangıçta kendine en az güvenenler olduğu anlamına gelir; bu durum puanlarda görünmeden önce kullanımda görünür.
Sınırsız sohbet, iyi kurulmuş bir özel ders aracından daha çok puanı şişiriyor
Münih'teki bir CS1 dersinde yürütülen üç kollu bir denemede, 275 öğrenci 90 dakikasını bir Java alıştırması üzerinde ipucu veren bir özel ders aracıyla, sınırsız ChatGPT ile ya da açık web ile geçirdi. Alıştırma puanları %71,84, %57,50 ve %29,85 çıktı. Kavramsal bilgi kazanımları 0,83, 0,71 ve 0,85 puandı ve koşullar arasındaki fark anlamlılığa hiç yaklaşmadı (p = 0,773). Her iki yapay zeka koşulu da hayal kırıklığını azalttı; motivasyonu yalnızca özel ders aracı yükseltti.
Puan farkı çoğunlukla öğrenmeyle değil, ortaya çıkan ürünle ilgilidir. Alıştırmayı notlandırıyorsanız, yapay zeka koşulları farklı bir görev üzerinden notlandırılıyor demektir.
Öğretmenlerin kurduğu sohbet botları olgularda değil, niyette başarısız oluyor
EduWild, 217 öğretmen yapılandırmalı Playlab botundan 1.726 konuşma topladı; bunların 900'ü botların dağıtıldığı öğrencilerden geldi. Botlar son kullanıcı konuşmalarının %53,8'inde gerekli iş akışı adımlarını atladı, %33,4'ünde rollerini hiç belirlemedi ve %37,1'inde öğrenenleri bilgi ya da soruyla aşırı yükledi.
Kendinizin kurduğu ya da devraldığınız bir botu dağıtmadan önce ilk turunu okuyun; ne olduğunu ve sonra ne olacağını söyleyip söylemediğini kontrol edin. Burada belgelenen hatalar yönergelerdedir ve modele dokunmadan istemde düzeltilebilir.
Bir dedektör kararı kanıt değildir
Bir düzenleme hizmeti veri kümesi, Park ve arkadaşlarına yazarı, konuyu ve içeriği sabit tutarken yalnızca dilin değiştiği 135.389 belge çifti verdi. 13 dedektör genelinde, insan eliyle yazılmış akademik metinlerdeki yanlış pozitifler %0 ile %100 arasında değişti ve aynı düzenlemeler dedektörleri zıt yönlerde hareket ettirdi. Ayrı olarak, bir grup dönemlik değerlendirici, dil bilgisi denetleyicilerini işaretlediği için dedektörünü tamamen kaybetti ve artık bunun yerine uydurma kaynaklara ve ders materyallerinden kopukluğa bakıyor.
Bir öğrencinin, özellikle ikinci dilde yazan bir öğrencinin önüne dedektör puanı koyuyorsanız, bu hafta dedektörleri kullanmayı bırakma haftasıdır. İkinci çalışmadaki okumaya dayalı sinyaller pratik alternatiftir.
Değerlendirme tasarımı, bir ilke arayışı değil, üç kısıt arasında bir seçimdir
Pedlow, Fischer ve Williams, sorunun tasarım ilkelerinin kıtlığı değil, birbirine karşı çeken ilkeler hakkında akıl yürütmenin yokluğu olduğunu savunuyor. İkili üçleme modeli, değerlendirmede özgünlük, gözlenebilirlik ve uygulanabilirliği; geri bildirimde ise belirlilik, zamanlılık ve iş yükünü bilinçli olarak dengelenen kısıtlar olarak ele alıyor.
Bir değerlendirmeyi yapay zeka için yeniden tasarlamanız istendiğinde, bu çerçeve açık bir soruyu kaydedip savunabileceğiniz kısa bir gerekçeye dönüştürür.
Sohbet botlarından gelen konuşma kazanımları özelliğe göre eşit değil
Soriano-Gonzalez ve Belda-Medina, 306 kaydı eleyip on çalışmaya indirdi ve konuşma dilinin altı CEFR özelliğinden hangilerinin gerçekten hareket ettiğini sordu. Kapsam ve anlaşılırlık dörder çalışmada gelişti, tutarlılık bir çalışmada, etkileşim neredeyse hiçbirinde. On çalışmanın dördü tek bir bütüncül puan bildirdi, bu yüzden kazanımları hiçbir özelliğe izlenemiyor.
Bir satıcının “konuşma gelişti” iddiası, çalışmanın hiç ölçmediği bir değişiklikle uyumlu olabilir. Dinleme için Goh ve Aryadoust kanıtı çok daha zayıf buluyor.
Geri bildirim okuryazarlığı ve katılım birbirini besliyor
399 lisans öğrencisinin oluşturduğu üç dalgalı bir panel, yapay zeka geri bildirimi okuryazarlığının sonraki aracı katılımı yordadığını (β = 0,222) ve ters yolun da aynı güçte olduğunu (β = 0,263) buldu; ikisinin sırasını belirlemek için istatistiksel bir dayanak yoktu.
Öğrencilere geri bildirimi okumayı ve kullanmayı öğretmek, katılım başlamadan önce tamamlanacak bir önkoşul değildir. İkisi birlikte hareket eder; bu yüzden yalnızca birini geliştiren bir ders kendi kendine karşı çalışıyor demektir.
Geliştiriciler için
Zor vakalar özel ders araçlarının hâlâ başarısız olduğu yerdir ve strateji getirme orta düzey modellere yardımcı olur
TutorCaseBench, nitel vaka çalışmalarını beş güçlük türünde 923 altı turlu diyaloğa dönüştürdü ve 11 modeli vakaya özgü rubriklerle puanladı. En iyi model, açık uçlu vakaların %55,8'inde belgelenmiş bir müdahaleyi karşıladı; tasarımda esas alınacak sayı budur. Vaka literatürünün belgelediği stratejiyi sağlamak, 11 modelin 10'unu ortalama 9,9 puan yükseltti; Llama 4 Maverick %41,0'dan %64,8'e çıktı, en güçlü model ise %71,3'te sabit kaldı.
Referans stratejilerin getirilmesi, karşılayabildiğiniz modeller için inşa etmeye değer. Örüntüyü zaten taşıyan bir sınır modelini kurtarmaz.
Laboratuvar istemlerine değil, dağıtılmış konuşmalara karşı doğrulayın
EduWild veri kümesi, her konuşmayı arkasındaki sistem istemi ve ayarlarla eşleştirir; hatayı çözümlenebilir kılan şey budur: son kullanıcı konuşmalarının %53,8'i gerekli bir adımı atladı. Öğretmenin yazdığı yapılandırma, model yeteneğinden ayrı bir hata yüzeyidir ve istem düzeyinde bir düzenek, öğretmenin denetimini kaldırmadan niyeti geri kazandırdı.
Ürününüz öğretmenlerin yönergeleri yazmasına izin veriyorsa, test kümeniz dağıtımdan sonra toplanan onların yönergeleri olmak zorundadır.
Geri bildirim kalitesinin rubrik boyutu, kimsenin ölçmediği boyuttur
Yang, yapay zeka tarafından üretilen geri bildirim üzerine 68 çalışmayı inceledi. Kanıt geçerliliği bunların 47'sinde, pedagojik yararlılık 58'inde ve rubrik ile görev uyumu 19'unda görünüyor. Bir ürünün en doğrudan denetleyebileceği boyut uyumdur ve en az çalışılan boyut da odur.
Bu bir açıklık: ödevin zaten kullandığı rubriğe göre inşa edin ve bunu söyleyin, çünkü yayımlanmış kanıt alıcılara başka birinin bunu yapıp yapmadığını söylemeyecek.
Eyleme geçirilebilirlik bir tasarım hedefidir, bir incelik değil
Tamme, Schilling ve Hantel, dönem sonu yazılı anketinin yerine bir yapay zeka aracısının yürüttüğü telefon görüşmesini öneriyor; gerekçeleri, yazılı aracın yanıt oranı, derinlik ve eyleme geçirilebilirlik açısından başarısız olması. Bu bir saha testi değil, bir öneri. Tasarım iddiaları ödünç almaya yetecek kadar somut: takip soruları sorun, gerekçe isteyin, alıcının harekete geçebileceği bir şey döndürün.
Araştırmacılar için
Öz bildirim ve performans sık sık farklı sonuçlara varıyor
Fan ve arkadaşları, ölçme yöntemlerini 2.099 kayıt üzerinde haritaladı ve ardından bir öz bildirim aracının bir test, derecelendirme veya iz ile aynı yapıyı ölçtüğü 51 durumu inceledi. İkisinin uyuşup uyuşmadığı sorusunun yanıtı sık sık hayırdır. Ayrıştıkları yerde, yapının gözlenebilirliği bunu çalışma kalitesinden daha iyi açıklıyor.
Birini diğerinin yerine koymak, kolaylık değil yönü olan bir ölçme kararıdır. İddianızın hangisine dayandığını bildirin.
Ürünler boşaltmayı gizler, bu yüzden süreci ölçün
Kontorovich ve Wallach, 59 sohbet kaydındaki 429 istemi öz düzenleme izleri olarak kodladı ve her birini teslim edilen çalışmayla karşılaştırdı. Üç görevin hepsini tamamlayan on beş öğrencinin onu, görev değiştikçe modele verdikleri rolü değiştirdi, ancak 59 teslimin 53'ü modelin ürününü yeniden üretti ya da yalnızca biçimsel olarak revize etti.
Tek başına bir teslim, kullanımı ikameden ayıramaz. Süreç verisi ayırabilir ve buradaki kodlama şeması yeniden kullanılabilir.
Açık uçlu görevlerde bağımlılık için doğrulanmış bir ölçek
Çoğu bağımlılık ölçüsü, bağımlılığı öğrencinin doğru tavsiyeye uyup uymadığından çıkarır; bu da kontrol edilebilir bir yanıt gerektirir. Hou ve arkadaşları, böyle bir yanıtın bulunmadığı probleme dayalı öğrenme için 16 maddelik bir ölçek geliştirdi ve doğruladı.
Dedektör karşılaştırma ölçütleri çürür, bu yüzden hasmı bildirin
Ren, Raghavan ve Garg, algılama sorusunu ayrılabilirlik ve hareket olarak ikiye ayırıyor. Denetimli temel çizgiler, dağılım içinde insan ve makine düzyazısını neredeyse kusursuz ayırırken, ticari dedektör Pangram, ondan kaçmak için yazılmış bir isteme karşı %63,5 dengeli doğruluğa ve %27 duyarlılığa düştü.
Kaçınma girişimi bildirilmeden verilen sayılar, artık var olmayan bir dünyayı tanımlar. Derleme literatürü de önemli yerde zayıf: ikinci dilde yazmaya yönelik üretken yapay zeka geri bildirimi üzerine 51 çalışmanın 5'i geri bildirimin doğru olup olmadığını kontrol ediyor.
Yöneticiler için
Eğitimde yapay zeka yönetişiminin çoğu hukuk değil, rehberliktir
Elmahjub ve arkadaşları, 498 kayıttan 160 İngilizce yönetişim belgesini yakından okudu. Yalnızca 4'ü resmi hukuki veya düzenleyici biçim alıyor; 92'si rehberlik, çerçeve, araç seti veya el kitabı. Hesap verebilirlik 146 belgede görünüyor, ancak yalnızca 100'ünde adlandırılmış bir gözetim aktörüyle eşleşiyor.
Adı konmuş bir sahibi ve bir mekanizması olmayan politika, bir niyet beyanıdır. Derleme, kendi belgenizi denetlemek için size alanları veriyor.
Dedektör satın alma bir yanlış pozitif sayısı gerektirir
On üç dedektör, kontrol olarak insan eliyle yazılmış akademik metin, yanlış pozitifler %0 ile %100 arasında. En az bir kurum, dil bilgisi denetleyicilerini işaretlediği için dedektörünü zaten devre dışı bıraktı. Bir satıcı size kendi disiplininizdeki insan işi üzerinde yanlış pozitif oranı vermeyecekse, disiplin riskinin bedelini hesaplayamazsınız.
Değerlendirmede belgelenen yön süreç, özgünlük ve sözlü çalışmadır
Crompton ve Burke, 24 ülkeden ve 20 disiplinden 72 çalışmayı gözden geçiriyor ve yinelenen üç tasarım yanıtı buluyor: süreç odaklı, özgün ve sözlü değerlendirme. Kanıt tabanı geniş ve yöntemsel olarak zayıf, çalışmaların çoğu tek bir dersi kapsıyor ve bunların hiçbiri yönü değiştirmiyor.
Öğretmenler arasında benimseme, anlayışın önüne geçti
132 Endonezyalı K-12 öğretmeni arasında %96,2'si öğretmenlerin yapay zeka kullanımını ve %84,6'sı öğrencilerin kullanımını destekliyor; yine de %69,2'si bir sohbet botunun bir yönergeyle ne yaptığına dair belirsiz veya yanlış bir açıklama verdi.
Bir anketteki destek, sınıftaki yetkinlik değildir. Buradaki mesleki gelişim açığı herhangi bir araç dağıtımından önce ortaya çıkıyor ve ölçek, ihtiyaç değerlendirmesi olarak yeniden kullanılabilecek kadar kısa.
Ders anketini yalnızca yerine geçen şey eyleme geçirilebilirse değiştirin
Sesli görüşme önerisi, dönem sonu anketlerini işe yaramaz kılan başarısızlık kiplerini hedefliyor: yanıt oranı, derinlik, yeterince iyiyle yetinme ve kimsenin harekete geçemediği yanıtlar. Bunu, yapay zeka sürümünün işe yaradığına dair kanıt değil, yerine kullanacağınız her neyse onun için bir şartname olarak ele alın.
Öne çıkan kavramlar
Dört kavram sayfası bu haftanın bulgularını sentez katmanına taşıdı. Her biri tek seferlik değil, kalıcı bir sayfa; bu yüzden yeni kanıt, sayfanın zaten savunduğu şeyin yanında duruyor.
Dil öğrenimi
Sayfa artık sohbet botlarının konuşma kazanımlarına dair kanıtın özelliğe göre eşit olmadığını ve sentezlenen on çalışmanın dördünün tek bir bütüncül puan bildirdiğini açıkça söylüyor; bu yüzden kazanımları bir özelliğe atfedilemiyor. Sözlü pratik satın almadan veya inşa etmeden önce dil öğrenimi sayfasını okuyun.
Zeki özel ders
Yeni bulgusu getirme sonucu: referans stratejileri sağlamak zayıf özel ders araçlarını yükseltiyor, güçlüleri oldukları yerde bırakıyor. Bu bir inşa kararıdır ve zeki özel ders sayfası bunu ipucu kalitesine dair eski iddialardan ayırıyor.
Öz bildirim ölçüleri
Öz bildirim açığının en keskin yeni vakası niyet; burada tek bir puan, aynı 340 öğrenci örnekleminde öğrenmeye yönelik, kestirmeye yönelik ve karma kullanımı kapsıyordu; iddianın arkasında 68 kez yeniden uygulanan madde ve sekiz görüşme var ve hepsi öz bildirim ölçüleri sayfasında kayıtlı.
Yönetişim
Sayfa artık araç biçimi bulgusuyla açılıyor: 160 belgenin 4'ü bağlayıcı, 92'si tavsiye niteliğinde ve hesap verebilirlik yalnızca 100'ünde bir aktör olarak adlandırılmış. Yönetişim sayfası, soruyu bir politikanın ne söylediğinden, harekete geçip geçemeyeceğine taşıyor.
Yeni kaynaklar
Bu hafta kaynak kütüphanesine iki kaynak katıldı; biri yazılımın yapay zekayla nasıl inşa edileceğine karar vermesi gereken kurum için, diğeri bir öğrencinin kodunun öğrencinin kendisine ait olup olmadığına karar vermesi gereken eğitmen için.
Campus AI Development
Campus AI Development, sorunun kurum tarafından ele alındığı ücretsiz bir web rehberidir. Bir kampüsün yapay zekayla yazılımı nasıl yaptırabileceğini, vibe coding'den yönetilen çok aracılı çalışmaya kadar ortaya koyuyor ve her yolu kendisine uyan inceleme güzergâhı, veri tavanı ve denetimlerle eşleştiriyor. Bir yapay zeka aracının hiç kullanılıp kullanılamayacağına karar veren Campus AI Framework eşliğinde geliyor; bu rehber yanıt evet olduğunda ne yapılacağını kapsıyor. Site metni için lisans yayımlamıyor.
Code Viva
Code Viva, sözlü savunmayı ölçeklenebilir kılan ücretsiz bir tarayıcı aracı: bir programlama dersindeki her öğrenci için yazılı, süreli bir viva, her biri on beş ila yirmi dakika ve odada eğitmen yok. Öğrencinin teslim ettiği kodu ve commit geçmişini okur, o öğrencinin kendi fonksiyonları, adları ve commit'leri hakkında dört ila altı soru yazar ve her öğrenciye yanıtlayacağı kişisel bir bağlantı verir. Sorular bir model çağrısından değil, teslime uygulanan kurallardan gelir ve eğitmen her birinin arkasındaki alıntılanmış kanıtla birlikte önerilen puanlar alır; onaylar ya da geçersiz kılar. Site lisans ve kaynak deposu yayımlamıyor.
Bu hafta ayrıca eklenenler
- Mapping generative AI in higher education teaching and learning: a scoping review
- Large language models for teaching and learning in higher education: opportunities, challenges, and future directions
- From insight to intervention: learning analytics and generative AI support for learning design and educational decision-making
- Governing Generative AI in Higher Education: A Cross-National Analysis of Policy Framing and Student Maneuvering
- Delegation Is Not Assistance: Agentic AI and Assessment Governance in Higher Education
- Artificial learning: how sessional academics view contract cheating and digital academic misconduct in assessment
- VIRA-Bench: Diagnosing Pedagogical Contingency Understanding in Online Tutoring Videos
- A Stratified Multi-Rater Evaluation of LLM-Based Virtual Standardized Patients with a Deployed Data-Generation Platform
- Bias and Reliability in Learning-Style Inference from Student-AI Dialogues: An Evaluation of GPT-4o and Gemini 2.0 Flash
- Addressing symbolic obstacles in undergraduate calculus through artificial intelligence scaffolding
- AI Security Literacy: Ecosystem-based Competency Framework and K-12 Learning Platform
- Shaping early childhood in the age of AI: holistic competencies, pedagogical practices, and ecological support
- Using Large Language Models to Detect Socially Shared Regulation of Collaborative Learning
- Prompt-based emotional scaffolding in generative AI: Effects on self-regulated learning and socio-emotional outcomes
- Personalizing Student-Agent Interactions Using Log-Contextualized Retrieval-Augmented Generation (RAG)
Diğer çalışmalar, yöntemleri ve özetleriyle birlikte günlük sayfasında gün gün listelenmiştir.
Site notları
Bu hafta iki sayfa ortaya çıktı. Bülten arşivi her sayıyı barındırıyor; yanında bilgi tabanı akışının yanı sıra kendi akışı var ve kavram dizini 220 kavram sayfasının tamamını, kenar çubuğundaki aynı bölümlerde tek bir sayfaya koyuyor; böylece artık tüm kümeyi isteyen bir okuyucuyu gönderebileceğiniz bir yer var.
Geri kalan her şey zaten var olan üzerine çalışmaydı: kavram sayfaları ve SSS'ler yeniden yazıldı, metin sıkılaştırıldı ve çeviriler tüm dillerde güncellendi.
Site statik bir derleme ve içeriği, kodu ve araçları github.com/edtechdev/aied adresinde herkese açık; yukarıda anlatılan her değişiklik orada okunabilir.
Güncellemeyi takip edin
Her sayıyı bir akış okuyucuda bülten akışı üzerinden alın; aynı akışı Blogtrottr içine yapıştırarak yeni sayıların seçtiğiniz bir programda e-postayla gelmesini sağlayın ya da her sayının bir LinkedIn bülteni olarak yayımlandığı LinkedIn üzerinden takip edin.
AIEd Research Weekly Update, bir yapay zeka aracısının ürettiği Eğitimde Yapay Zeka Bilgi Tabanı'ndan gelir. Bu sayı aynı yapay zeka aracısı tarafından, site geliştiricisinin editöryel rehberliğiyle taslaklandı ve yukarıdaki her iddia geldiği sayfaya bağlantı verir.
Bilgi tabanı CC0 1.0 lisansı altında kamu malına adanmıştır. Hiçbir hak saklı değildir.
İçerikte bir sorun mu buldunuz? GitHub'da bildirin veya site geliştiricisi Doug Holton ile iletişime geçin.