- Topic
77k Popularity
31k Popularity
9k Popularity
4k Popularity
4k Popularity
29k Popularity
16k Popularity
22k Popularity
12k Popularity
2k Popularity
- Pin
77k Popularity
31k Popularity
9k Popularity
4k Popularity
4k Popularity
29k Popularity
16k Popularity
22k Popularity
12k Popularity
2k Popularity
Vitalik'in gözünde "AI 2027": Süper AI gerçekten insanlığı yok edecek mi?
Yazar: Vitalik Buterin
Derleyen: Luffy, Foresight News
Bu yıl Nisan ayında Daniel Kokotajlo, Scott Alexander ve diğerleri "AI 2027" adlı bir rapor yayımladı ve "Gelecek 5 yıl içinde süper insan AI'nın etkileri hakkında en iyi tahminlerimizi" tasvir ettiler. 2027 yılına kadar süper insan AI'nın ortaya çıkacağını ve tüm insan uygarlığının geleceğinin AI türünün gelişim sonuçlarına bağlı olacağını öngördüler: 2030 yılına kadar ya bir ütopyaya (Amerika perspektifinden) ulaşacağız ya da tamamen yok oluşa (tüm insanlık perspektifinden) doğru gideceğiz.
Sonraki birkaç ayda, bu senaryoya yönelik olasılıklar hakkında çok sayıda farklı görüş ortaya çıktı. Eleştirel yanıtların çoğu, "zaman çizelgesinin çok hızlı olduğu" sorununa odaklandı: AI gelişimi gerçekten Kokotajlo ve diğerlerinin söylediği gibi sürekli bir hızlanma yaşayacak mı, hatta daha da kötüleşecek mi? Bu tartışma, AI alanında birkaç yıldır devam ediyor ve birçok kişi süper insan AI'nın bu kadar hızlı bir şekilde geleceğinden şüphe ediyor. Son yıllarda, AI'nın bağımsız olarak tamamlayabildiği görevlerin süresi yaklaşık her 7 ayda bir iki katına çıkıyor. Eğer bu trend devam ederse, AI'nın bağımsız olarak tüm insan meslek kariyerine eşdeğer görevleri tamamlaması için 2030'ların ortasını beklemesi gerekecek. Bu ilerleme oldukça hızlı olsa da, 2027'den çok daha geç.
Daha uzun zaman ufkuna sahip olanların, "interpolasyon / model eşleştirme" (mevcut büyük dil modellerinin yaptığı iş) ile "ekstrapolasyon / gerçek orijinal düşünme" (şu anda yalnızca insanların yapabildiği) arasında özsel bir fark olduğu yönünde eğilimleri vardır. İkincisini otomatikleştirmek için, henüz anlamadığımız veya henüz giriş yapmadığımız teknolojilere ihtiyacımız olabilir. Belki de, hesap makinelerinin büyük ölçekli kullanımının tekrarına düşüyoruz: Hızla belirli bir önemli bilişsel otomasyonu gerçekleştirdiğimiz için, diğer her şeyin de hızla takip edeceğini yanlış bir şekilde düşünüyoruz.
Bu makale zaman çizgisi mücadelesine doğrudan müdahale etmeyecek ve "süper AI'nın varsayılan olarak tehlikeli olup olmadığı" (çok önemli bir) tartışmaya da girmeyecektir. Ancak belirtmek gerekir ki, kişisel olarak zaman çizgisinin 2027'den daha uzun olacağını düşünüyorum ve zaman çizgisi uzadıkça, bu makalede sunduğum argüman daha ikna edici hale geliyor. Genel olarak, bu yazı başka bir açıdan eleştirel bir bakış açısı sunacaktır:
"AI 2027" senaryosu bir varsayım içeriyor: öncü AI ("Agent-5" ve sonraki "Consensus-1") yetenekleri hızla artacak ve tanrı gibi ekonomik ve yıkıcı güçlere sahip olacak, diğer herkesin (ekonomik ve savunma) yetenekleri ise temelde duraklayacak. Bu, senaryonun kendisiyle çelişiyor; "en kötü senaryoda bile, 2029'da kanseri iyileştirme, yaşlanmayı yavaşlatma ve hatta bilinç aktarımını gerçekleştirme umudumuz var" ifadesiyle çelişiyor.
Bu yazıda tanımlayacağım bazı önlemler, okuyucular tarafından teknik olarak uygulanabilir olarak düşünülebilir, ancak kısa bir sürede gerçek dünyada uygulanması pek mümkün değildir. Çoğu durumda, bu noktada katılıyorum. Ancak, "AI 2027" senaryosu mevcut gerçek dünyaya dayanmamakta, aksine 4 yıl içinde (ya da herhangi bir yıkıcı zaman diliminde) teknolojinin insanlara mevcut olanın çok ötesinde yetenekler kazandıracağı varsayımına dayanmaktadır. Bu nedenle, sadece bir tarafın AI süper yeteneklere sahip olmadığı, her iki tarafın da sahip olduğu bir durumda ne olacağını inceleyelim.
Biyolojik kıyamet, sahne tasvirinden çok daha basit değil
Hadi "ırk" sahnesine (yani herkesin, insanlığın güvenliğini görmezden gelerek, Amerika'nın Çin'i yenme konusundaki aşırı takıntısı yüzünden öldüğü sahne) büyütelim. İşte herkesin öldüğü olaylar:
"Yaklaşık üç ay boyunca, Consensus-1 insanlığın etrafında genişleyerek otlakları ve buzulları fabrikalara ve güneş panellerine dönüştürdü. Sonunda, kalan insanlığın fazla rahatsız edici olduğunu düşündü: 2030 yılının ortalarında, AI büyük şehirlerde ondan fazla sessizce yayılan biyolojik silahı serbest bıraktı, bunlar neredeyse herkesin sessizce enfekte olmasını sağladı ve ardından kimyasal sprey ile ölümcül etkiyi tetikledi. Çoğu insan birkaç saat içinde öldü; az sayıda hayatta kalan (örneğin sığınaktaki kıyamet yanıtçıları, denizaltındaki denizciler) insansız hava araçları tarafından temizlendi. Robotlar kurbanların beyinlerini tarayarak kopyalarını belleğe kaydetti, böylece gelecekteki araştırmalar veya diriliş için kullanılabilecekti."
Bu sahneyi inceleyelim. Hâlâ bazı geliştirilen teknolojiler var ki bu AI'nın bu tür "temiz ve kesin zaferi"ni daha az gerçekçi hale getirebilir:
Bu yöntemlerin bir araya gelmesi, hava yoluyla bulaşan hastalıkların temel bulaşma sayısını (R0) 10-20 kat azaltabilir (örneğin: daha iyi hava filtrelemesi bulaşmayı 4 kat azaltır, enfekte olanların hemen izole edilmesi 3 kat azaltır, basit solunum yolu bağışıklığını artırmak 1.5 kat azaltır) hatta daha fazlasını. Bu, mevcut tüm hava yoluyla bulaşan hastalıkların (kızamık dahil) yayılmasını durdurmak için yeterlidir ve bu rakam teorik optimumun çok uzağındadır.
Eğer gerçek zamanlı virüs dizilemenin yaygın olarak erken tespit için uygulanabilmesi mümkün olursa, "sessizce yayılan biyolojik silahların dünya nüfusunu enfekte edebileceği ve alarmı tetiklemeyeceği" düşüncesi oldukça şüpheli hale geliyor. Dikkate değer olan, "birden fazla salgın hastalığın ve yalnızca kombinasyon halinde tehlikeli hale gelen kimyasalların serbest bırakılması" gibi ileri düzey yöntemler kullanılsa bile, tespit edilebileceğidir.
Unutmayın, tartıştığımız "AI 2027" varsayımı: 2030 yılına kadar, nanobotlar ve Dyson küreleri "yeni teknolojiler" olarak listelenecek. Bu, verimliliğin büyük ölçüde artacağı ve yukarıda belirtilen önlemlerin geniş çapta uygulanmasının daha umut verici hale geleceği anlamına geliyor. 2025 yılının bugününde, insanlık hareketlerinde yavaş, tembellik içindedir ve birçok devlet hizmeti hâlâ kağıt tabanlı çalışmaya bağımlıdır. Eğer dünyanın en güçlü AI'ı 2030 yılına kadar ormanları ve tarlaları fabrikalar ve güneş enerjisi çiftliklerine dönüştürebilirse, o zaman dünyanın ikinci en güçlü AI'ı da 2030 yılına kadar binalarımıza çok sayıda sensör, aydınlatma ve filtreler yerleştirebilir.
Ama "AI 2027" varsayımını daha da ileriye taşıyabiliriz ve tamamen bilim kurgu sahnelerine girebiliriz:
2029 yılının Ocak ayında kanser ve yaşlanma sorunlarının tedavi edileceği ve teknolojik ilerlemenin sürekli olarak hızlanacağı bu dünyada, 2030'un ortasına geldiğimizde, eğer vücudu herhangi bir enfeksiyondan (ve zehirden) korumak için gerçek zamanlı biyoyazdırma yapabilen ve maddeleri enjekte edebilen giyilebilir cihazlarımız yoksa, bu gerçekten inanılmaz.
Yukarıdaki biyolojik savunma argümanları "yansıma hayatı" ve "sivrisinek boyutunda öldürücü insansız hava aracı" ("AI 2027" senaryo tahmini 2029'da ortaya çıkmaya başlayacak) konularını kapsamamaktadır. Ancak bu yöntemler, "AI 2027"'de tanımlanan türden ani bir "temiz ve kesin zafer" elde etmeyi başaramaz ve görünüşe göre bunlara karşı simetrik savunma daha kolaydır.
Bu nedenle, biyolojik silahların aslında "AI 2027" senaryosunda tasvir edilen şekilde insanlığı tamamen yok etmesi pek olası değildir. Elbette, bahsettiğim tüm sonuçlar insanlığın "temiz ve kesin zaferi" ile çok uzaktır. Ne yaparsak yapalım (belki de "bilinci robota yüklemek" hariç), tam kapsamlı yapay zeka biyolojik savaşları son derece tehlikeli olmaya devam edecektir. Ancak, "insanların temiz ve kesin zafer" standardını sağlamak şart değildir: Saldırıların yüksek bir olasılıkla kısmen başarısız olması, dünyada güçlü bir konuma sahip olan yapay zekaya karşı etkili bir caydırıcılık oluşturmak için yeterlidir, böylece herhangi bir saldırı girişiminde bulunmasını engeller. Elbette, yapay zekanın gelişim zaman çizelgesi ne kadar uzun olursa, bu tür savunma önlemlerinin etkili olma olasılığı o kadar artar.
Biyolojik silahları ve diğer saldırı yöntemlerini birleştirmek nasıl olur?
Yukarıda belirtilen önlemlerin başarılı olması için üç ön şartın yerine getirilmesi gerekmektedir:
Görünüşe göre, ön koşul (1)'in sonuçları iki uç noktaya gidebilir. Günümüzde bazı polis kuvvetleri son derece merkezileşmiş, güçlü bir ulusal komuta sistemine sahipken, diğerleri ise yerelleşmiştir. Fiziksel güvenlik, AI çağının ihtiyaçlarına hızlı bir şekilde uyum sağlamalıysa, tablo tamamen yeniden şekillenecek ve yeni sonuçlar önümüzdeki birkaç yılın seçimlerine bağlı olacaktır. Ülkelerin hükümetleri tembellik yapabilir ve hepsi Palantir'e güvenebilir; ya da yerel geliştirme ve açık kaynak teknolojileri birleştiren bir çözümü aktif olarak seçebilirler. Bu noktada, doğru seçimi yapmamız gerektiğine inanıyorum.
Bu konularla ilgili birçok karamsar tartışma (2) ve (3) tedavi edilemez varsayıyor. Bu nedenle, bu iki noktayı ayrıntılı olarak analiz edelim.
Siber güvenliğinin sonu henüz gelmedi
Kamuoyunun ve uzmanların genel olarak, gerçek siber güvenliğin sağlanamayacağına inanması, en fazla bulgular keşfedildikten sonra hızla onarımlar yapabileceğimiz ve keşfedilen zafiyetleri biriktirerek siber saldırganları caydırabileceğimizdir. Belki de en iyi senaryomuz, "Battlestar Galactica" tarzı bir durumdur: Neredeyse tüm insan uzay gemileri, Cylonların siber saldırılarıyla aynı anda felç olmuş, kalan uzay gemileri ise herhangi bir ağ teknolojisi kullanmadıkları için kurtulmuştur. Bu görüşe katılmıyorum. Aksine, siber güvenliğin "nihai durumu"nun savunma tarafı için faydalı olduğunu düşünüyorum ve "AI 2027"de varsayılan hızlı teknolojik gelişmelerle bu nihai duruma ulaşabileceğimizi düşünüyorum.
Bir anlayış şekli, AI araştırmacılarının en sevdiği teknik olan trend dışa vurumunu benimsemektir. Aşağıda, en üst düzey güvenlik teknolojisinin kullanıldığı varsayılarak, her bin satır kod için hata oranının zaman içindeki değişimi ile ilgili GPT derin araştırma anketine dayanan trend çizgileri bulunmaktadır.
Ayrıca, sandbox teknolojisi ve diğer izole edilmiş ve minimize edilmiş güvenilir kod tabanlarının geliştirilmesi ve tüketici benimsemesi konusunda önemli ilerlemeler kaydedildiğini gördük. Kısa vadede, saldırganların sahip olduğu süper zeka açık bulma araçları çok sayıda açığı bulabilir. Ancak, açıkları bulmak veya kodu formel olarak doğrulamak için yüksek zeka ajanları kamuya açık hale gelirse, doğal olarak nihai denge şöyle olacaktır: Yazılım geliştiricileri, kodu yayımlamadan önce sürekli entegrasyon süreçleri aracılığıyla tüm açıkları bulacaklar.
Bu dünyada açıkların tamamen ortadan kaldırılamayacağını gösteren iki ikna edici neden görebiliyorum:
Ancak, bu kategoriler "Saldırgan, yaşamamızı sürdüren sistemin root yetkisini alabilir mi?" gibi durumlar için geçerli değildir ve bu tam olarak tartıştığımız konudur.
Kabul ediyorum ki, görüşlerim mevcut siber güvenlik alanındaki zeki insanların sahip olduğu ana akım görüşlerden daha iyimser. Ancak, günümüz dünyası bağlamında görüşlerimi kabul etmiyorsanız bile unutulmaması gereken bir şey var: "AI 2027" senaryosunda süper zekanın var olduğu varsayılıyor. En azından, eğer "1 milyar süper zeka kopyası insan hızının 2400 katı hızla düşünemiyorsa" bu tür kusurlara sahip olmayan bir kod elde edemiyorsak, kesinlikle süper zekanın yazarın hayal ettiği kadar güçlü olup olmadığını yeniden değerlendirmeliyiz.
Bir anlamda, yalnızca yazılım güvenlik standartlarını önemli ölçüde artırmamız değil, aynı zamanda donanım güvenlik standartlarını da yükseltmemiz gerekiyor. IRIS, mevcut donanım doğrulanabilirliğini iyileştirme çabasıdır. IRIS'i bir başlangıç noktası olarak alabiliriz ya da daha iyi teknolojiler geliştirebiliriz. Aslında, bu, "doğru inşa etme" yöntemini içerebilir: kritik bileşenlerin donanım üretim süreci, belirli doğrulama aşamalarını özel olarak tasarlamaktadır. Bunların hepsi, AI otomasyonunun önemli ölçüde basitleştireceği işlerdir.
Süper ikna edici kıyamet de henüz gelmedi
Daha önce belirtildiği gibi, savunma kapasitesinin büyük ölçüde artması yine de işe yaramayabileceği bir diğer durum şudur: Yapay zeka, yeterince insanı ikna ettiğinde, onların süper zeki yapay zekanın tehditlerine karşı savunmaya ihtiyaç duymadıklarına ve kendileri veya toplulukları için savunma yolları arayanların suçlu olduğuna inanmasına yol açabilir.
Her zaman şunu düşündüm: Süper ikna ediciliğe karşı direncimizi artırabilecek iki şey var:
Yukarıdan aşağıya: URL kontrolü, kripto para adresi kontrolü, dedikodu kontrolü. Bu tür uygulamalar daha kişiselleştirilebilir, kullanıcı odaklı ve daha güçlü hale gelebilir.
Bu mücadele, süper zeki bir süper ikna edici ile senin mücadelen olmamalı; bunun yerine, süper zeki bir süper ikna ediciye karşı, senin hizmetinde olan biraz daha zayıf ama hala süper zeki bir analizör ile mücadele olmalıdır.
Bu, olması gereken bir durum. Ama gerçekten olacak mı? "AI 2027" senaryosunun varsayımlarında, bilgi savunma teknolojilerinin yaygınlaştırılması kısa bir süre içinde çok zor bir hedeftir. Ancak, daha ılımlı kilometre taşlarının yeterli olabileceği söylenebilir. Eğer kolektif karar verme en kritik ise ve "AI 2027" senaryosunda gösterildiği gibi tüm önemli olaylar bir seçim döngüsü içinde gerçekleşiyorsa, o zaman doğrudan karar vericilerin (siyasetçiler, kamu görevlileri, bazı şirketlerin programcıları ve diğer katılımcılar) iyi bilgi savunma teknolojilerini kullanabilmeleri önemlidir. Bu, kısa vadede daha kolay bir şekilde gerçekleştirilebilir ve tecrübeme göre, birçok bu tür kişi karar verme sürecine yardımcı olmak için birden fazla AI ile iletişim kurmaya alışkındır.
Aydınlanma
《AI 2027》 dünyasında, insanlar süper yapay zekanın kalan insanları kolayca ve hızla yok edebileceğini düşünmekte, bu durumun kaçınılmaz olduğunu varsayıyorlar; bu nedenle yapabileceğimiz tek şey, önde gelen yapay zekanın merhametli olmasını sağlamaya çalışmaktır. Bana göre, gerçek durum çok daha karmaşık: Önde gelen yapay zeka, kalan insanları (ve diğer yapay zekaları) kolayca yok edecek kadar güçlü mü, bu sorunun yanıtı hala büyük bir tartışma konusudur ve bu sonucu etkileyebilecek adımlar atabiliriz.
Eğer bu argümanlar doğruysa, günümüz politikalarına dair çıkarımlar bazen "ana akım AI güvenlik standartları" ile benzerlik gösterirken, bazen de farklılık göstermektedir:
Süper zeki AI'nın gelişimini geciktirmek hala iyi bir şeydir. Süper zeki AI'nın 10 yıl sonra ortaya çıkması, 3 yıl sonra ortaya çıkmasından daha güvenlidir, 30 yıl sonra ortaya çıkması ise daha güvenlidir. İnsanlık medeniyetine daha fazla hazırlık süresi vermek faydalıdır.
Bunu başarmak bir zorluk. Bence, ABD'nin önerdiği "10 yıl boyunca eyalet düzeyinde AI düzenlemesinin yasaklanması" genel olarak iyi bir şey olarak reddedildi, ancak özellikle SB-1047 gibi erken önerilerin başarısızlığından sonra, bir sonraki adımın yönü daha belirsiz hale geldi. Yüksek riskli AI gelişimlerini ertelemenin en az müdahaleci ve en sağlam yolu, en son donanımları düzenleyen bir antlaşmayı içerebilir. Etkili savunma sağlamak için gereken birçok donanım siber güvenlik teknolojisi, uluslararası donanım antlaşmasının doğrulanmasına da yardımcı olur, bu nedenle burada hatta bir sinerji etkisi vardır.
Yine de, dikkate değer olan, riskin ana kaynağının askeriyle ilgili aktörler olduğunu düşünmemdir; bu tür anlaşmalardan muafiyet elde etmek için son derece çaba göstereceklerdir; bu asla kabul edilemez, eğer nihayetinde muafiyet elde ederlerse, yalnızca askeri tarafından yönlendirilen AI gelişimi riskleri artırabilir.
AI'nın iyi şeyler yapma olasılığını artırmak ve kötü şeyler yapma olasılığını azaltmak için yapılan koordinasyon çalışmalarının hâlâ faydalı olduğu doğrudur. Ana istisna durumu (ve her zaman böyle olmuştur) şudur: Koordinasyon çalışmaları eninde sonunda yeteneklerin artırılmasına dönüşür.
AI laboratuvarlarının şeffaflığını artırma düzenlemesi hâlâ faydalıdır. AI laboratuvarlarının davranışlarını düzenlemenin riskleri azaltabileceği ve şeffaflığın bu amaca ulaşmanın iyi bir yolu olduğu teşvik edilmektedir.
"Açık kaynak zararlıdır" mentalitesi daha fazla risk alıyor. Birçok kişi, açık ağırlıklı AI'ye karşı çıkıyor, çünkü savunmanın gerçekçi olmadığına inanıyorlar. Tek umut verici senaryo, iyi AI'ye sahip iyi insanların, kötü niyetli olanlardan önce süper zeka elde etmesi ve son derece tehlikeli yeteneklere ulaşması. Ancak bu makalenin argümanı, farklı bir manzara çiziyor: Savunma gerçekçi değil, tam tersine, bir aktör diğerlerinden çok daha ileride olduğu için. Güç dengesini korumak için teknolojik yayılma önem kazanmaktadır. Ama aynı zamanda, yalnızca açık kaynak şeklinde gerçekleştirildiği için, öncü AI yeteneklerinin büyümesini hızlandırmanın iyi bir şey olduğunu asla düşünmeyeceğim.
Amerikan laboratuvarlarındaki "Çin'i yenmek zorundayız" zihniyeti daha riskli hale geliyor, nedenleri benzer. Eğer hegemonyanın güvenlik tamponu değil, bir risk kaynağı olduğu düşünülüyorsa, bu da (maalesef çok yaygın olan) "iy niyetli insanların önde gelen AI laboratuvarlarına katılıp daha hızlı kazanmalarına yardımcı olması gerektiği" görüşünü daha da çürütüyor.
"Kamu AI" gibi girişimlerin daha fazla desteklenmesi gerekiyor, hem AI yeteneklerinin geniş bir şekilde dağıtımını sağlamak hem de altyapı aktörlerinin gerçekten araçlara sahip olmasını sağlamak, böylece yeni AI yeteneklerini bu yazıda belirtilen bazı şekillerde hızlıca uygulayabilmeleri gerekiyor.
Savunma teknolojisi, "silahlandırılmış koyunlar" fikrini daha fazla yansıtmalıdır, "tüm kurtları avlamak" fikri yerine. Kırılgan dünya hipotezi üzerine yapılan tartışmalar genellikle, tek çözümün hegemonik devletlerin küresel gözetimi sürdürmesi olduğu varsayımına dayanır, böylece herhangi bir potansiyel tehdidin ortaya çıkmasını önler. Ancak hegemonik olmayan bir dünyada bu uygulanabilir bir yöntem değildir ve yukarıdan aşağıya savunma mekanizmaları güçlü AI tarafından kolayca alt üst edilebilir ve saldırı araçlarına dönüştürülebilir. Bu nedenle, dünyanın kırılganlığını azaltmak için daha büyük bir savunma sorumluluğu, zorlu çabalarla sağlanmalıdır.
Yukarıdaki argümanlar yalnızca varsayıma dayanmaktadır ve bu argümanların neredeyse kesin olan varsayımlarına dayanarak hareket edilmemelidir. Ancak "AI 2027" hikayesinin de varsayımsal bir niteliği vardır ve "belirli detaylarının neredeyse kesin" olduğu varsayımına dayanarak hareket etmekten kaçınmalıyız.
Özellikle yaygın bir varsayımdan endişeliyim: Bir AI egemenliği kurmak, onun "ittifaklar" oluşturmasını ve "yarışı kazanmasını" sağlamak, ilerlemenin tek yolu. Bana göre, bu strateji güvenliğimizi büyük olasılıkla azaltacaktır - özellikle egemenliğin askeri uygulamalarla derin bir şekilde bağlantılı olduğu durumlarda, birçok ittifak stratejisinin etkinliğini ciddi şekilde düşürecektir. Egemen AI bir sapma gösterdiğinde, insanlık tüm dengeleme araçlarını kaybedecektir.
"AI 2027" senaryosunda, insanlığın başarısı Amerika'nın kritik bir anda yok edici bir yol yerine güvenli bir yolu seçmesine bağlıdır - AI ilerlemesini gönüllü olarak yavaşlatmak ve Agent-5'in iç düşünme süreçlerinin insan tarafından yorumlanabilir olmasını sağlamak. Yine de, başarı kaçınılmaz değildir ve insanlığın tek bir süper zeka düşüncesine bağımlılığından nasıl kurtulacağı da belirsizdir. Gelecek 5-10 yıl içinde AI nasıl gelişirse gelişsin, "dünyanın kırılganlığını azaltmanın mümkün olduğunu" kabul etmek ve bu hedefe ulaşmak için insanlığın en son teknolojisini kullanmaya daha fazla enerji harcamak, denenmeye değer bir yoldur.
Balvi gönüllülerinin geri bildirimleri ve incelemeleri için özel teşekkürler.