Türkiye’de Veri Katmanı Projelerinin Genel Durumu-I

Çağımız yapay zeka, makine öğrenmesi, veri bilimi projelerinin İngilizce deyimiyle “eğilim” ‘ i zamanları. Su anda kime sorsanız, herkes bir şekilde yapay zeka ve veri bilimi projesi gerçekleştirmek için büyük bir heves içerisinde olduğunu söyleyecektir. Fakat ayrıca buna ilave olarak da, bu isten ziyadesiyle anladıklarını defaatlerce belirteceklerdir.

Genel anlamda, söz konusu projelere dikkat çekmeden önce, işletmelerin elinde öncelikle bir analitik katman etrafında kurgulanmış veri katmanının olup olmadığı önem arz etmektedir. Aslında söz konusu bu katman ile ilgili olarak Türkiye’deki durumu özel sektör ve kamu olarak da ikiye ayırmakta da büyük fayda bulunmakta. Özel sektörde faaliyet göstermekte olan büyük firmalar, ellerinde birikmiş olan büyük veri setlerinin (özellikle perakende ve finans sektöründe faaliyet gösteren firmalar) kendi is süreçleri açısından büyük bir avantaj sağlayacağını bildiklerinden ötürü, 15 yılı aşkın bir süredir analitik olarak adlandırılması da iş zekisi katmanını IT departmanları içerisinde kurgulamış durumdalar.

Yeni “trend” lerin büyük veri ve büyük veri üzerinde kurgulanacak olan analitik katman olduğunun da bilincinde olan özel sektörün büyük oyuncuları, bu konularda da erken adımlar atmaya çalışmaktadırlar. Büyük veri konuları masaya yatırılmaya başlandığında, genelde teknolojik açıdan hadoop ve kendi eko-sistemi içerisinde yer alan acık kaynaklı teknolojiler gündeme gelmekte. Telekomünikasyon sektörü dışarıda bırakıldığında ki gerçekten de ürettikleri veri setleri ciddi büyük, hadoop eko-sisteminin ne derecede başarılı olabileceği konusunun üzerine eğilmekte fayda bulunmakta.

Yazının başında da vurgulamış olduğum gibi, IT sektöründe herkesin analitik-makine öğrenmesi vb. projeler için heyecan içerisinde olduğu bu zamanlarda, akla ister istemez de doğal olarak, söz konusu bu projelerin kullanacağı veri kaynaklarının oluşturulması gelmekte. Özel sektörün büyük oyuncuları, bir şekilde kendi iş zekâsı/veri ambarı katmanlarını oluşturdukları için, yapılandırılmış veri setleri ozonun alındığında, veri kaynağı ile ilgili olarak analitik kısmi beslemekte çok da büyük bir problem yer almamakta. Ancak, çoğunlukla zikredilen gerçek zamanlı analitik gibi kavramlar etrafında söz konusu veri katmanlarının da çoğunlukla atıl bir konuma düşeceği seklinde bir inanış maalesef özellikle de IT profesyonelleri üzerinden dile getirilmekte.

Gerçek zamanlı analitik işlemlerin gerçekleştirilmesi ile ilgili olarak öncelikle hadoop eko-sistemi üzerinde yer alan acık kaynak teknolojiler üzerinden ilerlemeye çalışalım. Öncelikle operasyonel katmanda oluşmakta olan veri setlerinin hadoop üzerine daimi beslenmesi gerekecektir. Söz konusu bu veri setlerinin, operasyonel kaynaklar üzerinden (ister yapılandırılmış ister yapılandırılmamış olsun) hadoop üzerindeki dosya sistemine üzerine alınması öncelikle zaman maliyeti yaratacaktır. Diğer taraftan gerçek zamanlı sorguların hadoop eko sistemi üzerinde spark kullanılarak yapılması konusunda ciddi bir eğilim bulunmakta. Spark ile ilgili olarak, hadoop dosya sisteminde yer alan veri setlerinin, spark üzerine alınması ve ardından da spark üzerinde ya map-reduce işlemlerinin gerçekleştirilmesi ya da Mllib gibi makine öğrenmesi paketlerinin spark üzerinde çeliştirilmesi gerekmektedir. Spark’in da ram üzerinde koşmasından oturul, büyük veri setlerinin map-reduce ve makine öğrenmesi metotlarının performansların da ciddi derecede düşüş olacaktır. Kısacası veri setlerinin islenmesine gelene kadar, zaten bir ETL sureci yaşanacağı da aşikar ve bu sürecin de zaman alacağı aşikar.

Büyük veri ile ilgili olarak gene hadoop eko sistemi üzerinden gitmeye devam edersek, hadoop üzerinde alinmiş olunan veri setlerinin hive ile sorgulanması da gene büyük olacak group by işlemlerine bağlı olarak ve gene ETL süreçlerinin uzun olmasından oturul, öyle sanıldığı şekilde gerçek zamanlı bir analitik işlem olamayacaktır. Buradaki sorun hızdan ziyade, gerçek zamanlı sorgulamaların yapılıp yapılamayacağı ile ilgilidir.

Peki hadoop eko sistemi dışındaki durum nasıldır? Genelde perakende sektöründe faaliyet gösteren büyük firmaların veri setleri yapılandırılmış veri setleridir. Söz konusu bu firmalar, 15 yılı aşkın bir suredir konvansiyonel olarak hali hazırda veri ambarı katmanlarına sahip durumdadırlar. Doğal olarak veri setlerinin büyümesi, konvansiyonel olarak tutulmakta olunan veri setleri için yeni disklerin tedarik edilmesine sebep olmaktadır. Son 7–8 yıl içerisinde çoğu perakende sektörü firması büyük yazılım şirketlerinin MPP veri ambarı makinelerini kullanmaya başlamış durumdadırlar. Veri sorgulamanın hisli bir şekilde gerçekleştirilebildiği bu makineler üzerinde, R, Phyton vb.fonksiyonel yazılım geliştirme araçları kullanılarak, veri bilimi projeleri gerçekleştirilebilmektedir. Ancak burada da sorun, gene gerçek zamanlı analitik sorgulamaların ve veri bilimi metotların kulla niminin çok zor olacağı seklindedir.

Pekala yazının baliğini es geçmeden devam etmek istersek, işletmelerin ve kamu kurum kuruluşlarının veri katmanları nerede durmaktadır? Gözüken durum sudur. Özellikle is zekisi katmanlarını çoktan kurmuş olan özel sektör firmalarının, analitik anlamda veri katmanlarını yönetebilmeleri çok daha kolay gözükmektedir. Ayrıca özellikle, telekomünikasyon ve finans alanında faaliyet gösteren firmaların da, hem is zekisi katmanları olsun, hem de büyük veri katmanlarına büyük yatırım yapmalarından oturul, bu sektörlerde de faaliyet gösteren firmaların analitik katmanlarını kurmaları ve yönetmeleri kolay gözükmektedir. Buradaki sorunlar, sektörde çoğu IT profesyonelinin ağzından düşmeyen gerçek zamanlı sorguların/ veri bilimi metotlarının söylendiği derecede kolay olmayacağıdır.

Diğer yazıda, kamu kurum kuruluşlarının analitik katman ile ilgili durumlarını ele almaya çalışacağım.

 

Hakkında Barkın Ünüulu

1984'ten beri gerçek bir metal dinleyicisi, Thrash, Speed Metal aşığı, evli ve mutlu, Peri'nin babası, RDBMS'ye ilgi duyan.

İlginizi Çekebilir

Mobil İletişim Tarihi

Mobil iletişim fikrinin ortaya çıkışı 2.Dünya Savaşı’nda kullanılan elde taşınabilen portatif telsiz ”walkie-talkie ” ile …

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir