Veri Mühendisi Kimdir, Nasıl Olunur?

Veri mühendisliği, veri altyapısını yöneten bir teknoloji alanıdır. Şirketlerin verileri toplamasına, depolamasına, işlemesine ve analiz etmesine yardımcı olan araçlar ve sistemler tarafından şekillendirilir. 

Peki tüm bunlar niye yapılır? 🤷 Şirketlerin yalnızca veriye sahip olmakla kalmayıp, ondan gerçekten faydalanabilmesini sağlamak için yapılır.

Peki tüm bunları kim yapar? 🤷 Veri mühendisleri.

Veri mühendisleri makine öğrenimi ve analiz için veri sistemleri tasarlayan ve kuran profesyonellerdir.  Veri toplama, veri dönüştürme, veri işleme, veri tabanı yönetimi, veri depolama ve veri modelleme gibi görevleri yerine getirir.

Birçok şirket verilerini anlamlandırmak için veri mühendislerine ihtiyaç duyar. Bu nedenle de teknoloji rolleri arasında talep gören ve kazançlı bir kariyerdir. 

Veri mühendisliği ile ilgili birkaç istatistiği de buraya bırakalım;

• Veri mühendisliği sektörü sadece geçen yıl %22,89 oranında büyüdü.
• Indeed'deki iş ilanlarının %22,8'inde diploma şartı belirtilmiyor.
• Veri mühendislerinin Türkiye’deki ortalama güncel maaşları için bu sayfamızı ziyaret edebilirsin.

Veri Mühendisleri Ne İş Yapar?

Öncelikle, veri mühendislerinin rolleri ve sorumlulukları konusuna girmeden önce gerçekten ilanlara bakıp iş tanımlarını okuyabilirsin çünkü bu roller ve sorumluluklar şirketten şirkete değişiklik gösterebilir.

Biz burada daha genel görev ve sorumluluklardan bahsedeceğiz. 

1. Veri işlem hatları kurarlar

Farklı yerlerden gelen ham verileri alır, temizler ve kullanılabilir hale getirirler. Bunu otomatik çalışan sistemler kurarak yaparlar. Böylece veri akışı düzenli ve sorunsuz ilerler ancak bu veri toplama ve yönetimi oldukça karmaşık olabilir. Veri işlem hatları oluşturmak, birçok farklı kaynaktan gelen verileri toplamak demek. Bunları derlemek ve düzenlemek için büyük bir özen gerekir. 

2. Veri altyapısını yönetirler

Verilerin saklandığı veri tabanlarını ve veri ambarlarını kurar ve bakımını yaparlar. Bu sayede veriler güvenli bir şekilde saklanır ve ihtiyaç duyulduğunda kolayca erişilebilir.

3. Veri kalitesini sağlarlar

Eksik, hatalı ya da karışık verileri tespit edip düzeltirler. Verilerin doğru ve tutarlı olmasını sağlarlar çünkü doğru analiz için temiz veri şarttır.

4. Veri yapısını planlarlar

Verilerin nasıl düzenleneceğini ve organize edileceğini belirlerler. Böylece ekipler verileri daha kolay bulabilir, kullanabilir ve analiz edebilir.

Neden Veri Mühendisliği?

Veri mühendisliği, son yıllarda giderek daha fazla önem kazanan bir alan. Bugünkü kariyer olanaklarına göre önümüzdeki dönemde de değerini koruyacağı öngörülüyor ancak aslında bu mesleği cazip kılan tek şey büyüme potansiyeli değil.

Öncelikle, veri mühendisliği pozisyonlarında maaşlar tabii ki kişinin yeteneklerine ve deneyimine göre değişse de teknik bilgi ve uzmanlık gerektiren bir alan olduğu için karşılığını veren bir kariyer yoludur diyebiliriz. 

Bahsetmek istediğimiz bir diğer güçlü yanı ise işin doğasıdır diyebiliriz. Veri mühendisleri her gün farklı ve çoğu zaman karmaşık problemlerle karşılaşır. 

Sistem kurmak, veri akışlarını düzenlemek, hataları çözmek ve süreçleri iyileştirmek zihinsel olarak besleyici ve tatmin edici olabilir. 

Sürekli öğrenmeyi seviyorsan bu alan senin için oldukça uygun bir alan olabilir. Kariyer olanakları açısından da veri mühendisliği esnek bir alan. 

Finans, sağlık, teknoloji, e-ticaret gibi pek çok sektörde veriyle çalışan ekipler mevcut. Bu da farklı alanlara yönelme ve ilgi duyduğun sektörde çalışma imkanın olabileceği anlamına gelir. 

Veri Mühendisi Olmak için Gereken Beceriler Nelerdir?

Bir veri mühendisinin ne yaptığını ve neden bir veri mühendisi olmak isteyebileceğini yukarıdaki bölümlerde değindik. Peki bu iş için hangi beceriler gerekiyor? 

Çalışacağın yere bağlı olarak, şirketin farklı bir tech stack’i olabilir. O nedenle yine bu alanda da genel bir özet niteliğinde olacak ancak genel bir fikir edinmek için Linkedin’de açık ilanlara göz atabilir, adaylarda olması beklenen beceriler hakkında daha fazla fikir edinebilirsin. 👀

Programlama dilleri

• Python: Python, veri mühendisliği için temel bir beceridir. Python, betik yazımından otomasyona ve veri işlemeye kadar her şeyi yapmaya olanak tanıyan güçlü bir programlama dili. 
• SQL: Veri tabanlarıyla etkileşim kurmamıza ve onları yönetmemize olanak tanır. Veri tabanları bir veri mühendisinin işinin büyük bir bölümünü oluşturduğundan, oldukça önemli bir teknolojidir. 

Veri tabanı yönetimi

• İlişkisel veri tabanları: İlişkisel veri tabanları PostgreSQL ve MySQL gibi teknolojileri içerir. Şema tasarımı, normalleştirme ve indeksleme için bu araçlara hakim olmalısın.
• NoSQL veri tabanları: MongoDB ve Cassandra gibi teknolokiler, yapılandırılmamış verilerle çalışman gerektiğinde faydalı olur.
• Veri ambarlama: Slowflake, Amazon Redshift veya Google BigQuery'ye hakim olmak sana bu konuda gerekli bilgi birikimini sağlayacaktır.

ETL süreçleri ve veri hattı araçları

• ETL / ELT Süreçleri: Bu, veri mühendisi olarak neredeyse her gün kullanacağın temel beceridir. Veriyi bir yerden alır, dönüştürür ve hedef sisteme yüklersin. Verinin doğru, temiz ve analiz edilebilir olması büyük ölçüde bu süreci ne kadar iyi yönettiğine bağlıdır. O yüzden burada güçlü olman çok önemlidir.
• Veri işlem hattı araçları: Günlük işlerinde veri akışını yönetmek için bazı araçlar kullanırsın. En çok kullanılan araçlar arasında Apache Airflow, Apache Kafka ve Apache Spark bulunur. 

Bulut platformları

• Amazon Web Services (AWS): İnternet üzerindeki birçok sistem bu platformda çalışır.
• Google Cloud Platform (GCP): Bir diğer güçlü bulut platformu.
• Microsoft Azure: Özellikle kurumsal şirketlerde sık kullanılır. Bu platformu bilmek seni bir adım öne çıkarır.

*Bir de burada uzunca değinmediğimiz ama aranan bazı ek teknik beceriler de mevcut. Bunlardan biri sürüm kontrol sistemleri. 

Bu sistemler kod yazarken yaptığın değişiklikleri takip etmeni sağlar. Burada Git ve GitHub en popüler iki araçtır. Git ve Github hakkında mutlaka okuma yapmanı öneririz. 

Veri Mühendisi Nasıl Olunur?

1. Teknik becerilerini geliştir

Her şeyden önce en önemli konu tabii ki teknik becerileri geliştirmek. Veri mühendisliği sürekli gelişen bir alan olduğunu da unutmayalım. Bu yüzden “öğrendim, bitti” diyebileceğin bir noktaya gelmezsin. Yeni araçlar, yeni sistemler ve yeni yaklaşımlar ortaya çıkabilir. Başarılı bir veri mühendisi olmak için teknik temelini sağlam kurmalı ve öğrenmeye devam etmelisin. 🏃‍➡️

2. Veri tabanı yönetimi hakkında bilgi edin

Veri mühendisleri, günlük çalışmalarının önemli bir bölümünü veri tabanlarında veri toplama, depolama, aktarma, temizleme veya sadece veri sorgulama gibi işlemlerle geçirirler. Bu nedenle veri tabanı yönetimi konusunda iyi bir bilgiye sahip olman oldukça önemli.

Peki burada hangi teknolojiler karşımıza çıkıyor? İlk olarak SQL ile başlayabilirsin. Buraya hemen SQL öğrenmek için izleyebileceğin video ve kurs önerileri bırakalım.

a. SQL Full Course

📌 Kanal: Data with Baraa

Eğer SQL öğrenmek istiyorsan ve ücretsiz bir kaynak arıyorsan YouTube’daki videolardan faydalanabilirsin.

“SQL Full Course for Beginners (30 Hours) – From Zero to Hero” video serisi sıfırdan başlayıp ileri düzeye kadar çoğu konuyu kapsıyor. Sıfırdan başlayabilir, videolar boyunca bol bol not alabilirsin. 

b. 60 Derste SQL

📌 Kanal: Murat Yücedağ

SQL’e başlamak istiyorsan ve Türkçe bir kaynak arıyorsan, Murat Yücedağ’ın bu ücretsiz videolarını mutlaka görmelisin. 

Murat hocanın anlatımı oldukça akıcı ve anlaşılır ki, sıfırdan başlasan bile hemen kavrayabiliyorsun. 

60 derslik bu seride, temel SQL komutlarından gelişmiş konulara kadar her şey var. 

c.  Codecademy

Eğer hem hızlı hem de uygulamalı bir SQL eğitimi arıyorsan, Codecademy’nin “Learn SQL” kursu ücretsiz kurslar arasında öne çıkan bir eğitim. 

Kursu tamamlamak 5 saat sürüyor ve sıfırdan SQL öğrenmene imkan veriyor. 

Büyük veri setlerini nasıl yöneteceğini, tablolarla nasıl çalışacağını ve gerçek veriler üzerinde analiz yapmayı öğretiyor. Üstelik kurs boyunca 5 projeyle öğrendiklerini uygulama fırsatı da mevcut.

3. Programlama öğren

Diğer veri bilimi rollerinde olduğu gibi, kodlama da veri mühendisleri için olmazsa olmaz bir beceri. SQL’i öğrendikten sonra, veri mühendisliği dünyasında işler biraz daha kod ağırlıklı hale geliyor. 

Burada öğrenebileceğin ve en popüler olan dil Python… Veri işlem hatlarını (ETL) yazmak, verileri temizlemek ve analiz etmek için mükemmel bir araç. 

Üstelik Apache Airflow, Apache Spark gibi büyük veri araçlarıyla da çok iyi entegre oluyor. Bu sayede gerçek dünya veri projelerinde Python’ı rahatlıkla kullanabilirsin.

Kaynak önerimiz şöyle;

a. Python Full Course – FreeCodeCamp

📌 Kanal: freeCodeCamp.org
Bu video ile Python’a sıfırdan başlayabilir, temel veri yapıları, fonksiyonlar ve Python ile veri işleme konularını öğrenebilirsin. Her ne kadar uzun bir video olsa da tabii ki Python’ı tamamen öğrenmek için yeterli değil. Python öğrenmek zamanını alacak. 

b. Python'a Giriş

Python için Türkçe bir içerik arıyorsan harika bir öneri ile geldik. Python’a Giriş kanalı YouTube’daki Türkçe en çok izlenen Python videolarından biri. Python’a sıfırdan başlamak isteyenler için adım adım işleniyor. 

Eğitimler, temel veri tiplerinden kontrol yapıları ve döngülere kadar her konuyu kapsamlı şekilde ele alıyor.

Her dersin süresi 15–35 dakika arasında değişiyor ve videolar boyunca pratik örnekleri de izleyebiliyorsun.

4. Dağıtılmış hesaplama frameworkleri hakkında bilgi edinin.

Basitçe söylemek gerekirse dağıtık sistemler, işleri tek bir bilgisayarda değil, birden fazla bilgisayara bölerek yapan bir sistem. 

Böylece büyük veri işleme görevleri daha hızlı ve verimli bir şekilde tamamlanabilir.

Veri mühendisliği açısından burada devreye Apache Hadoop ve Apache Spark gibi frameworkler giriyor. 

Bu araçlar, büyük veri kümelerini yönetmek ve işlemek için tasarlanmıştır ve günümüzün en etkileyici Büyük Veri uygulamalarının temelini oluşturur.

5. Bulut teknolojisi hakkındaki bilgini geliştir.

Bulut bilişim, veri mühendisliği ve veri bilimi alanlarında en hızlı büyüyen ve popüler konulardan biri. Artık şirketler, veri işleme ve depolama işlemlerinin büyük kısmını bulut tabanlı sistemler üzerinde yürütüyor. Günümüzde bir veri mühendisi olarak, iş sistemlerini bulut hizmetleriyle entegre edebilmek neredeyse zorunlu hale geldi. 

En yaygın kullanılan bulut platformları şöyle:

• Amazon Web Services (AWS)
• Microsoft Azure
• Google Cloud Platform (GCP)

📍 Google Cloud ile bulut bilişime giriş için BTK akademinin bu ücretsiz eğitimine bakabilirsin. Eğitimde Google Cloud servisleri, veri ve depolama, VPC ağları, kimlik yönetimi, operasyonlar ve uygulamalı laboratuvar dersleri mevcut.
 

6. ETL framework’leri hakkında pratik bilgi edin. 

Veri mühendislerinin temel rollerinden biri, ETL teknolojileri ve framework’leriyle veri işlem hatları oluşturmak. Bu bölümde birçok teknolojiyi listeleyebilirdik, ancak veri mühendisinin Apache Airflow ve Apache NiFi gibi en bilinenlerinden bazılarını bilmesi veya bunlara aşina olması gerekir. 

Diğer kaynaklar;

📍 DataCamp Understanding Data Engineering

Başlangıç seviyesindeki bu kurs kodlama gerektirmeyen bir giriş niteliğinde ve 11 video ile 32 alıştırmadan oluşuyor. Eğer veri mühendisliğine sıfırdan başlamak istiyorsan, mutlaka göz atmalısın. 

Öğreneceklerin:

• Veri mühendisliği nedir?
• Veriyi saklama: farklı veri yapılarıyla çalışmak, SQL kullanmak, veri depolama çözümleri uygulamak
• Veriyi taşıma ve işleme: veri boru hatları oluşturmak, otomasyon yapmak, paralel ve bulut bilişim kullanmak

📍 IBM Veri Mühendisliği Profesyonel Sertifikası (IBM Data Engineering Professional Certificate)

Başlangıç seviyesindeki bir diğer kurs. Yine bu kurs da sıfırdan veri mühendisliği öğrenmek isteyenler için gerçekten kapsamlı bir program sunuyor. Hem ilişkisel hem NoSQL veri tabanlarını, büyük veri işlemlerini ve ETL süreçlerini projelerle uygulamalı olarak öğreniyorsun. 

📍 Snowflake Veri Mühendisliği Profesyonel Sertifikası (Snowflake Data Engineering Professional Certificate)

Eğer Snowflake platformunu ve modern veri boru hatlarını öğrenmek istiyorsan, oldukça iyi bir kurs. SQL ve Python ile ölçeklenebilir veri işleme yollarını uygulamalı olarak görebilirsin. 

Kursta işlenen konular kısaca şöyle;

• Büyük veri ölçeğinde veri alma ve depolama
• SQL ve Python ile veri dönüşümleri
• Veri boru hatlarını planlama ve yönetme
• DevOps ve gözlemlenebilirlik uygulamaları

7. Bireysel projeler üzerinde çalış

Öğrenme sürecinde en kritik adım bizce pratik yapmak. Veri mühendisliği teoriden çok uygulama işi. 

Küçük de olsa bir veri hattı kurmak, bir API’den veri çekip veri tabanına yazmak ya da basit bir veri ambarı modeli tasarlamak sana gerçek deneyim kazandırır.

Hazır veri setlerini kullanarak projeler geliştirebilirsin. Örneğin Kaggle, UCI Machine Learning Repository veya Google Dataset Search gibi platformlarda birçok açık veri seti bulunur. Bu açık veri setlerini kullanarak projeler üzerinde çalışabilir, öğrendiklerini uygulayabilirsin. 

8. Portfolyo oluştur

Yaptığın projeleri görünür hale getirmek çok önemlidir. Bunun için projelerini GitHub ve Linkedin gibi platformlarda paylaşabilirsin.

Portfolyona ETL projeleri, veri ambarı modelleme çalışmaları, bulut üzerinde kurduğun küçük veri mimarileri ya da streaming veri örnekleri ekleyebilirsin. Kodlarının düzenli, açıklamalı ve anlaşılır olması seni bir adım öne çıkarır.

📍 Coderspace Online Portfolyo Hazırlama Aracı ile ücretsiz bir şekilde çalışmalarını tek bir yerde sergileyebilirsin..  

9. Diğer veri mühendisleriyle bağlantı kur

Bu alanda gelişmenin en iyi yollarından biri topluluklarla etkileşimde bulunmaktır. 

Veri topluluklarına katılabilir, teknik etkinlikleri takip edebilir, meetup ve konferanslara gidebilirsin. Ayrıca Linkedin üzerinden sektörde çalışan kişileri takip etmek ve içeriklerini incelemek de vizyonunu genişletir. Ücretsiz meet-up’larımızı incelemek için linke göz atabilirsin. 

Veri Mühendisi ile Veri Bilimci Arasındaki Fark

Veri bilimcileri ve veri mühendisleri birbirinden farklı ancak birbirine bağlı meslekler haline gelmiştir. Her ikisi de verilerden değer yaratmada ve verileri yönetmede rol oynarken, görevleri, becerileri ve hedefleri farklılık gösterir.

Peki aralarındaki fark nedir? Veri mühendisleri, veri bilimcilerinden veriyle ne yaptıkları konusunda farklıdır. 

• Veri mühendisleri verilerin üretilmesi ve analiz için hazırlanması için gerekli altyapıyı oluşturmaya odaklanırlar.
• Veri bilimciler ise bu veriyi kullanarak bağımsız içgörüler üretebilen ve böylece iş hedeflerine ulaşabilen modeller oluştururlar. Bu noktada verilerini analiz etmek için istatistiksel modelleme ve diğer araçları kullanırlar.