Çalışma Kapsamı/Sorumluluklar:

1. Veri Boru Hattı Geliştirme:

· Databricks ve ilgili teknolojileri kullanarak uçtan uca veri boru hatlarını tasarlamak, uygulamak ve optimize etmek.

· Büyük ölçekli veri alımı, dönüştürme ve depolama işlemleri için iş akışları oluşturmak.

2. LLM'ler için Veri Hazırlığı:

· LLM eğitimi ve ince ayarı için çeşitli veri setlerini (metin, yapılandırılmış ve yapılandırılmamış) ön işlemek, temizlemek ve yapılandırmak.

· NLP modellerini desteklemek için özellik mühendisliği, tokenizasyon ve vektörleştirme tekniklerini uygulamak.

3. Performans Optimizasyonu:

· Veri iş akışlarını geliştirmek için Delta Lake ve MLflow'u da içeren Databricks özelliklerini kullanmak.

· Yüksek erişilebilirlik, ölçeklenebilirlik ve maliyet verimliliği için veri altyapısını optimize etmek.

4. Takımlarla İş Birliği:

· LLM teknolojisi gereksinimleri için veri gereksinimlerini anlamak üzere veri bilimcileri, ML mühendisleri ve diğer paydaşlarla yakın çalışmak.

· Mühendislik boru hatları ile makine öğrenimi hedefleri arasında uyum sağlamak.

5. Veri Kalitesi ve Yönetimi:

· Veri kalitesini, tutarlılığını ve yönetmeliklere uyumunu sağlamak için süreçler uygulamak.

· Boru hattı yaşam döngüsü boyunca veri bütünlüğünü izlemek ve korumak.

6. Gelişen Teknoloji Benimseme:

· Databricks, üretken AI ve LLM teknolojilerindeki ilerlemeleri takip etmek.

· İş akışlarını geliştirmek için yenilikçi araçların ve uygulamaların benimsenmesine katkıda bulunmak.

Gereksinim ve Nitelik (Eğitim & İş Deneyimi):

Deneyim:

· Veri mühendisliği rollerinde 7+ yıl deneyim, en az 2 yıl liderlik rolü ve Databricks'i içeren projeler ile.

· Veri boru hatları, özellik mühendisliği ve makine öğrenimi için veri seti hazırlama konusunda kanıtlanmış uzmanlık, özellikle LLM'ler.

· GenAI veya AI/ML entegrasyonları ile kurumsal düzeyde uygulamalar oluşturma deneyimi.

Teknik Beceriler:

· Databricks, Apache Spark ve Delta Lake konusunda uzmanlık.

· Python ve SQL'de güçlü programlama becerileri; pandas, NumPy veya PyTorch gibi kütüphaneler hakkında bilgi artı puandır.

· Redux, Recoil veya Zustand gibi durum yönetim kütüphanelerini ve sürüm kontrolünü (Git) anlama.

· Kurumsal uygulamalar için web güvenliği ilkeleri ve uyum gereksinimlerini anlama.

Yumuşak Beceriler:

· Olağanüstü problem çözme ve karar verme yetenekleri.

· Teknik tartışmaları yönlendirme ve ekip üyelerini mentorluk yapma yeteneği ile mükemmel iletişim ve liderlik becerileri.

· Kalite teslimine güçlü bir odak.

Lütfen iş tanımına bakın.