AI & Big Data Expo Europe öncesinde AI News, Kıdemli Çözüm Mimarı Ivo Everts ile görüştü Veri tuğlalarıaçık kaynak yapay zeka ve veri yönetiminin geleceğini şekillendirecek birkaç önemli gelişmeyi tartışmak.
Databricks’in dikkate değer başarılarından biri, açık büyük dil modelleri (LLM’ler) için yeni bir standart belirleyen DBRX modelidir.
Everts, “Piyasaya sürülmesinin ardından DBRX, standart kıyaslamalarda diğer tüm önde gelen açık modellerden daha iyi performans gösterdi ve Llama2-70B gibi modellere göre 2 kata kadar daha hızlı çıkarıma sahip” diye açıklıyor. “Çeşitli teknolojik gelişmeler sayesinde daha verimli bir şekilde eğitildi.
“Kalite açısından bakıldığında, DBRX’in mevcut en iyi açık kaynaklı modellerden biri olduğuna inanıyoruz ve ‘en iyi’ dediğimizde bu, dil anlama (MMLU), Programlama (HumanEval), ve Matematik (GSM8K).”
Açık kaynaklı yapay zeka modeli, “özel LLM’lerin eğitimini küçük bir avuç model sağlayıcının ötesinde demokratikleştirmeyi ve kuruluşlara, birinci sınıf LLM’leri kendi verileri üzerinde uygun maliyetli bir şekilde eğitebileceklerini göstermeyi” amaçlıyor.
Açık ekosistemlere yönelik taahhütleri doğrultusunda Databricks ayrıca açık kaynaklı Birlik Kataloğu.
Everts, “Açık kaynak Unity Catalog’un bulut platformları (örneğin, AWS, Azure) ve şirket içi altyapılar genelinde benimsenmesini artırdığını” belirtiyor. “Bu esneklik, verilerin nerede saklandığına veya işlendiğine bakılmaksızın kuruluşların veri yönetişimi politikalarını aynı şekilde uygulamasına olanak tanıyor.”
Unity Catalog, çeşitli özellikler aracılığıyla veri yayılımının ve tutarsız erişim kontrollerinin zorluklarını giderir:
- Merkezi veri erişim yönetimi: Everts, “Unity Catalog, veri varlıklarının yönetimini merkezileştirerek kuruluşların erişim kontrollerini birleşik bir şekilde yönetmelerine olanak tanıyor” dedi.
- Rol Tabanlı Erişim Kontrolü (RBAC): Everts’e göre Unity Catalog “Rol Tabanlı Erişim Denetimi’ni (RBAC) uygulayarak kuruluşların kullanıcı profillerine göre roller ve izinler atamasına olanak tanıyor.”
- Veri kökeni ve denetimi: Everts, bu özelliğin “kuruluşların veri kullanımını ve bağımlılıklarını izlemesine yardımcı olarak gereksiz veya güncel olmayan verileri tanımlamayı ve ortadan kaldırmayı kolaylaştırdığını” açıklıyor. Ayrıca “veri güvenliği politikalarına uygunluğu sağlamak için ayrıntılı bir denetim izi sağlayarak tüm veri erişimini ve değişikliklerini günlüğe kaydediyor” diye ekliyor.
- Bulutlararası ve hibrit destek: Everts, Unity Catalog’un “çoklu bulut ve hibrit ortamlarda veri yönetimini yönetmek için tasarlandığını” ve “verilerin nerede bulunduğuna bakılmaksızın eşit şekilde yönetilmesini sağladığını” belirtiyor.
Şirket tanıttı Databricks AI/BIVeri keşfini ve görselleştirmeyi geliştirmek için üretken yapay zekadan yararlanan yeni bir iş zekası ürünü. Everts, “gerçekten akıllı bir BI çözümünün, iş kullanıcılarının sorularını etkili bir şekilde yanıtlayabilmesi için bir işletmenin benzersiz anlambilimini ve nüanslarını anlaması gerektiğine” inanıyor.
AI/BI sistemi iki temel bileşen içerir:
- Gösterge tabloları: Everts bunu “hızlı, etkileşimli kontrol panelleri oluşturmak ve dağıtmak için yapay zeka destekli, az kodlu bir arayüz” olarak tanımlıyor. Bunlar arasında “ek yönetim hizmetlerine ihtiyaç duymadan görselleştirmeler, çapraz filtreleme ve periyodik raporlar gibi standart BI özellikleri” yer alıyor.
- Cin: Everts bunu “doğal dil aracılığıyla anlık ve takip eden soruları yanıtlamaya yönelik bir konuşma arayüzü” olarak açıklıyor. “Kullanıcı sorgularına yanıt olarak uyarlanabilir görselleştirmeler ve öneriler oluşturmak için temel verilerden öğrendiğini, geri bildirim yoluyla zaman içinde geliştiğini ve analistlere çıktılarını iyileştirmesi için araçlar sunduğunu” ekliyor.
Everts, Databricks AI/BI’nın “verilerinizin anlambiliminin derinlemesine anlaşılmasını sağlamak ve bir kuruluştaki herkes için self servis veri analizine olanak sağlamak” üzere tasarlandığını belirtiyor. Bunun “ETL işlem hatları, köken ve diğer sorgular da dahil olmak üzere bir kuruluşun tüm veri yığınındaki kullanımdan sürekli olarak öğrenen bileşik bir yapay zeka sistemi” tarafından desteklendiğini belirtiyor.
Databricks de tanıtıldı Mozaik AIEverts bunu “makine öğrenimi ve üretken yapay zeka uygulamaları oluşturmak, dağıtmak ve yönetmek için kapsamlı bir platform, gelişmiş performans ve yönetişim için kurumsal verileri entegre eden kapsamlı bir platform” olarak tanımlıyor.
Mosaic AI, Everts’in özetlediği birkaç temel bileşen sunar:
- Birleşik takımlama: “Yapay zeka ve makine öğrenimi çözümlerini oluşturmak, dağıtmak, değerlendirmek ve yönetmek için araçlar sağlar, tahmine dayalı modelleri ve üretken yapay zeka uygulamalarını destekler.”
- Üretken yapay zeka modelleri: “Hızlı mühendislik, erişim artırılmış nesil (RAG), ince ayar ve ön eğitimi destekleyerek iş ihtiyaçları geliştikçe esneklik sunar.”
- Merkezi model yönetimi: “Model Hizmetleme, özel makine öğrenimi modelleri ve temel modeller de dahil olmak üzere yapay zeka modellerinin merkezi dağıtımına, yönetimine ve sorgulanmasına olanak tanıyor.”
- İzleme ve yönetişim: “Lakehouse Monitoring ve Unity Catalog, yapay zeka yaşam döngüsü boyunca kapsamlı izleme, yönetişim ve köken takibi sağlıyor.”
- Uygun maliyetli özel LLM’ler: “Belirli kurumsal alanlara göre özel büyük dil modellerinin önemli ölçüde daha düşük maliyetlerle eğitilmesine ve sunulmasına olanak tanıyor.”
Everts, Mosaic AI’nin temel modellerde ince ayar yapma ve özelleştirme yaklaşımının, “küme içi temel model önbelleğe alma özelliğini kullanarak” hızlı başlatma süreleri”, kullanıcıların “modelin yanıtlarının süreç boyunca nasıl değiştiğini takip edebildiği” “canlı istem değerlendirmesi” gibi benzersiz özellikler içerdiğini vurguluyor. eğitim süreci” ve “önceden eğitilmiş özel kontrol noktaları” desteği.
Bu yeniliklerin temelinde Veri Zekası PlatformuEverts’in söylediğine göre “kurumsal verilerin anlambilimine ilişkin derinlemesine içgörüler elde etmek için yapay zeka modellerini kullanarak veri yönetimini dönüştürüyor.” Platform, veri göllerinin ve veri ambarlarının özelliklerini birleştiriyor, gerçek zamanlı veri işleme için Delta Lake teknolojisini kullanıyor ve kurumsal sınırlar arasında güvenli veri alışverişi için Delta Sharing’i içeriyor.
Everts, Veri Zekası Platformunun aşağıdakileri sağlayarak yeni yapay zeka ve veri paylaşımı girişimlerini desteklemede önemli bir rol oynadığını açıklıyor:
- Birleşik bir veri ve yapay zeka platformu “veri göllerinin ve veri ambarlarının özelliklerini tek bir mimaride birleştiren.”
- Gerçek zamanlı veri işleme için Delta Lake“güvenilir veri yönetimi, ACID işlemleri ve gerçek zamanlı veri işlemeyi” sağlamak.
- İşbirliği ve veri paylaşımı Delta Sharing aracılığıyla “kurumsal sınırlar arasında güvenli ve açık veri paylaşımına” olanak tanıyor.
- Makine öğrenimi ve yapay zeka modeli geliştirme için entegre destek MLflow, PyTorch ve TensorFlow gibi popüler kütüphanelerle.
- Ölçeklenebilirlik ve performans bulut tabanlı mimarisi ve “optimize edilmiş bir sorgu yürütme motoru” olan Photon motoru aracılığıyla.
Ana sponsoru olarak Yapay Zeka ve Büyük Veri Fuarı AvrupaDatabricks, etkinlik sırasında açık kaynaklı yapay zeka ve veri yönetimi çözümlerini sergilemeyi planlıyor.
Everts, “Standımızda ayrıca Hugging Face’in açık kaynaklı modellerini ve Unity Catalog’un verilerini kullanarak Lakehouse uygulamalarıyla sıfırdan özel bir GenAI uygulamasının nasıl oluşturulacağını ve dağıtılacağını da göstereceğiz” dedi.
“GenAI uygulamamızla tamamı Veri Zekası Platformunda çalışan kendi karikatür resminizi oluşturabilirsiniz.”
Veri tuğlaları Bu yılki fuarda uzmanlıklarının daha fazlasını paylaşacaklar Yapay Zeka ve Büyük Veri Fuarı Avrupa. Açık yapay zeka ve veri yönetiminin iyileştirilmesi hakkında daha fazla bilgi almak için Databricks’in 280 numaralı standındaki standına uğrayın.
TechForge tarafından desteklenen diğer yaklaşan kurumsal teknoloji etkinliklerini ve web seminerlerini keşfedin Burada.
