Azure SQL Data Warehouse artık Azure Synapse Analytics

Microsoft Kasım ayı başında Azure SQL Veri Ambarı’nın bir sonraki evrimi olan Azure Synapse Analytics’i duyurdu. Azure Synapse, kurumsal veri ambarı ile Büyük Veri analitiğini bir araya getiren sınırsız bir analiz hizmetidir. İsteğe bağlı olarak serverless isteğe bağlı veya ön tanımlı kaynakları kullanarak, istediğiniz gibi verilerinizi sorgulama özgürlüğü sağlar. Azure Synapse, bu iki dünyayı anında iş zekası ve makine öğrenimi ihtiyaçları için veri almak, hazırlamak, yönetmek ve sunmak için birleşik bir deneyim ile bir araya getirir.

Azure Synapse ile veri profesyonelleri, mevcut SQL dilini kullanarak ilişkisel ve ilişkisel olmayan verileri sorgulayabilir. Bu, veri keşfi ve geçici analiz için sunucusuz isteğe bağlı sorgular veya en zorlu veri ambarı ihtiyaçlarınız için sağlanan kaynaklar kullanılarak yapılabilir. Herhangi bir iş yükü için tek bir hizmet kullanılabilir.

Aslında tüm TPC-H sorgularını petabayt ölçeğinde çalıştıran ilk ve tek analiz sistemidir. Mevcut SQL Veri Ambarı müşterileri için, mevcut veri ambarı iş yüklerinizi Azure Synapse ile bugün production ortamınızda çalıştırmaya devam edebilirsiniz ve genellikle kullanılabilir olduklarında yeni önizleme özelliklerinden otomatik olarak faydalanabilirsiniz. Serverless isteğe bağlı sorgu, Azure Synapse studio ve Apache Spark entegrasyonu gibi yeni özellikleri önizlemek için kaydolabilirsiniz.

SQL’i veri ambarının ötesine taşıma

Bir bulut yerel, dağıtılmış SQL işleme motoru Azure Synapse’in temelini oluşturur ve hizmetin en zorlu kurumsal veri ambarı iş yüklerini desteklemesini sağlar. Ignite’da yakın zamanda Azure Synapse ile veri ambarını daha kolay hale getirmek ve kuruluşların daha geniş bir analitik kullanım örnekleri için SQL kullanmalarına izin vermek için bir dizi heyecan verici özellik sundu Microsoft.

Tüm verilerden daha güçlü öngörülerin kilidini açın

Azure Synapse, istatistik kodlayan veri bilimcilerinden Power BI ile karar vericilere kadar tüm kullanıcılar için insight sağlamak için Power BI ve Azure Machine Learning ile derinlemesine entegre olur. Her türlü analitiği mümkün kılmak için, yerel ve yerleşik tahminleme desteğinin yanı sıra Azure Synapse’in akış verilerini, parquet dosyalarını ve Polybase’i nasıl ele alacağına ilişkin çalışma zamanı düzeyinde iyileştirmeler duyuruyoruz. Daha ayrıntılı olarak bakmak gerekirse;

Yerel PREDICT ifadesiyle, veri ambarınızdaki makine öğrenimi modellerini puanlayabilirsiniz; bu da büyük ve karmaşık veri taşıma ihtiyacını ortadan kaldırır. PREDICT işlevi (önizlemede mevcuttur) açık model çerçeveye dayanır ve tahminler oluşturmak için kullanıcı verilerini girdi olarak alır. Kullanıcılar, Azure Machine Learning, Apache Spark ™ veya diğer çerçevelerde eğitilmiş mevcut modelleri sıfırdan başlamak zorunda kalmadan dahili bir biçim temsiline dönüştürebilir ve zamandan içgörü hızlandırabilir.

Doğrudan akış besleme desteğini ve akış verileri üzerinde analitik sorgular yürütme özelliğini etkinleştirdik. Birden fazla akış girişi arasında birleştirme, bir veya daha fazla akış girişi içindeki toplamalar, yarı yapılandırılmış verileri dönüştürme ve çoklu geçici pencerelerin tümü doğrudan veri ambarı ortamınızda desteklenir (önizlemede mevcuttur). Akış beslemesi için müşteriler Event Hub (Kafka için Event Hub dahil) ve IoT Hub’larıyla entegre olabilir.

Ayrıca hem veri gölünü (Data Lake) hem de veri ambarı verilerini paylaşmak için Azure Veri Paylaşımı entegrasyonu ile kuruluşunuz içindeki veya dışındaki verileri güvenli ve kolay bir şekilde paylaşmayı engelleyen engeli kaldırmaktadır.

Yeni ParquetDirect teknolojisini kullanarak, veri gölü üzerinde etkileşimli sorguları gerçeğe dönüştürüyoruz (önizlemede). Doğrudan motora yerleşik yerel destek ile Parke dosyalarına erişmek için tasarlanmıştır. Geliştirilmiş veri tarama hızları, akıllı veri önbelleğe alma ve sütun deposu toplu işleme sayesinde Polybase yürütülmesini 13 kattan fazla artırılmış durumdadır.

İş yükü izolasyonu

Müşterileri veri ambarlarını demokratikleştirdiklerinde desteklemek için akıllı iş yükü yönetimi için yeni özellikler duyuruyoruz. Yeni İş Yükü Yalıtımı işlevi, veri ambarı kaynakları üzerinde esneklik ve denetim sağlarken, heterojen iş yüklerinin yürütülmesini yönetmenizi sağlar. Bu, daha iyi yürütme öngörülebilirliğine yol açar ve önceden tanımlanmış SLA’ları karşılama yeteneğini geliştirir.

COPY bildirimi

Petabayt ölçekli verilerin analizi, petabayt ölçekli verilerin alınmasını gerektirir. Veri alım sürecini kolaylaştırmak için basit ve esnek bir COPYifadesi sunmaktadır. Yalnızca bir komutla Azure Synapse, verilerin hızlı ve güvenli bir şekilde veri ambarına sorunsuz bir şekilde alınmasını sağlar.

Bu yeni COPY deyimi, veri yüklemek, standart CSV dosyalarını ayrıştırmak ve daha fazlası için tek bir T-SQL deyimi kullanılmasını sağlar.

COPY ekstresi örnek kodu:

COPY INTO dbo.[FactOnlineSales] FROM ’https://contoso.blob.core.windows.net/Sales/’

Eşsiz güvenliğe sahip veriler için güvenli saklama

Azure, piyasadaki en gelişmiş güvenlik ve gizlilik özelliklerine sahiptir. Bu özellikler, otomatik tehdit algılama ve her zaman açık veri şifreleme gibi Azure Synapse dokusuna yerleştirilmiştir. Hassas erişim kontrolü için işletmeler, hassas verileri gerçek zamanlı olarak otomatik olarak korumak için sütun düzeyinde güvenlik, yerel satır düzeyinde güvenlik ve dinamik veri maskeleme (artık genel olarak kullanılabilir) kullanarak verilerin güvenli ve gizli kalmasını sağlayabilir.

Güvenliği ve gizliliği daha da artırmak için Azure Private Link’i sunulmaktadır. Kendi Azure Sanal Ağınızdan (VNet) dağıtılmış kaynakları kullanmak için güvenli ve ölçeklenebilir bir yol sağlar. Onay tabanlı çağrı akışı kullanılarak güvenli bir bağlantı kurulur. Kurulduktan sonra, Azure Synapse ve hizmet tüketicileri arasında akan tüm veriler internetten yalıtılır ve Microsoft ağında kalır. Artık hizmetle iletişim kurmak için ağ geçitlerine, ağ adresleri çevirisi (NAT) aygıtlarına veya genel IP adreslerine gerek yoktur.