AzCopy kullanarak AWS S3’den Azure Storage üzerine veri taşıma
AzCopy v10 (Ön izlemede) artık veri kaynağı olarak Amazon Web Services (AWS) S3 hizmetini kullanabilir durumda. Böylece AWS S3 içerisinde bulunan tüm verinizi AzCopy kullanarak Azure Blob Storage hizmetlerine taşıyabilirsiniz.
Şimdiye kadar böyle bir işlem yapmaya çalışmak kullanıcıları oldukça fazla bir şekilde yoruyordu çünkü bulut sağlayıcılar arasında köprü vazifesi görecek bir istemciye ihtiyaç oluyor ve bu istemcinin veriyi okuyup sonra da Azure’a taşıması gerekiyordu. Bu da hem olayı karmaşıklaştırıyor hem de daha kötüsü süreci çok fazla uzatıyordu. Microsoft yeni geliştirdiği Blob API sayesinde AzCopy uygulamasının son sürümü ile bu sorunu tamamen çözdü. AzCopy v10 ile birlikte verimli bir şekilde Azure Storage yerel dosya sistemi ile Azure Storage hesapları arasında taşıma işlemleri yapılabiliyor. Ayrıca buna artık AWS S3 hizmeti de eklendi.
AzCopy AWS S3 üzerinden verileri kopyalarken birden fazla Azure Storage Server kullanarak aslında mevcut işi Scale-Out yapmış ve böylece de işi çok daha kısa sürede bitirmiş oluyor. Bunu yapabilmek için de yeni Azure Storage REST API operasyonlarından olan Put Block from URL kullanıyor böylece doğrudan URL üzerinden veri taşınıyor. Yukarıda bahsetmiş olduğu istemci makinesi aradan çıktığı için bu yöntem işi çok hızlı hale getiriyor.
ÖRNEK
azcopy cp “https://s3.amazonaws.com/mybucket/” “https://mystorageaccount.blob.core.windows.net/mycontainer<SAS>” –recursive
Yapılan testlerde Azure Storage hesabı ile aynı bölgede bulunan AWS S3 hizmeti üzerinden veri taşımada 50 Gbps hıza ulaşıldı ki bunun fazlası da mümkün. Ayrıca AzCopy ağ kopmalarından kaynakları hataları otomatik olarak tekrar etmek özelliği ile sorun çıkma ihtimalini de azaltıyor. Ayrıca bir taşıma işini iptal edebilir ve sonra tekrar başlatabilirsiniz, böylece TB boyutunda veriler taşımak oldukça kolaylaşır.
Azure Data Factory
Peki ama ben bu kadar manuel işlem yapmak istemiyorum, her şey otomatik olsun dersek ne yapacağız? İşte o zaman devreye Azure Data Factory giriyor. AWS üzerinden veri taşımak isterseniz Azure Data Factory özellikleri aklınızda bulunsun;
- Kod gerektirmeden izleme
- İhtiyaç duyulan kaynak için otomatik ölçekleme ve kullandığın kadar ödeme
- Azure Integration Runtime ile doğrudan internet üzerinden ya da AWS Direct Connect ve Azure ExpressRoute üzerinden taşıma
- Veriyi toplu ya da artırımlı (incremental) taşıyabilme
- Dijital yetki ve erişim yönetimi için Azure Key Vault entegrasyonu