İçeriğe geç

Sözlük

Veri Mühendisliği

Veri Arşivleme

Veri arşivleme, artık günlük olarak kullanılmayan verilerin üretim sistemlerinden daha ucuz uzun vadeli depolamaya taşınmasıdır; veriler orada uyumluluk, hukuki veya tarihsel analiz amacıyla aranabilir, korunur ve geri alınabilir durumda kalır.

Güncelleme: · Hazırlayan: VIZIO AI ekibi

Veri arşivleme nedir?

Arşiv, etkin olmayan verilerin birincil kopyasını tutar; onu yedekten ayıran da budur. Veri yedeği, kayıptan sonra geri yüklemek için tutulan canlı verilerin ek bir kopyasıdır; arşiv ise eski kayıtların üretim veritabanından ayrıldıktan sonra yaşamaya devam ettiği yerdir.

İşleyen bir arşivin beş parçası vardır: nelerin uygun olduğuna dair bir politika, bir depolama katmanı, kayıtların bulunabilmesi için bir indeks veya katalog, saklama ve silme kuralları ve test edilmiş bir geri alma süreci. Veri yaşam döngüsünde aktif kullanım ile silme arasında yer alır ve kuralları veri saklama politikanızdan gelir.

Neyin arşivleneceğine ve nereye konulacağına nasıl karar verilir?

Yalnızca yaşa göre değil, erişim örüntüsüne ve yasal yükümlülüğe göre arşivleyin.

  1. Erişimi ölçün: örneğin 12 aydır kimsenin okumadığı tabloları, klasörleri veya posta kutularını bulun.

  2. Yükümlülükleri kontrol edin: vergi, istihdam ve sektör kuralları minimum süreler belirlerken, GDPR'ın saklama sınırlaması ilkesi (Madde 5(1)(e)) kişisel verilerin ne kadar süre tutulabileceğine üst sınır koyar.

  3. Verilerin on yıl sonra orijinal uygulama olmadan okunabilmesi için Parquet veya CSV gibi açık bir format seçin.

  4. Bir katman seçin: Amazon S3 Glacier Deep Archive, Azure Blob Archive veya Google Cloud Archive depolama. Geri alma saatler sürebilir ve minimum depolama süreleri geçerlidir.

  5. Hukuki saklama yükümlülükleri (legal hold) gibi kayıtların değiştirilmemesi gereken durumlarda değiştirilemezlik ekleyin (örneğin S3 Object Lock).

  6. Meta verileri, sağlama toplamlarını (checksum) ve konumu bir katalogda kaydedin.

Veri arşivleme pratikte nasıl görünür?

Yaygın tetikleyici, kimsenin sorgulamadığı yılların geçmişiyle yavaşlamış bir üretim veritabanıdır. PostgreSQL sipariş tablosu örneğin 400 milyon satıra ulaşmış, ancak destek ve finans ekiplerinin yalnızca son üç yıla baktığı 200 kişilik bir çevrimiçi pazaryerini düşünün.

Mühendislik ekibi tabloyu pg_partman ile aylara göre bölümlüyor. Her gece çalışan bir iş, 36 aydan eski bölümleri S3'te Parquet olarak dışa aktarıyor, satır sayılarını ve sağlama toplamlarını doğruluyor, ardından bunları Postgres'ten kaldırıyor. Bir S3 yaşam döngüsü kuralı dosyaları 90 gün sonra Glacier Deep Archive'a taşıyor ve eğilim raporları için aylık bir özet tablo veri ambarında kalıyor. Tek sayfalık bir runbook, geri yüklemenin nasıl talep edileceğini ve kimin onaylayacağını açıklıyor.

Bu örnekte veritabanı küçülüyor, yedeklemeler ve indeks bakımı daha hızlı çalışıyor ve bir denetçinin 2019'a ait bir sipariş talebi, üretimde bir sorgu yerine belgelenmiş bir geri yükleme talebine dönüşüyor.

Veri arşivlemenin riskleri nelerdir ve ne zaman arşivleme yapmamalısınız?

En büyük risk, sonunda biri ihtiyaç duyduğunda arayamadığınız veya okuyamadığınız bir arşivdir. Şu başarısızlık biçimlerine dikkat edin:

  • Dosyaları bir indeks olmadan yığmak; böylece tek bir kaydı bulmak terabaytlarca veriyi geri yüklemek anlamına gelir.

  • Artık lisansına sahip olmadığınız yazılımlara bağlı tescilli formatlar.

  • Soğuk katmanlarda finans ekibini şaşırtan geri alma ücretleri ve erken silme bedelleri.

  • Silinmesi gereken kişisel verileri arşivlemek; bu, GDPR kapsamındaki riskinizi canlı tutar.

  • Yabancı anahtarları bozmak; böylece arşivlenen siparişler müşterilerini kaybeder.

Hâlâ canlı modelleri, panelleri veya gerçek zamanlı analitiği besleyen verileri arşivlemeyin; bunun yerine onları daha ucuz bir ılık katmana taşıyın.

Veri arşivleme, yedekleme ve silmeden nasıl farklıdır ve hangi araçlar kullanılır?

Yedekler kayba karşı korur, arşivler etkin olmayan verileri yönetir, silme ise kaydın ömrünü sona erdirir. Bir yedek günler veya aylar ölçeğinde bir takvime göre döner; arşiv politika gereği yıllarca tutulur; silme ise saklama süresi sona erdiğinde atılan son ve belgelenmiş adımdır.

Araçlar veri türüne bağlıdır. AWS, Azure ve Google Cloud'daki nesne depolama yaşam döngüsü kuralları dosyaları ve dışa aktarımları yönetir. pg_partman ve yerel bölümleme veritabanlarında yardımcı olur. E-posta ve belgeler için Microsoft Purview saklama politikaları ve Google Vault, saklama yükümlülüklerini ve saklama sürelerini yönetir. Bir veri gölü çoğu zaman arşivlenmiş özütler için iniş bölgesi işlevi de görür.

Veri arşivleme ve veri yedekleme karşılaştırması

Veri arşivleme

Veri yedekleme

Amaç

Etkin olmayan verileri uzun vadede saklamak

Kayıp veya bozulmadan sonra verileri geri yüklemek

Ne tutar

Üretimden taşınan kayıtlar

Güncel, aktif verilerin kopyaları

Orijinal veri

Canlı sistemden kaldırılır

Yerinde kalır

Saklama

Politika ve mevzuatla belirlenen yıllar

Günlerden aylara, dönüşümlü

Erişim örüntüsü

Ara sıra arama veya denetim talebi

Bir olay sırasında geri yükleme

Tipik depolama

Glacier Deep Archive gibi soğuk katmanlar

Anlık görüntüler ve hızlı yedekleme depolaması

VIZIO AI veri arşivlemeyi nasıl ele alır?

VIZIO AI'ın buna en yakın çalışması, arşiv katmanları kurmak değil, ağır geçmiş verileri hızlı canlı görünümlerden ayırmaktır. Birleşik Krallık'taki bir siber güvenlik araştırma kuruluşu için Growth Studio, Tableau'nun Hyper motoruna akan bir pipeline kurdu ve Hyper bölümleme, indeksli görünümler ve ön toplulaştırmalar kullandı; böylece 500.000 kaydı aşan veri setlerinde bile temel görünümler bir saniyenin altında görüntülendi ve panel gecikmesi 60 saniyenin altında kaldı.

Bu projede soğuk bir arşiv yoktu; ortak nokta, geçmiş verilerin insanların her gün kullandığı verileri yavaşlatmasını önleme ilkesidir. Nereden başlamalı: en büyük beş tablonuzu son okunma tarihleri ve her birine uygulanan saklama kuralıyla birlikte listeleyin.

Facebook logosu
X logosu
LinkedIn logosu
Reddit logosu
Telegram logosu

Önce yapay zekâyı düşünün.
Geleceğin hızında ilerleyin.

Sıradakini birlikte inşa edelim! Ürün fikirlerinden akıllı iş akışlarına, veri odaklı sistemlerden ölçeklenebilir büyüme operasyonlarına kadar.

Strateji Görüşmesi Planlayın