Hadoop'taki küçük dosyalarla ilgili sorun nedir?

2024 Yazar: Lynn Donovan | [email protected]. Son düzenleme: 2023-12-15 23:54

1) Küçük Dosya sorunu içinde HDFS : Çok fazla depolamak küçük dosyalar son derece daha küçük blok boyutu tarafından verimli bir şekilde ele alınamaz HDFS . baştan sona okuma küçük dosyalar Veri düğümü ile veri düğümü arasında çok sayıda arama ve çok sayıda atlama içerir, bu da verimsiz veri işleme anlamına gelir.

Bunun yanında, Hadoop'ta hangi dosyalar küçük dosya sorunlarıyla ilgileniyor?

1) HAR ( Hadoop Arşiv) Dosyalar tanıtıldı küçük dosya sorunu ile başa çıkmak . HAR, üzerine bir katman ekledi HDFS için arayüz sağlayan dosya erişim. kullanma Hadoop arşiv komutu, HAR Dosyalar çalıştıran oluşturulur Harita indirgeme paketleme işi Dosyalar arşivleniyor daha küçük sayısı HDFS dosyaları.

Ayrıca, HDFS'de farklı blok boyutları kullanan birden fazla dosyam olabilir mi? Varsayılan boy ile ilgili engellemek 64 MB'dir. sen Yapabilmek ihtiyacınıza göre değiştirin. sorunuza geliyorum evet birden fazla dosya oluşturabilir değişerek blok boyutları ama Gerçek Zamanlı olarak bu niyet üretimden yana değil.

Ayrıca, HDFS neden küçük dosyaları en iyi şekilde işlemez?

ile ilgili sorunlar küçük dosyalar ve HDFS Her dosya , dizin ve engelleme HDFS genel bir kural olarak, her biri 150 bayt kaplayan adenodun belleğinde bir nesne olarak temsil edilir. Üstelik, HDFS değil verimli bir şekilde erişmeye yönelik küçük dosyalar : o NS öncelikle büyük akışlı erişim için tasarlanmıştır Dosyalar.

Hadoop neden yavaş?

Yavaş İşlem Hızı Bu diskin aradığı zaman alır, böylece tüm süreci çok hızlı hale getirir. yavaş . Eğer Hadoop verileri küçük hacimli işler, çok yavaş karşılaştırmalı olarak. Büyük veri kümeleri için idealdir. Olarak Hadoop çekirdekte toplu işleme motoruna sahiptir, gerçek zamanlı işleme hızı daha düşüktür.