İçindekiler:

Hadoop'ta farklı dosya biçimleri nelerdir?
Hadoop'ta farklı dosya biçimleri nelerdir?

Video: Hadoop'ta farklı dosya biçimleri nelerdir?

Video: Hadoop'ta farklı dosya biçimleri nelerdir?
Video: NTFS ve FAT32 Farkı Nedir 2024, Kasım
Anonim

Neyse ki, büyük veri topluluğu temelde üç optimize edilmiş veriye yerleşti. dosya formatları kullanmak için Hadoop kümeler: Optimize Satır Sütunu (ORC), Avro ve Parke.

Daha sonra, farklı veri formatları nelerdir sorusu da sorulabilir.

Üç vardır veri türleri haritalama ve CBS veri biçimleri . Her biri tip farklı işlenir.

Veri Biçimi Türleri

  • Dosya tabanlı- Shapefiles, Microstation Design Files (DGN), GeoTIFF görüntüleri.
  • Dizin tabanlı - ESRI ArcInfo Kapsamları, US Census TIGER.
  • Veritabanı bağlantıları - PostGIS, ESRI ArcSDE, MySQL.

Ek olarak, hangi dosya formatı kovanda en iyisidir? RCFile satır sütunlu dosya formatı . Bu başka bir form Kovan dosya biçimi hangi yüksek satır seviyesi sıkıştırma oranları sunar. Bir seferde birden fazla satır gerçekleştirme gereksiniminiz varsa, RCFile kullanabilirsiniz. biçim.

Bunu göz önünde bulundurarak, Hadoop'taki ortak giriş biçimleri nelerdir?

InputFormat, Inputsplit'i oluşturur

  • En yaygın InputFormat şunlardır:
  • FileInputFormat- Tüm dosya tabanlıInputFormat için temel sınıftır.
  • TextInputFormat-MapReduce'un varsayılan InputFormat'ıdır.
  • KeyValueTextInputFormat- TextInputFormat'a benzer.
  • Hadoop'ta InputFormat hakkında daha fazla bilgi edinmek için bağlantıyı izleyin.

Hadoop'ta orc dosya formatı nedir?

ORC Dosya Biçimi Optimize Edilmiş Satır Sütunu ( ORC ) dosya formatı Hive verilerini depolamak için oldukça verimli bir yol sağlar. Diğer Hive'ın sınırlamalarının üstesinden gelmek için tasarlandı dosya formatları . kullanma ORC dosyaları Hive, verileri okurken, yazarken ve işlerken performansı artırır.

Önerilen: