İçindekiler:

Spark Geçmiş sunucumu nasıl başlatırım?
Spark Geçmiş sunucumu nasıl başlatırım?

Video: Spark Geçmiş sunucumu nasıl başlatırım?

Video: Spark Geçmiş sunucumu nasıl başlatırım?
Video: Tecno Spark 9 Pro Format Atma, Hard Reset, Sıfırlama 🇹🇷 2024, Mayıs
Anonim

Spark geçmiş sunucusunu etkinleştirmek için:

  1. DSEFS dosya sisteminde olay günlükleri için bir dizin oluşturun: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Olay günlüğü etkinleştirildiğinde, varsayılan davranış tüm günlüklerin kaydedilmesidir ve bu da depolamanın zamanla büyümesine neden olur.

Bunun yanında, bir kıvılcım Geçmişi sunucusunu nasıl kurarım?

Spark geçmiş sunucusunu etkinleştirmek için:

  1. DSEFS dosya sisteminde olay günlükleri için bir dizin oluşturun: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Olay günlüğü etkinleştirildiğinde, varsayılan davranış tüm günlüklerin kaydedilmesidir ve bu da depolamanın zamanla büyümesine neden olur.

Benzer şekilde, kıvılcım Geçmişi sunucu URL'mi nasıl bulabilirim? Örneğin, için geçmiş sunucusu , genellikle https://< adresinden erişilebilir olacaktır. sunucu - url >:18080/api/v1 ve çalışan bir uygulama için https://localhost:4040/api/v1 adresinde. API'de bir uygulamaya, uygulama kimliği [app-id] ile başvurulur.

Aynı şekilde, kıvılcım Geçmişi sunucusu nedir?

NS Spark geçmişi sunucusu tamamlananlarla ilgili bilgileri görüntüleyen bir izleme aracı Kıvılcım uygulamalar. Bu bilgi NS uygulamaların varsayılan olarak Hadoop Dağıtılmış Dosya Sistemi (HDFS) üzerindeki bir dizine yazdığı verilerden alınır.

Sparkui nedir?

Spark Web Kullanıcı Arayüzü, zamanlayıcı aşamalarının ve görevlerinin bir listesini, çevresel bilgileri, çalışan yürütücüler hakkında bilgileri ve daha fazlasını görmenizi sağlar. Aşağıdakiler hakkında bilgi edinmek için bu 30 dakikalık demoyu izleyin: Bir Spark programının bileşenleri ve yaşam döngüsü. Spark uygulamanızın bir Hadoop kümesinde nasıl çalıştığı.

Önerilen: