Kıvılcım günlüklerini nerede bulabilirim?

2024 Yazar: Lynn Donovan | [email protected]. Son düzenleme: 2023-12-15 23:54

Kayıt dizinler

Varsayılan SPARK_WORKER_LOG_DIR konumu /var/ kayıt / kıvılcım /çalışan. Varsayılan kayıt başlatmak için dizin Kıvılcım SQL Thrift sunucusu $HOME/ kıvılcım - tasarruf sunucusu. Kıvılcım Kabuk ve uygulama kütükler konsola çıktılar. Kayıt yapılandırma dosyaları ile aynı dizinde bulunur kıvılcım -env.sh.

Bununla ilgili olarak, kıvılcım günlüklerini nasıl alabilirim?

Kıvılcım Analiz sayfasından iş veya başvuruya erişebilirsiniz. kütükler Uygulama Kullanıcı Arayüzü aracılığıyla ve Kıvılcım Uygulama arayüzü. sayfasından erişebilirsiniz. kütükler aracılığıyla Kıvılcım Uygulama arayüzü. Ayrıca ek yapabilirsiniz kütükler hata ve istisnaları belirlemek için Kıvılcım iş veya uygulama hataları.

Benzer şekilde, iplik günlüklerini nasıl kontrol edersiniz? bir kayıt dosya kütükler ana uygulama bilgisi, https://${ adresindeki kaynak yöneticisi kullanıcı arayüzündeki bir tarayıcıda da görüntülenebilir. iplik .resourcemanager.webapp.address}/cluster (tek bir düğüm "kümesi" üzerinde

Benzer şekilde, Spark'ta yürütücü günlüklerini nasıl alabilirim?

Cevap

1. Spark yürütücü günlüklerini alma talimatları:
2. Amabari için -- 1) Spark Hizmetine ve Yapılandırmalar sekmesine gidin: 2) "Gelişmiş spark-log4j-properties" girişini bulun.
3. Cloudera için -- Ayarlayın: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

Kıvılcım Geçmişi sunucu URL'mi nasıl bulabilirim?

Örneğin, için geçmiş sunucusu , genellikle https://< adresinden erişilebilir olacaktır. sunucu - url >:18080/api/v1 ve çalışan bir uygulama için https://localhost:4040/api/v1 adresinde. API'de bir uygulamaya, uygulama kimliği [app-id] ile başvurulur.