Penerapan dan Pemeliharaan / Mengunggah Data Pemantauan Mandiri

Artikel ini terutama memperkenalkan cara mengonfigurasi pengunggahan data Pemantauan Mandiri DataFlux Func.

1. Pendahuluan

Secara default, data Pemantauan Mandiri DataFlux Func disimpan di Redis dan MySQL lokal.

Setelah DataFlux Func digunakan secara intensif, volume data seperti metrik dan log mungkin menjadi cukup besar. Untuk membatasi penggunaan memori dan disk lokal, metrik sistem dan log catatan tugas yang disimpan secara lokal akan dikurangi, dan total penyimpanannya juga akan dibatasi.

Anda dapat merujuk ke Penerapan dan Pemeliharaan / Metrik Sistem dan Catatan Tugas / Menonaktifkan Catatan Tugas Fungsi Lokal untuk menonaktifkan "Catatan Tugas Fungsi Lokal", sehingga mengurangi tekanan penyimpanan MySQL

Jika Anda perlu mencatat secara lengkap metrik sistem dan log catatan tugas yang dihasilkan di DataFlux Func, Anda dapat mengunggah data ke platform data melalui pengaturan sistem.

2. Mengaktifkan "Pengunggahan Data Pemantauan Mandiri"

Log tugas yang diunggah adalah log lengkap, tidak akan dikurangi

Di Manajemen / Pengaturan Sistem / Pengunggahan Data Pemantauan Mandiri, pengguna dapat mengaktifkan "Pengunggahan Data Pemantauan Mandiri".

Alamat URL dapat diisi dengan alamat pengunggahan DataWay atau DataKit:

DataWayDataKit

http://openway.ip-or-domain.com?token=tkn_xxxxx

http://datakit.ip-or-domain:9529

Selain itu, umumnya disarankan untuk mengisi nama situs untuk menandai penggunaan DataFlux Func saat ini, misalnya: "Func untuk Pengujian".

Setelah mengaktifkan 'Pengunggahan Data Pemantauan Mandiri', Anda juga dapat menonaktifkan 'Catatan Tugas Fungsi Lokal' untuk mengurangi tekanan penyimpanan DataFlux Func lokal

3. Melihat Metrik Sistem dan Log Catatan Tugas di Platform Data

Setelah mengonfigurasi "Pengunggahan Data Pemantauan Mandiri" dengan benar, Anda dapat melihat metrik sistem dan log tugas yang diunggah di platform data.

4. Penjelasan Data yang Diunggah

DataFlux Func akan mengunggah berbagai data untuk membantu pemecahan masalah.

Pemantauan Mandiri dapat berubah sewaktu-waktu

Data Pemantauan Mandiri akan disesuaikan sewaktu-waktu sesuai dengan kondisi aktual seiring pembaruan versi. Dokumen ini hanya menyediakan penjelasan data Pemantauan Mandiri untuk versi terbaru.

Tambahkan filter service untuk meningkatkan efisiensi kueri

Dalam versi terbaru, semua data Pemantauan Mandiri Logging akan menambahkan Tag service tambahan, dengan nilai yang sama dengan source di Logging, untuk menyesuaikan penyimpanan partisi service ScopeDB.

Oleh karena itu, saat mengkueri data Pemantauan Mandiri Logging Func, menambahkan service:xxxxx pada kondisi filter source:xxxxx dapat meningkatkan efisiensi kueri secara signifikan.

Antrian Tertunda (Metrik)

Antrian tugas yang belum mencapai waktu pemicu

Set metrik: DFF_delay_queue

Kolom	Tipe	Deskripsi	Contoh Nilai
queue	Tag	Antrian	"8"
length	Field	Panjang antrian	100

Antrian Kerja (Metrik)

Antrian tugas yang sudah mencapai waktu pemicu

Set metrik: DFF_worker_queue

Kolom	Tipe	Deskripsi	Contoh Nilai
queue	Tag	Antrian	"8"
length	Field	Panjang antrian	100
worker_count	Field	Jumlah unit kerja yang mendengarkan antrian	5
process_count	Field	Jumlah proses yang mendengarkan antrian	25

Jumlah Pemicuan Fungsi (Metrik)

Set metrik: DFF_func_trigger

Kolom	Tipe	Deskripsi	Contoh Nilai
func_id	Tag	ID Fungsi	"demo__test.run"
trigger_count_per_minute	Field	Jumlah pemicuan per menit	100

Jumlah Eksekusi Fungsi (Metrik)

Set metrik: DFF_func_run

Kolom	Tipe	Deskripsi	Contoh Nilai
func_id	Tag	ID Fungsi	"demo__test.run"
run_count_per_minute	Field	Jumlah eksekusi per menit	100

Jumlah Status Eksekusi Fungsi (Metrik)

Set metrik: DFF_func_status

Kolom	Tipe	Deskripsi	Contoh Nilai
status	Tag	Status eksekusi fungsi	"success"
status_count_per_minute	Field	Jumlah status per menit	100

Durasi Eksekusi Fungsi (Metrik)

Set metrik: DFF_func_cost

Kolom	Tipe	Deskripsi	Contoh Nilai
wait_cost_sum_per_minute	Field	Total durasi tunggu per menit (milidetik)	10000
queue_cost_sum_per_minute	Field	Total durasi antrian per menit (milidetik)	10000
run_cost_sum_per_minute	Field	Total durasi eksekusi per menit (milidetik)	10000
total_cost_sum_per_minute	Field	Total durasi keseluruhan per menit (milidetik)	10000
cpu_cost_sum_per_minute	Field	Total durasi CPU per menit (milidetik)	10000
non_cpu_cost_sum_per_minute	Field	Total durasi non-CPU per menit (milidetik)	10000

Database Cache (Metrik)

Set metrik: DFF_cache_db

Kolom	Tipe	Deskripsi	Contoh Nilai
server	Tag	Database target (HOST:PORT/DB)	"127.0.0.1:6379/5"
keys	Field	Jumlah Key	100
used_memory	Field	Penggunaan memori (byte)	10000
connected_clients	Field	Jumlah klien yang terhubung	100
uptime	Field	Durasi layanan berjalan (detik)	60

Tabel Database (Metrik)

Set metrik: DFF_db_table

Kolom	Tipe	Deskripsi	Contoh Nilai
server	Tag	Database target (HOST:PORT/DB)	"127.0.0.1:3306/dataflux_func"
name	Tag	Nama tabel	"biz_main_func_api"
rows	Field	Jumlah baris	10
data_size	Field	Ukuran penggunaan data (byte)	100
index_size	Field	Ukuran penggunaan indeks (byte)	100
total_size	Field	Ukuran total penggunaan (byte)	200
avg_row_size	Field	Ukuran rata-rata penggunaan per baris (byte)	100

Jadwal Tugas Terjadwal (Metrik)

Set metrik: DFF_cron_job_scheduled

Kolom	Tipe	Deskripsi	Contoh Nilai
scheduled_count_per_week	Field	Jumlah eksekusi terjadwal per minggu	604800
scheduled_count_per_day	Field	Jumlah eksekusi terjadwal per hari	86400
scheduled_count_per_hour	Field	Jumlah eksekusi terjadwal per jam	3600
scheduled_count_per_minute	Field	Jumlah eksekusi terjadwal per menit	60
scheduled_count_per_second	Field	Jumlah eksekusi terjadwal per detik	1

Entitas Bisnis (Metrik)

Set metrik: DFF_entity

Kolom	Tipe	Deskripsi	Contoh Nilai
entity	Tag	Entitas bisnis	"funcAPI"
count	Field	Jumlah	100
enabled_count	Field	Jumlah yang diaktifkan	99

Tingkat Panic Pengunggahan Data Pemantauan Mandiri (Metrik)

Set metrik: DFF_self_monitor_upload_panic_level

Kolom	Tipe	Deskripsi	Contoh Nilai
panic_level	Field	Tingkat Panic	10

Informasi Layanan Func (Logging)

Set metrik: DFF_service_info

Kolom	Tipe	Deskripsi	Contoh Nilai
name	Tag	Nama layanan	"server", "worker", "beat"
version	Tag	Nomor versi	"7.1.11"
edition	Tag	Versi	"GSE"
hostname	Tag	Nama host	"web001"
pid	Tag	PID proses	1234
uptime	Field	Durasi layanan berjalan (detik)	60

Catatan Tugas Sistem / Catatan Tugas Fungsi (Logging)

DataFlux Func akan mengunggah log tugas terkait setelah menjalankan tugas sistem internal atau tugas fungsi apa pun, dan log tersebut dapat dilihat melalui penampil log.

Set metrik	Deskripsi
DFF_task_record	Catatan Tugas Sistem
DFF_task_record_func	Catatan Tugas Fungsi

Kolom	Deskripsi	Catatan Tugas Sistem	Catatan Tugas Fungsi
source	Sumber data	ditetapkan sebagai DFF_task_record	ditetapkan sebagai DFF_task_record_func
site_name	Nama situs
id	ID tugas
name	Nama tugas
queue	Antrian terkait
task_status	Status tugas, nilai yang mungkin: lihat di bawah
root_task_id	ID tugas root
script_set_id	ID Kumpulan Skrip
script_id	ID Skrip
func_id	ID fungsi
func_name	Nama fungsi
origin	Sumber, nilai yang mungkin: lihat di bawah
origin_id	ID sumber Contoh: ID Tugas Terjadwal
script_set_title	Judul Kumpulan Skrip
script_title	Judul Skrip
func_title	Judul Fungsi
cron_job_exec_mode	Mode Eksekusi Tugas Terjadwal		Hanya untuk Tugas Terjadwal
func_call_kwargs	Parameter yang Diteruskan ke Fungsi
cron_expr	Ekspresi Crontab Tugas Terjadwal		Hanya untuk Tugas Terjadwal
call_chain	Rantai Panggilan
return_value	Nilai Pengembalian (Return)
message	Log Tugas
kwargs	Parameter Tugas
eta	Perkiraan Waktu Eksekusi
delay	Durasi Penundaan Eksekusi (detik)
timeout	Durasi Timeout (detik)
expires	Durasi Kedaluwarsa (detik)
ignore_result	Apakah Mengabaikan Hasil
result	Isi Hasil
exception_from	Sumber Pengecualian
exception_type	Jenis Pengecualian
exception	Isi Pengecualian
origin_exception_type	Jenis Pengecualian Asli
origin_exception	Isi Pengecualian Asli
traceback	Stack Trace Kesalahan
trigger_time_iso	Waktu Pemicuan (Format Tanggal ISO)
start_time_iso	Waktu Mulai (Format Tanggal ISO)
end_time_iso	Waktu Selesai (Format Tanggal ISO)
wait_cost	Durasi Antrian (milidetik)
run_cost	Durasi Eksekusi (milidetik)
total_cost	Durasi Total (milidetik)
cpu_cost	Durasi CPU (milidetik)
cpu_cost_percent	Persentase Durasi CPU
non_cpu_cost	Durasi Non-CPU (milidetik)
non_cpu_cost_percent	Persentase Durasi Non-CPU
sys_db_query_count	Jumlah Kueri DB Sistem
sys_db_query_details	Detail Kueri DB Sistem
sys_cache_db_query_count	Jumlah Kueri Cache Sistem
sys_cache_db_query_details	Detail Kueri Cache Sistem
status	Status Log, nilai yang mungkin dapat dilihat di bawah
workspace_uuid	ID Ruang Kerja		Hanya untuk fungsi monitor pada Func versi afiliasi
df_monitor_checker_id	ID Monitor		Hanya untuk fungsi monitor pada Func versi afiliasi
df_monitor_id	ID Kebijakan Alarm		Hanya untuk fungsi monitor pada Func versi afiliasi
df_wksp_id	2026-08-05 ID Ruang Kerja		Hanya untuk fungsi pada Func versi afiliasi yang melibatkan kolom wksp_xxxxx
df_rul_id	2026-08-05 ID Monitor / Aturan Pembuatan Metrik		Hanya untuk fungsi pada Func versi afiliasi yang melibatkan kolom rul_xxxxx

5. Penjelasan Rinci Kolom Terkait

Berikut penjelasan rinci dari sebagian kolom

Kolom task_status dan status

Dalam log yang diunggah oleh DataFlux Func, task_status dan status memiliki hubungan satu-ke-satu; task_status adalah deskripsi status tugas, dan status adalah nilai status yang memenuhi spesifikasi platform data.

Tabel korespondensi spesifiknya adalah sebagai berikut:

Nilai task_status	Nilai status	Keterangan
success	ok	Berhasil
failure	critical	Gagal
skip	warning	Tugas dilewati

Kolom origin dan origin_id

Kolom origin dan origin_id digunakan untuk menandai sumber eksekusi tugas fungsi, dengan nilai spesifik sebagai berikut:

Nilai origin	Keterangan	Arti Nilai origin_id	Catatan
funcAPI	API Fungsi	ID API Fungsi
cronJob	Tugas Terjadwal	ID Tugas Terjadwal
direct	Pemanggilan fungsi secara langsung Contoh: Studio Platform Data melalui pemanggilan dalam kluster	Ditetapkan sebagai direct
integration	Dipicu oleh integrasi Kumpulan Skrip	{Tipe Integrasi}.{Metode Pemicuan}-{ID Fungsi}
Versi lama syncAPI	API Sinkron	ID API Sinkron	Dalam versi terbaru telah digantikan oleh funcAPI
Versi lama asyncAPI	API Asinkron	ID API Asinkron	Dalam versi terbaru telah digantikan oleh funcAPI
Versi lama authLink	Tautan Otorisasi	ID Tautan Otorisasi	Dalam versi terbaru telah digantikan oleh syncAPI
Versi lama crontab	Konfigurasi Pemicuan Otomatis	ID Konfigurasi Pemicuan Otomatis	Dalam versi terbaru telah digantikan oleh cronJob
Versi lama batch	Pemrosesan Batch	ID Pemrosesan Batch	Dalam versi terbaru telah digantikan oleh asyncAPI