Penerapan dan Pemeliharaan / Lokasi Penyimpanan Data
Dokumen ini terutama menjelaskan lokasi penyimpanan file konfigurasi dan data yang diperlukan oleh DataFlux Func.
Secara default, berbagai konfigurasi dan file data yang diperlukan untuk menjalankan DataFlux Func disimpan di host, dan dapat langsung dilihat di host.
Secara default, direktori instalasi adalah /usr/local/dataflux-func
1. Konfigurasi Direktori Instalasi
Setelah DataFlux Func diinstal untuk pertama kalinya, Skrip instalasi akan otomatis mencatat direktori instalasi, sehingga saat upgrade berikutnya akan otomatis diinstal ke jalur yang sama. Lokasi penyimpanan file konfigurasi adalah sebagai berikut:
| Lingkungan | Lokasi |
|---|---|
| Di dalam host | /etc/dataflux-func |
2. Konfigurasi Docker Stack
Secara default, lokasi penyimpanan file konfigurasi Docker Stack adalah sebagai berikut:
| Lingkungan | Lokasi |
|---|---|
| Di dalam host | {direktori-instalasi}/docker-stack.yaml |
3. Konfigurasi DataFlux Func
Secara default, lokasi penyimpanan file konfigurasi adalah sebagai berikut:
| Lingkungan | Lokasi |
|---|---|
| Di dalam kontainer | /data/user-config.yaml |
| Di dalam host | {direktori-instalasi}/data/user-config.yaml |
4. Log DataFlux Func
Secara default, lokasi penyimpanan file log adalah sebagai berikut:
| Lingkungan | Lokasi |
|---|---|
| Di dalam kontainer | /data/logs/ |
| Di dalam host | {direktori-instalasi}/data/logs/ |
Secara default, file log akan otomatis dirotasi dan dikompresi sesuai konfigurasi logrotate. Lokasi file konfigurasi logrotate adalah sebagai berikut:
| Lingkungan | Lokasi |
|---|---|
| Di dalam host | /etc/logrotate.d/dataflux-func |
5. Backup Database DataFlux Func
Secara default, database DataFlux Func otomatis dibackup menggunakan mysqldump, dengan lokasi penyimpanan sebagai berikut:
| Lingkungan | Lokasi |
|---|---|
| Di dalam kontainer | /data/sqldump/ |
| Di dalam host | {direktori-instalasi}/data/sqldump/ |
6. Direktori Sumber Daya DataFlux Func
Secara default, semua file dan data yang dihasilkan selama DataFlux Func berjalan disimpan di direktori sumber daya. Lokasi penyimpanannya adalah sebagai berikut:
| Lingkungan | Lokasi |
|---|---|
| Di dalam kontainer | /data/resources/ |
| Di dalam host | {direktori-instalasi}/data/resources/ |
Direktori file sumber daya dapat berisi konten berikut:
| Lokasi di host | Keterangan |
|---|---|
{direktori-instalasi}/data/resources/extra-python-packages/ |
Direktori paket Python yang diinstal melalui alat PIP |
{direktori-instalasi}/data/resources/user-python-packages/ |
Direktori paket Python yang digunakan pengguna secara lokal Pengguna dapat mengunggah paket Python sendiri dan melakukan import di dalam Skrip |
{direktori-instalasi}/data/resources/pre-run-scripts/ |
Direktori Skrip Pre-run Pengguna dapat mengunggah Skrip Bash sendiri dan Skrip akan otomatis berjalan saat DataFlux Func dimulai ulang. Untuk detail, lihat Pengembangan Skrip / Skrip Pre-run |
{direktori-instalasi}/data/resources/script-market/ |
File sementara lokal Pasar Skrip |
{direktori-instalasi}/data/resources/.downloads/ |
Direktori sementara untuk unduhan |
{direktori-instalasi}/data/resources/.uploads/ |
Direktori sementara untuk unggahan |
Pengembang / pengguna juga dapat menyimpan file sumber daya lain yang diperlukan secara mandiri di direktori sumber daya agar dapat dibaca dan digunakan dalam Skrip.
7. Direktori Data Redis Bawaan
Jika DataFlux Func Anda menggunakan Redis bawaan, lokasi penyimpanan data Redis adalah sebagai berikut:
| Lingkungan | Lokasi |
|---|---|
| Di dalam host | {direktori-instalasi}/redis/ |
8. Direktori Data MySQL Bawaan
Jika DataFlux Func Anda menggunakan MySQL bawaan, lokasi penyimpanan data MySQL adalah sebagai berikut:
| Lingkungan | Lokasi |
|---|---|
| Di dalam host | {direktori-instalasi}/mysql/ |
8.1 Data Tabel Database
DataFlux Func menggunakan tabel database berikut, dengan nama tabel dan kegunaannya sebagai berikut:
| Nama Tabel | Data | Keterangan |
|---|---|---|
biz_main_api_auth |
Autentikasi API | |
biz_main_blueprint |
Blueprint | |
biz_main_connector |
Konektor | |
biz_main_cron_job |
Tugas Terjadwal | |
biz_main_env_variable |
Variabel Lingkungan | |
biz_main_file_service |
Layanan File | |
biz_main_func_store |
Penyimpanan Fungsi | |
biz_main_func |
Fungsi | |
biz_main_func_aou |
API Fungsi | |
biz_main_operation_record |
Catatan Operasi | |
biz_main_script_market |
Pasar Skrip | |
biz_main_script_publish_history |
Riwayat Publikasi Skrip | |
biz_main_script_recover_point |
Titik Pemulihan Skrip | |
biz_main_script_set_export_history |
Riwayat Ekspor | |
biz_main_script_set_import_history |
Riwayat Impor | |
biz_main_script_set |
Kumpulan Skrip | |
biz_main_script |
Skrip | |
biz_main_task_record_func |
Catatan Tugas (Fungsi) | |
biz_main_task_record |
Catatan Tugas | |
wat_main_access_key |
OpenAPI Access Key | |
wat_main_system_setting |
Pengaturan Sistem | |
wat_main_user |
Pengguna | |
biz_main_sync_api |
API Sinkron | Tabel versi lama |
biz_main_async_api |
API Asinkron | Tabel versi lama |
biz_main_auth_link |
Tautan Otorisasi | Tabel versi lama, tabel terbaru telah beralih menggunakan biz_main_sync_api |
biz_main_crontab_config |
Konfigurasi Pemicu Otomatis | Tabel versi lama, tabel terbaru telah beralih menggunakan biz_main_cron_job |
biz_main_batch |
Pemrosesan Batch | Tabel versi lama, tabel terbaru telah beralih menggunakan biz_main_async_api |
biz_main_batch_task_info |
Informasi Tugas Pemrosesan Batch | Tabel versi lama, tidak digunakan lagi di versi terbaru |
biz_main_crontab_task_info |
Informasi Tugas Pemicu Otomatis | Tabel versi lama, tidak digunakan lagi di versi terbaru |
biz_main_script_failure |
Informasi Kegagalan Skrip | Tabel versi lama, tidak digunakan lagi di versi terbaru |
biz_main_script_log |
Informasi Log Skrip | Tabel versi lama, tidak digunakan lagi di versi terbaru |
biz_main_task_info |
Informasi Tugas | Tabel versi lama, tidak digunakan lagi di versi terbaru |
biz_main_task_result_dataflux_func |
Hasil Tugas DataFlux Func | Tabel versi lama, tidak digunakan lagi di versi terbaru |
biz_rel_func_running_info |
Informasi Eksekusi Fungsi | Tabel versi lama, tidak digunakan lagi di versi terbaru |
wat_main_task_result_example |
Contoh Catatan Tugas | Tabel versi lama, tidak digunakan lagi di versi terbaru |
Sebagian data tabel mungkin sangat besar
Tabel Catatan Tugas (Fungsi) biz_main_task_record_func setelah penggunaan berat dapat meninggalkan data catatan tugas puluhan GB atau lebih
Anda dapat merujuk ke Penerapan dan Pemeliharaan / Metrik Sistem dan Catatan Tugas / Menonaktifkan Catatan Tugas Fungsi Lokal untuk menonaktifkan 'Catatan Tugas Fungsi Lokal'