部署和維護 / 配置和資料檔案
本文主要介紹 DataFlux Func 所需的配置和資料檔案儲存位置。
DataFlux Func 執行所需的各種配置、資料檔案,預設都儲存在宿主機中,可以在宿主機上直接檢視。
預設情況下,安裝目錄為 /usr/local/dataflux-func
1. 安裝目錄配置
在首次安裝 DataFlux Func 之後,安裝指令碼會自動記錄安裝目錄,一遍後續升級時自動安裝到相同路徑。配置檔案儲存位置如下:
環境 | 位置 |
---|---|
宿主機內 | /etc/dataflux-func |
2. Docker Stack 配置
預設情況下,Docker Stack 配置檔案儲存位置如下:
環境 | 位置 |
---|---|
宿主機內 | {安裝目錄}/docker-stack.yaml |
3. DataFlux Func 配置
預設情況下,配置檔案儲存位置如下:
環境 | 位置 |
---|---|
容器內 | /data/user-config.yaml |
宿主機內 | {安裝目錄}/data/user-config.yaml |
4. DataFlux Func 日誌
預設情況下,日誌檔案儲存位置如下:
環境 | 位置 |
---|---|
容器內 | /data/logs/ |
宿主機內 | {安裝目錄}/data/logs/ |
預設情況下,日誌檔案會根據 logrotate 配置自動回捲並壓縮儲存,logrotate 配置檔案位置如下:
環境 | 位置 |
---|---|
宿主機內 | /etc/logrotate.d/dataflux-func |
5. DataFlux Func 資料庫備份
預設情況下,DataFlux Func 的資料庫會自動使用 mysqldump
備份,儲存位置如下:
環境 | 位置 |
---|---|
容器內 | /data/sqldump/ |
宿主機內 | {安裝目錄}/data/sqldump/ |
6. DataFlux Func 資源目錄
預設情況下,DataFlux Func 執行期間所產生的檔案、資料都儲存在資源目錄下,儲存位置如下:
環境 | 位置 |
---|---|
容器內 | /data/resources/ |
宿主機內 | {安裝目錄}/data/resources/ |
資原始檔目錄可能包含以下內容:
宿主機位置 | 說明 |
---|---|
{安裝目錄}/data/resources/extra-python-packages/ |
透過 PIP 工具安裝的 Python 包目錄 |
{安裝目錄}/data/resources/user-python-packages/ |
使用者本地使用的 Python 包目錄 使用者可以自行上傳 Python 包並在指令碼中 import |
{安裝目錄}/data/resources/pre-run-scripts/ |
預執行指令碼目錄 使用者可以自行上傳 Bash 指令碼並在 DataFlux Func 重啟時自動執行,詳細請參考 指令碼開發 / 預執行指令碼 |
{安裝目錄}/data/resources/script-market/ |
指令碼市場本地臨時檔案 |
{安裝目錄}/data/resources/.downloads/ |
用於下載的臨時目錄 |
{安裝目錄}/data/resources/.uploads/ |
用於上傳的臨時目錄 |
開發者 / 使用者也可以自行將所需的其他資原始檔存放在資源目錄下,以便在指令碼中讀取使用。
7. 內建 Redis 資料目錄
如果您的 DataFlux Func 使用的是自帶的 Redis,那麼 Redis 的資料儲存位置如下:
環境 | 位置 |
---|---|
宿主機內 | {安裝目錄}/redis/ |
8. 內建 MySQL 資料目錄
如果您的 DataFlux Func 使用的是自帶的 MySQL,那麼 MySQL 的資料儲存位置如下:
環境 | 位置 |
---|---|
宿主機內 | {安裝目錄}/mysql/ |
8.1 資料庫表資料
在 DataFlux Func 共用到如下資料庫表,表明及其用途如下:
表名 | 資料 | 備註 |
---|---|---|
biz_main_api_auth |
API 認證 | |
biz_main_blueprint |
藍圖 | |
biz_main_connector |
聯結器 | |
biz_main_cron_job |
定時任務 | |
biz_main_env_variable |
環境變數 | |
biz_main_file_service |
檔案服務 | |
biz_main_func_store |
函式儲存 | |
biz_main_func |
函式 | |
biz_main_func_aou |
函式 API | |
biz_main_operation_record |
操作記錄 | |
biz_main_script_market |
指令碼市場 | |
biz_main_script_publish_history |
指令碼釋出歷史 | |
biz_main_script_recover_point |
指令碼還原點 | |
biz_main_script_set_export_history |
匯出歷史 | |
biz_main_script_set_import_history |
匯入歷史 | |
biz_main_script_set |
指令碼集 | |
biz_main_script |
指令碼 | |
biz_main_task_record_func |
任務記錄(函式) | |
biz_main_task_record |
任務記錄 | |
wat_main_access_key |
OpenAPI Access Key | |
wat_main_system_setting |
系統設定 | |
wat_main_user |
使用者 | |
biz_main_sync_api |
同步 API | 舊版表 |
biz_main_async_api |
非同步 API | 舊版表 |
biz_main_auth_link |
授權連結 | 舊版表,最新表已改用 biz_main_sync_api |
biz_main_crontab_config |
自動觸發配置 | 舊版表,最新表已改用 biz_main_cron_job |
biz_main_batch |
批處理 | 舊版表,最新表已改用 biz_main_async_api |
biz_main_batch_task_info |
批處理任務資訊 | 舊版表,最新版已棄用 |
biz_main_crontab_task_info |
自動觸發任務資訊 | 舊版表,最新版已棄用 |
biz_main_script_failure |
指令碼故障資訊 | 舊版表,最新版已棄用 |
biz_main_script_log |
指令碼日誌資訊 | 舊版表,最新版已棄用 |
biz_main_task_info |
任務資訊 | 舊版表,最新版已棄用 |
biz_main_task_result_dataflux_func |
DataFluxFunc 任務結果 | 舊版表,最新版已棄用 |
biz_rel_func_running_info |
函式執行資訊 | 舊版表,最新版已棄用 |
wat_main_task_result_example |
示例任務記錄 | 舊版表,最新版已棄用 |
部分表資料可能非常龐大
任務記錄(函式)表 biz_main_task_record_func
在重度使用後可能會留下數十 GB 以上的任務記錄資料
可以參考 部署和維護 / 系統指標和任務記錄 / 關閉本地函式任務記錄 關閉「本地函式任務記錄」