跳轉到

部署和維護 / 配置和資料檔案

本文主要介紹 DataFlux Func 所需的配置和資料檔案儲存位置。

DataFlux Func 執行所需的各種配置、資料檔案,預設都儲存在宿主機中,可以在宿主機上直接檢視。

預設情況下,安裝目錄為 /usr/local/dataflux-func

1. 安裝目錄配置

在首次安裝 DataFlux Func 之後,安裝指令碼會自動記錄安裝目錄,一遍後續升級時自動安裝到相同路徑。配置檔案儲存位置如下:

環境 位置
宿主機內 /etc/dataflux-func

2. Docker Stack 配置

預設情況下,Docker Stack 配置檔案儲存位置如下:

環境 位置
宿主機內 {安裝目錄}/docker-stack.yaml

3. DataFlux Func 配置

預設情況下,配置檔案儲存位置如下:

環境 位置
容器內 /data/user-config.yaml
宿主機內 {安裝目錄}/data/user-config.yaml

4. DataFlux Func 日誌

預設情況下,日誌檔案儲存位置如下:

環境 位置
容器內 /data/logs/
宿主機內 {安裝目錄}/data/logs/

預設情況下,日誌檔案會根據 logrotate 配置自動回捲並壓縮儲存,logrotate 配置檔案位置如下:

環境 位置
宿主機內 /etc/logrotate.d/dataflux-func

5. DataFlux Func 資料庫備份

預設情況下,DataFlux Func 的資料庫會自動使用 mysqldump 備份,儲存位置如下:

環境 位置
容器內 /data/sqldump/
宿主機內 {安裝目錄}/data/sqldump/

6. DataFlux Func 資源目錄

預設情況下,DataFlux Func 執行期間所產生的檔案、資料都儲存在資源目錄下,儲存位置如下:

環境 位置
容器內 /data/resources/
宿主機內 {安裝目錄}/data/resources/

資原始檔目錄可能包含以下內容:

宿主機位置 說明
{安裝目錄}/data/resources/extra-python-packages/ 透過 PIP 工具安裝的 Python 包目錄
{安裝目錄}/data/resources/user-python-packages/ 使用者本地使用的 Python 包目錄
使用者可以自行上傳 Python 包並在指令碼中 import
{安裝目錄}/data/resources/pre-run-scripts/ 預執行指令碼目錄
使用者可以自行上傳 Bash 指令碼並在 DataFlux Func 重啟時自動執行,詳細請參考 指令碼開發 / 預執行指令碼
{安裝目錄}/data/resources/script-market/ 指令碼市場本地臨時檔案
{安裝目錄}/data/resources/.downloads/ 用於下載的臨時目錄
{安裝目錄}/data/resources/.uploads/ 用於上傳的臨時目錄

開發者 / 使用者也可以自行將所需的其他資原始檔存放在資源目錄下,以便在指令碼中讀取使用。

7. 內建 Redis 資料目錄

如果您的 DataFlux Func 使用的是自帶的 Redis,那麼 Redis 的資料儲存位置如下:

環境 位置
宿主機內 {安裝目錄}/redis/

8. 內建 MySQL 資料目錄

如果您的 DataFlux Func 使用的是自帶的 MySQL,那麼 MySQL 的資料儲存位置如下:

環境 位置
宿主機內 {安裝目錄}/mysql/

8.1 資料庫表資料

在 DataFlux Func 共用到如下資料庫表,表明及其用途如下:

表名 資料 備註
biz_main_api_auth API 認證
biz_main_blueprint 藍圖
biz_main_connector 聯結器
biz_main_cron_job 定時任務
biz_main_env_variable 環境變數
biz_main_file_service 檔案服務
biz_main_func_store 函式儲存
biz_main_func 函式
biz_main_func_aou 函式 API
biz_main_operation_record 操作記錄
biz_main_script_market 指令碼市場
biz_main_script_publish_history 指令碼釋出歷史
biz_main_script_recover_point 指令碼還原點
biz_main_script_set_export_history 匯出歷史
biz_main_script_set_import_history 匯入歷史
biz_main_script_set 指令碼集
biz_main_script 指令碼
biz_main_task_record_func 任務記錄(函式)
biz_main_task_record 任務記錄
wat_main_access_key OpenAPI Access Key
wat_main_system_setting 系統設定
wat_main_user 使用者
biz_main_sync_api 同步 API 舊版表
biz_main_async_api 非同步 API 舊版表
biz_main_auth_link 授權連結 舊版表,最新表已改用 biz_main_sync_api
biz_main_crontab_config 自動觸發配置 舊版表,最新表已改用 biz_main_cron_job
biz_main_batch 批處理 舊版表,最新表已改用 biz_main_async_api
biz_main_batch_task_info 批處理任務資訊 舊版表,最新版已棄用
biz_main_crontab_task_info 自動觸發任務資訊 舊版表,最新版已棄用
biz_main_script_failure 指令碼故障資訊 舊版表,最新版已棄用
biz_main_script_log 指令碼日誌資訊 舊版表,最新版已棄用
biz_main_task_info 任務資訊 舊版表,最新版已棄用
biz_main_task_result_dataflux_func DataFluxFunc 任務結果 舊版表,最新版已棄用
biz_rel_func_running_info 函式執行資訊 舊版表,最新版已棄用
wat_main_task_result_example 示例任務記錄 舊版表,最新版已棄用

部分表資料可能非常龐大

任務記錄(函式)表 biz_main_task_record_func 在重度使用後可能會留下數十 GB 以上的任務記錄資料

可以參考 部署和維護 / 系統指標和任務記錄 / 關閉本地函式任務記錄 關閉「本地函式任務記錄」