部署和維護 / 配置和數據文件
本文主要介紹 DataFlux Func 所需的配置和數據文件保存位置。
DataFlux Func 運行所需的各種配置、數據文件,默認都保存在宿主機中,可以在宿主機上直接查看。
默認情況下,安裝目錄為 /usr/local/dataflux-func
1. 安裝目錄配置
在首次安裝 DataFlux Func 之後,安裝腳本會自動記錄安裝目錄,一遍後續升級時自動安裝到相同路徑。配置文件保存位置如下:
環境 | 位置 |
---|---|
宿主機內 | /etc/dataflux-func |
2. Docker Stack 配置
默認情況下,Docker Stack 配置文件保存位置如下:
環境 | 位置 |
---|---|
宿主機內 | {安裝目錄}/docker-stack.yaml |
3. DataFlux Func 配置
默認情況下,配置文件保存位置如下:
環境 | 位置 |
---|---|
容器內 | /data/user-config.yaml |
宿主機內 | {安裝目錄}/data/user-config.yaml |
4. DataFlux Func 日誌
默認情況下,日誌文件保存位置如下:
環境 | 位置 |
---|---|
容器內 | /data/logs/ |
宿主機內 | {安裝目錄}/data/logs/ |
默認情況下,日誌文件會根據 logrotate 配置自動回捲並壓縮保存,logrotate 配置文件位置如下:
環境 | 位置 |
---|---|
宿主機內 | /etc/logrotate.d/dataflux-func |
5. DataFlux Func 數據庫備份
默認情況下,DataFlux Func 的數據庫會自動使用 mysqldump
備份,保存位置如下:
環境 | 位置 |
---|---|
容器內 | /data/sqldump/ |
宿主機內 | {安裝目錄}/data/sqldump/ |
6. DataFlux Func 資源目錄
默認情況下,DataFlux Func 運行期間所產生的文件、數據都保存在資源目錄下,保存位置如下:
環境 | 位置 |
---|---|
容器內 | /data/resources/ |
宿主機內 | {安裝目錄}/data/resources/ |
資源文件目錄可能包含以下內容:
宿主機位置 | 説明 |
---|---|
{安裝目錄}/data/resources/extra-python-packages/ |
通過 PIP 工具安裝的 Python 包目錄 |
{安裝目錄}/data/resources/user-python-packages/ |
用户本地使用的 Python 包目錄 用户可以自行上傳 Python 包並在腳本中 import |
{安裝目錄}/data/resources/pre-run-scripts/ |
預執行腳本目錄 用户可以自行上傳 Bash 腳本並在 DataFlux Func 重啓時自動運行,詳細請參考 腳本開發 / 預執行腳本 |
{安裝目錄}/data/resources/script-market/ |
腳本市場本地臨時文件 |
{安裝目錄}/data/resources/.downloads/ |
用於下載的臨時目錄 |
{安裝目錄}/data/resources/.uploads/ |
用於上傳的臨時目錄 |
開發者 / 用户也可以自行將所需的其他資源文件存放在資源目錄下,以便在腳本中讀取使用。
7. 內置 Redis 數據目錄
如果您的 DataFlux Func 使用的是自帶的 Redis,那麼 Redis 的數據保存位置如下:
環境 | 位置 |
---|---|
宿主機內 | {安裝目錄}/redis/ |
8. 內置 MySQL 數據目錄
如果您的 DataFlux Func 使用的是自帶的 MySQL,那麼 MySQL 的數據保存位置如下:
環境 | 位置 |
---|---|
宿主機內 | {安裝目錄}/mysql/ |
8.1 數據庫表數據
在 DataFlux Func 共用到如下數據庫表,表明及其用途如下:
表名 | 數據 | 備註 |
---|---|---|
biz_main_api_auth |
API 認證 | |
biz_main_blueprint |
藍圖 | |
biz_main_connector |
連接器 | |
biz_main_cron_job |
定時任務 | |
biz_main_env_variable |
環境變量 | |
biz_main_file_service |
文件服務 | |
biz_main_func_store |
函數存儲 | |
biz_main_func |
函數 | |
biz_main_func_aou |
函數 API | |
biz_main_operation_record |
操作記錄 | |
biz_main_script_market |
腳本市場 | |
biz_main_script_publish_history |
腳本發佈歷史 | |
biz_main_script_recover_point |
腳本還原點 | |
biz_main_script_set_export_history |
導出歷史 | |
biz_main_script_set_import_history |
導入歷史 | |
biz_main_script_set |
腳本集 | |
biz_main_script |
腳本 | |
biz_main_task_record_func |
任務記錄(函數) | |
biz_main_task_record |
任務記錄 | |
wat_main_access_key |
OpenAPI Access Key | |
wat_main_system_setting |
系統設置 | |
wat_main_user |
用户 | |
biz_main_sync_api |
同步 API | 舊版表 |
biz_main_async_api |
異步 API | 舊版表 |
biz_main_auth_link |
授權鏈接 | 舊版表,最新表已改用 biz_main_sync_api |
biz_main_crontab_config |
自動觸發配置 | 舊版表,最新表已改用 biz_main_cron_job |
biz_main_batch |
批處理 | 舊版表,最新表已改用 biz_main_async_api |
biz_main_batch_task_info |
批處理任務信息 | 舊版表,最新版已棄用 |
biz_main_crontab_task_info |
自動觸發任務信息 | 舊版表,最新版已棄用 |
biz_main_script_failure |
腳本故障信息 | 舊版表,最新版已棄用 |
biz_main_script_log |
腳本日誌信息 | 舊版表,最新版已棄用 |
biz_main_task_info |
任務信息 | 舊版表,最新版已棄用 |
biz_main_task_result_dataflux_func |
DataFluxFunc 任務結果 | 舊版表,最新版已棄用 |
biz_rel_func_running_info |
函數執行信息 | 舊版表,最新版已棄用 |
wat_main_task_result_example |
示例任務記錄 | 舊版表,最新版已棄用 |
部分表數據可能非常龐大
任務記錄(函數)表 biz_main_task_record_func
在重度使用後可能會留下數十 GB 以上的任務記錄數據
可以參考 部署和維護 / 系統指標和任務記錄 / 關閉本地函數任務記錄 關閉「本地函數任務記錄」