デプロイとメンテナンス / データの保存場所
本稿では、DataFlux Func に必要な設定とデータファイルの保存場所について主に説明します。
DataFlux Func の実行に必要な各種設定やデータファイルは、デフォルトではすべてホスト上に保存されており、ホスト上で直接確認できます。
デフォルトでは、インストールディレクトリは /usr/local/dataflux-func です。
1. インストールディレクトリの設定
DataFlux Func を初めてインストールした後、インストールスクリプトがインストールディレクトリを自動的に記録し、後続のアップグレード時に同じパスへ自動インストールできるようにします。設定ファイルの保存場所は以下のとおりです。
| 環境 | 場所 |
|---|---|
| ホスト内 | /etc/dataflux-func |
2. Docker Stack の設定
デフォルトでは、Docker Stack 設定ファイルの保存場所は以下のとおりです。
| 環境 | 場所 |
|---|---|
| ホスト内 | {インストールディレクトリ}/docker-stack.yaml |
3. DataFlux Func の設定
デフォルトでは、設定ファイルの保存場所は以下のとおりです。
| 環境 | 場所 |
|---|---|
| コンテナ内 | /data/user-config.yaml |
| ホスト内 | {インストールディレクトリ}/data/user-config.yaml |
4. DataFlux Func のログ
デフォルトでは、ログファイルの保存場所は以下のとおりです。
| 環境 | 場所 |
|---|---|
| コンテナ内 | /data/logs/ |
| ホスト内 | {インストールディレクトリ}/data/logs/ |
デフォルトでは、ログファイルは logrotate 設定に従って自動的にローテーションされ、圧縮されて保存されます。logrotate 設定ファイルの保存場所は以下のとおりです。
| 環境 | 場所 |
|---|---|
| ホスト内 | /etc/logrotate.d/dataflux-func |
5. DataFlux Func のデータベースバックアップ
デフォルトでは、DataFlux Func のデータベースは mysqldump を使用して自動的にバックアップされます。保存場所は以下のとおりです。
| 環境 | 場所 |
|---|---|
| コンテナ内 | /data/sqldump/ |
| ホスト内 | {インストールディレクトリ}/data/sqldump/ |
6. DataFlux Func のリソースディレクトリ
デフォルトでは、DataFlux Func の実行中に生成されたファイルやデータはすべてリソースディレクトリに保存されます。保存場所は以下のとおりです。
| 環境 | 場所 |
|---|---|
| コンテナ内 | /data/resources/ |
| ホスト内 | {インストールディレクトリ}/data/resources/ |
リソースディレクトリには、以下の内容が含まれる場合があります。
| ホスト上の場所 | 説明 |
|---|---|
{インストールディレクトリ}/data/resources/extra-python-packages/ |
PIP ツールでインストールされた Python パッケージのディレクトリ |
{インストールディレクトリ}/data/resources/user-python-packages/ |
ユーザーがローカルで使用する Python パッケージのディレクトリ ユーザーは自分で Python パッケージをアップロードし、スクリプト内で import できます |
{インストールディレクトリ}/data/resources/pre-run-scripts/ |
プリ実行スクリプトのディレクトリ ユーザーは Bash スクリプトをアップロードでき、DataFlux Func の再起動時に自動実行されます。詳細は スクリプト開発 / プリ実行スクリプト を参照してください。 |
{インストールディレクトリ}/data/resources/script-market/ |
スクリプトマーケットのローカル一時ファイル |
{インストールディレクトリ}/data/resources/.downloads/ |
ダウンロード用の一時ディレクトリ |
{インストールディレクトリ}/data/resources/.uploads/ |
アップロード用の一時ディレクトリ |
開発者 / ユーザーは、必要なその他のリソースファイルを自分でリソースディレクトリに配置し、スクリプト内で読み取って使用することもできます。
7. 組み込み Redis データディレクトリ
DataFlux Func が内蔵の Redis を使用している場合、Redis のデータ保存場所は以下のとおりです。
| 環境 | 場所 |
|---|---|
| ホスト内 | {インストールディレクトリ}/redis/ |
8. 組み込み MySQL データディレクトリ
DataFlux Func が内蔵の MySQL を使用している場合、MySQL のデータ保存場所は以下のとおりです。
| 環境 | 場所 |
|---|---|
| ホスト内 | {インストールディレクトリ}/mysql/ |
8.1 データベーステーブルのデータ
DataFlux Func では以下のデータベーステーブルが使用されます。テーブル名とその用途は以下のとおりです。
| テーブル名 | データ | 備考 |
|---|---|---|
biz_main_api_auth |
API 認証 | |
biz_main_blueprint |
Blueprint | |
biz_main_connector |
コネクター | |
biz_main_cron_job |
定期実行タスク | |
biz_main_env_variable |
環境変数 | |
biz_main_file_service |
ファイルサービス | |
biz_main_func_store |
関数ストレージ | |
biz_main_func |
関数 | |
biz_main_func_aou |
関数 API | |
biz_main_operation_record |
操作記録 | |
biz_main_script_market |
スクリプトマーケット | |
biz_main_script_publish_history |
スクリプト公開履歴 | |
biz_main_script_recover_point |
スクリプト復元ポイント | |
biz_main_script_set_export_history |
エクスポート履歴 | |
biz_main_script_set_import_history |
インポート履歴 | |
biz_main_script_set |
スクリプトセット | |
biz_main_script |
スクリプト | |
biz_main_task_record_func |
タスク記録（関数） | |
biz_main_task_record |
タスク記録 | |
wat_main_access_key |
OpenAPI Access Key | |
wat_main_system_setting |
システム設定 | |
wat_main_user |
ユーザー | |
biz_main_sync_api |
同期 API | 旧版テーブル |
biz_main_async_api |
非同期 API | 旧版テーブル |
biz_main_auth_link |
認証リンク | 旧版テーブル。最新のテーブルでは biz_main_sync_api に変更されています |
biz_main_crontab_config |
自動トリガー設定 | 旧版テーブル。最新のテーブルでは biz_main_cron_job に変更されています |
biz_main_batch |
バッチ処理 | 旧版テーブル。最新のテーブルでは biz_main_async_api に変更されています |
biz_main_batch_task_info |
バッチ処理タスク情報 | 旧版テーブル。最新版では非推奨です |
biz_main_crontab_task_info |
自動トリガータスク情報 | 旧版テーブル。最新版では非推奨です |
biz_main_script_failure |
スクリプト障害情報 | 旧版テーブル。最新版では非推奨です |
biz_main_script_log |
スクリプトログ情報 | 旧版テーブル。最新版では非推奨です |
biz_main_task_info |
タスク情報 | 旧版テーブル。最新版では非推奨です |
biz_main_task_result_dataflux_func |
DataFlux Func タスク結果 | 旧版テーブル。最新版では非推奨です |
biz_rel_func_running_info |
関数実行情報 | 旧版テーブル。最新版では非推奨です |
wat_main_task_result_example |
サンプルタスク記録 | 旧版テーブル。最新版では非推奨です |
一部のテーブルのデータは非常に大きくなる可能性があります
タスク記録（関数）テーブル biz_main_task_record_func は、重度に使用すると数十 GB 以上のタスク記録データが残る場合があります。
デプロイとメンテナンス / システム指標とタスク記録 / ローカル関数タスク記録の無効化 を参照して、「ローカル関数タスク記録」を無効にすることができます。