腳本開發 / 預執行腳本

於 2.6.18 版本新增

雖然 DataFlux Func 已經提供了 PIP 工具安裝第三方 Python 包，但可能會因為缺少依賴庫無法正常使用。

如用户需要在 DataFlux Func 中使用 OpenCV 時，除了安裝 opencv-python 外，還需要通過 apt 等方式安裝依賴庫。

否則可能會產生如下問題：

1. 使用預執行腳本解決依賴

為解決此問題，可以向 DataFlux Func 提供預執行腳本，預執行腳本會在 DataFlux Func 啓動前執行，藉此安裝必要的依賴。

具體操作步驟如下：

1.1 準備腳本

DataFlux Func 的鏡像基於 Ubuntu:22.04。

以解決上文中的 OpenCV 依賴問題為例，可以準備如下 Bash 腳本。

安裝 OpenCV 依賴
apt-get update
apt-get install -y libgl1-mesa-glx libglib2.0-0 libsm6 libxext6 libxrender-dev

將其保存為 prepare-for-opencv.sh 文件。

文件名隨意，但必須為 .sh 結尾。為避免不必要的麻煩，文件名不要使用 Unicode 或其他非常規符號

區分運行環境

DataFlux Func 包含 Server 端和 Worker 端。

Server 端主要是 HTTP 服務器，提供 Web 頁面和 HTTP API，並不參與 Python 代碼執行。
Worker 端為實際的 Python 代碼執行服務。

因此，在絕大部分情況下，預執行腳本只需要在 Worker 中執行即可。

需要區分所在環境時，可以讀取 $1 ，判斷值為 server 還是 worker。

Beat 服務、MySQL 服務、Redis 服務不會執行預執行腳本

用於區分的參考 Bash 代碼如下：

只在 Worker 容器執行
if [ $1 != 'worker' ]; then
    exit 0
fi

只在 Server 容器執行
if [ $1 != 'server' ]; then
    exit 0
fi

1.2 上傳腳本

預執行腳本存放目錄如下：

環境	位置
容器內	`/data/resources/pre-run-scripts/`
宿主機內	`{安裝目錄}/data/resources/pre-run-scripts/`

用户可以在宿主機將預執行腳本放入其中。

也可以在 DataFlux Func 的文件管理中進入並上傳自行編寫的預執行腳本：

1.3 重啓 Func 並驗證

完成所有準備工作後，重新啓動 DataFlux Func

回到之前的腳本再次執行，可以看到 opencv-python 庫已經可以正確導入了：

2. 預執行腳本執行細節

每次 DataFlux Func 啓動時，都會首先檢查是否存在預執行腳本。

當存在預執行腳本時，DataFlux Func 按照預執行腳本的名稱排序，依次執行，且必須所有的腳本都執行成功後 DataFlux Func 才會正常啓動。

如果需要觀察預執行腳本的執行過程，可以通過如下命令跟蹤：

查看容器日誌
docker logs {DataFlux Func 容器 ID} -f

以上文中的預執行腳本為例，可以看到輸出如下：

執行日誌
[PRERUN SCRIPT] prepare-for-opencv.sh
Hit:1 http://ports.ubuntu.com/ubuntu-ports jammy InRelease
Get:2 http://ports.ubuntu.com/ubuntu-ports jammy-updates InRelease [128 kB]
Get:3 http://ports.ubuntu.com/ubuntu-ports jammy-backports InRelease [127 kB]
Get:4 http://ports.ubuntu.com/ubuntu-ports jammy-security InRelease [129 kB]
Get:5 http://ports.ubuntu.com/ubuntu-ports jammy-updates/universe arm64 Packages [1528 kB]
Get:6 http://ports.ubuntu.com/ubuntu-ports jammy-updates/main arm64 Packages [2960 kB]
Get:7 http://ports.ubuntu.com/ubuntu-ports jammy-updates/restricted arm64 Packages [3920 kB]
Get:8 http://ports.ubuntu.com/ubuntu-ports jammy-backports/main arm64 Packages [82.8 kB]
Get:9 http://ports.ubuntu.com/ubuntu-ports jammy-backports/universe arm64 Packages [33.3 kB]
Get:10 http://ports.ubuntu.com/ubuntu-ports jammy-security/universe arm64 Packages [1230 kB]
Get:11 http://ports.ubuntu.com/ubuntu-ports jammy-security/main arm64 Packages [2656 kB]
Get:12 http://ports.ubuntu.com/ubuntu-ports jammy-security/restricted arm64 Packages [3777 kB]
Fetched 16.6 MB in 18s (923 kB/s)
Reading package lists...
Reading package lists...
Building dependency tree...
Reading state information...
libxext6 is already the newest version (2:1.3.4-1build1).
libxext6 set to manually installed.
The following additional packages will be installed:
  libdrm-amdgpu1 libdrm-common libdrm-nouveau2 libdrm-radeon1 libdrm2 libgl1
  libgl1-amber-dri libgl1-mesa-dri libglapi-mesa libglib2.0-data libglvnd0
  libglx-mesa0 libglx0 libice6 libllvm15 libpthread-stubs0-dev libx11-dev
  libx11-xcb1 libxau-dev libxcb-dri2-0 libxcb-dri3-0 libxcb-glx0
  libxcb-present0 libxcb-randr0 libxcb-shm0 libxcb-sync1 libxcb-xfixes0
  libxcb1-dev libxdmcp-dev libxfixes3 libxrender1 libxshmfence1 libxxf86vm1
  shared-mime-info x11-common x11proto-dev xdg-user-dirs xorg-sgml-doctools
  xtrans-dev
Suggested packages:
  libx11-doc libxcb-doc
The following NEW packages will be installed:
  libdrm-amdgpu1 libdrm-common libdrm-nouveau2 libdrm-radeon1 libdrm2 libgl1
  libgl1-amber-dri libgl1-mesa-dri libgl1-mesa-glx libglapi-mesa libglib2.0-0
  libglib2.0-data libglvnd0 libglx-mesa0 libglx0 libice6 libllvm15
  libpthread-stubs0-dev libsm6 libx11-dev libx11-xcb1 libxau-dev libxcb-dri2-0
  libxcb-dri3-0 libxcb-glx0 libxcb-present0 libxcb-randr0 libxcb-shm0
  libxcb-sync1 libxcb-xfixes0 libxcb1-dev libxdmcp-dev libxfixes3
  libxrender-dev libxrender1 libxshmfence1 libxxf86vm1 shared-mime-info
  x11-common x11proto-dev xdg-user-dirs xorg-sgml-doctools xtrans-dev
0 upgraded, 43 newly installed, 0 to remove and 27 not upgraded.
Need to get 38.4 MB of archives.
After this operation, 163 MB of additional disk space will be used.
Get:1 http://ports.ubuntu.com/ubuntu-ports jammy-updates/main arm64 libglib2.0-0 arm64 2.72.4-0ubuntu2.5 [1435 kB]
Get:2 http://ports.ubuntu.com/ubuntu-ports jammy-updates/main arm64 libglib2.0-data all 2.72.4-0ubuntu2.5 [4656 B]
Get:3 http://ports.ubuntu.com/ubuntu-ports jammy/main arm64 shared-mime-info arm64 2.1-2 [453 kB]
Get:4 http://ports.ubuntu.com/ubuntu-ports jammy/main arm64 xdg-user-dirs arm64 0.17-2ubuntu4 [53.5 kB]
Get:5 http://ports.ubuntu.com/ubuntu-ports jammy-updates/main arm64 libdrm-common all 2.4.113-2~ubuntu0.22.04.1 [5450 B]

...

可以看到，預執行腳本正確執行並安裝了所需的依賴包。

3. 替換鏡像內的 Python 包

某些情況下，用户在腳本中所需要的包與已經在 Func 鏡像中包含的包版本不兼容。

此時，也可以使用「預執行腳本」實現包的替換，如：

安裝最新版 simplejson 包
pip install -u simplejson

由於「預執行腳本」在 Func 啓動前執行，PIP 安裝的包不僅影響用户腳本，也會影響整個 DataFlux Func。

因此，在使用時，請確認這些操作不會影響 DataFlux Func 本身的運行。