Skip to content

Sidecar

Sidecar는 DataFlux Func의 부속 구성 요소입니다.

일반적으로 DataFlux Func는 컨테이너 내에서 실행되므로 호스트 머신에서 직접 Shell 명령을 실행할 수 없습니다. Sidecar는 호스트 머신에서 실행되는 프로그램으로, DataFlux Func의 프록시 역할을 하여 호스트 머신에서 직접 Shell 명령을 실행합니다.

다운로드 명령

Bash
1
bash -c "$(curl -fsSL docs.dataflux-func.com/sidecar-download)"

0. 읽기 전 안내

이 기능에는 root 권한이 필요합니다

이 문서에서 다루는 모든 shell 명령은 root 사용자에서는 직접 실행할 수 있으며, root 사용자가 아닌 경우 sudo를 추가하여 실행해야 합니다.

1. 시스템 및 환경 요구 사항

DataFlux Func를 실행할 수 있는 호스트는 일반적으로 Sidecar도 실행할 수 있습니다.

1.1 DataFlux Func 버전 요구 사항

Sidecar는 DataFlux Func 1.3.5 이상 버전과 함께 사용해야 합니다

2. 빠른 설치

일반적으로 Sidecar는 DataFlux Func와 같은 호스트에 설치됩니다. 다음 작업은 DataFlux Func가 이미 설치된 호스트에서 수행한다고 가정합니다.

Sidecar와 DataFlux Func가 다른 호스트에서 실행되는 경우 해당 구성을 수정해야 합니다

2.1 오프라인 설치

Sidecar를 설치하기 전에 필요한 리소스를 다운로드해야 합니다.

공용 네트워크가 없는 환경의 호스트는 USB 메모리 등의 이동식 장치를 사용하여 호스트로 복사할 수 있습니다.

다운로드한 리소스 파일에는 자동 설치 스크립트가 포함되어 있으며, 실행하면 설치가 진행됩니다(자세한 내용은 아래 참조).

2.1.1 원클릭 명령으로 리소스 파일 다운로드

Linux, macOS 등의 시스템에서는 공식 제공 shell 명령을 사용하여 설치 패키지를 다운로드하는 것을 권장합니다.

다음 명령을 실행하면 Sidecar에 필요한 파일이 자동으로 다운로드되며, 다운로드 스크립트가 현재 환경에 따라 x86_64 또는 aarch64 아키텍처 버전을 자동으로 선택합니다:

Bash
1
bash -c "$(curl -fsSL docs.dataflux-func.com/sidecar-download)"

지정된 아키텍처 버전을 다운로드해야 하는 경우 다음 명령을 사용하여 다운로드할 수 있습니다:

  • Intel x86_64 프로세서
Bash
1
bash -c "$(curl -fsSL docs.dataflux-func.com/sidecar-download)" -- --arch=x86_64
  • ARM aarch64 프로세서(즉 ARM64v8, 예: Raspberry Pi 등)
Bash
1
bash -c "$(curl -fsSL docs.dataflux-func.com/sidecar-download)" -- --arch=aarch64

명령 실행이 완료되면 필요한 모든 파일이 현재 디렉터리에 새로 생성된 dataflux-func-sidecar 디렉터리에 저장됩니다.

  • Sidecar를 인터넷에 연결되지 않은 서버에 설치해야 하는 경우, 먼저 로컬에서 다운로드한 후 전체 디렉터리를 USB 메모리 등의 이동식 저장 장치나 scp 도구 등으로 대상 머신에 복사하면 됩니다
  • Sidecar를 인터넷에 접근할 수 있는 서버에 설치해야 하는 경우 서버에서 직접 다운로드하면 됩니다

2.1.2 리소스 파일 수동 다운로드

shell 명령을 사용하기 어려운 시스템에서는 필요한 리소스 파일을 수동으로 다운로드할 수 있습니다.

수동으로 다운로드해야 하는 경우 전체 파일 목록은 다음과 같습니다:

# 내용 파일 이름 x86_64 아키텍처 aarch64 아키텍처
1 Sidecar 바이너리 프로그램 dataflux-func-sidecar.tar.gz 다운로드 다운로드
2 Sidecar 서비스 구성 파일 dataflux-func-sidecar.service 다운로드 다운로드
3 Sidecar 설치 스크립트 run-sidecar.sh 다운로드 다운로드
4 버전 정보 version 다운로드 다운로드

모든 파일을 수동으로 다운로드한 후 새로 생성된 dataflux-func-sidecar 디렉터리에 넣으면 됩니다.

업데이트가 있는 경우 모든 파일을 다시 다운로드해야 합니다. 어떤 파일이 변경되었는지, 변경되지 않았는지 스스로 추측하지 마십시오

수동으로 다운로드할 때 브라우저 등으로 다운로드하는 경우 캐시된 이전 내용을 다운로드하지 않도록 주의하십시오!!

2.1.3 포함된 스크립트를 사용하여 설치 실행

이미 다운로드한 dataflux-func-sidecar 디렉터리에서, 다음 명령을 실행하면 자동으로 구성되고 최종적으로 전체 Sidecar가 시작됩니다:

Sidecar는 Mac을 지원하지 않습니다. Linux 시스템에 복사한 후 설치를 실행하십시오

Bash
1
sudo bash run-sidecar.sh

자동 설치 스크립트를 사용하면 몇 초 안에 빠르게 설치하고 실행할 수 있습니다. 자동 구성 내용은 다음과 같습니다:

  • /usr/local/bin/dataflux-func-sidecar 실행 파일 생성
  • /etc/dataflux-func-sidecar 구성 파일 생성
  • Sidecar 프로그램 실행용 dffs 사용자 생성
  • /etc/systemd/system/dataflux-func-sidecar Systemd 구성 파일을 생성하고 부팅 시 시작되도록 설정

설치가 완료되면 다음과 같은 설치 정보가 표시됩니다:

Text Only
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
Bind:
    127.0.0.1:8099,172.17.0.1:8099
Secret Key:
    xxxxxxxxxxxxxxxx
To shutdown:
    sudo systemctl start dataflux-func-sidecar
To start:
    sudo systemctl stop dataflux-func-sidecar

Now open 127.0.0.1:8099,172.17.0.1:8099 and have fun!

출력 내용의 의미는 다음과 같습니다:

항목 설명 대응 구성 파일 항목
Bind 수신 주소. 여러 개 지원, 영문 쉼표로 구분 BIND
Secret Key 비밀 키. 요청 검증에 사용 SECRET_KEY

기본 설치의 경우 Bind에는 2개의 주소가 있습니다:

  • 127.0.0.1:8099: 로컬 네트워크
  • 172.17.0.1:8099: docker0, DataFlux Func와 통신하는 데 사용

2.2. 설치 확인

Sidecar 기본 설치가 완료된 후 다음 명령으로 설치를 확인할 수 있습니다:

Bash
1
curl http://127.0.0.1:8099

다음과 같은 정보가 반환되면 Sidecar가 정상적으로 실행 중임을 의미합니다:

Text Only
1
2
3
Welcome to DataFlux Func Sidecar
* Version: 0.0.1
* Release Date: 2021-10-17 00:00:00

2.3. 설치 옵션

자동 설치 스크립트는 다양한 설치 요구 사항에 맞게 여러 설치 옵션을 지원합니다.

설치 시 자동 설치 명령 뒤에 --{매개변수}[ 매개변수 구성(있는 경우)]를 추가하기만 하면 설치 옵션을 지정할 수 있습니다.

예를 들어, 수신 주소를 지정하려면:

Bash
1
sudo bash run-sidecar.sh --bind 0.0.0.0.8099

2.3.1 사용 가능한 설치 옵션

구체적인 매개변수에 대한 자세한 내용은 아래를 참조하십시오.

--bind: 수신 주소 지정

Sidecar는 기본적으로 127.0.0.1:8099,172.17.0.1:8099를 수신합니다. 포트가 사용 중인 경우 다른 수신 주소를 선택할 수 있습니다.

--secret-key: 비밀 키 지정

DataFlux Func Sidecar는 기본 설치 시 임의의 비밀 키를 자동으로 생성합니다. 이 매개변수를 사용하여 비밀 키를 수동으로 지정할 수 있습니다.

3. DataFlux Func에서 Sidecar 호출

DataFlux Func에는 Sidecar를 조작하는 데 사용할 수 있는 DataFlux Func Sidecar 커넥터가 제공됩니다.

3.1. Sidecar 커넥터 생성

「커넥터 / 커넥터 추가 / DataFlux Func Sidecar(HTTP)」로 이동한 후 Secret Key를 올바르게 입력하여 생성하면 됩니다.

Sidecar 설치 시 다른 수신 주소를 지정한 경우(Bind 매개변수 수정) 커넥터 생성 시에도 그에 맞게 수정해야 합니다.

add-datasource.png

3.2. 코드 작성

다음은 예제 코드입니다:

Python
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
import json

@DFF.API('Test Sidecar')
def test_sidecar():
    sidecar = DFF.CONN('sidecar')
    res = sidecar.shell('hostname', wait=True, callback_url='http://172.17.0.1:8088/api/v1/sync/sidecar-callback')
    # res 내용은 다음과 같습니다:
    # (200, {'data': {'stderr': '', 'stdout': 'my_host\n'}, 'message': '', 'ok': True})
    return res

@DFF.API('Test Sidecar callback')
def test_sidecar_callback(**kwargs):
    # kwargs 내용은 다음과 같습니다:
    # {'stdout': 'my_host\n', 'stderr': ''}
    print(kwargs['stdout'])
    print(kwargs['stderr'])

3.3. 함수 구성

위 코드 예제에서:

「Test Sidecar」는 주요 실행 함수이며, 「함수 API」 또는 「예약 작업」으로 실행하도록 구성할 수 있습니다.

「Test Sidecar callback」은 실행 후 콜백을 수신하는 함수이며, 「함수 API」로 구성해야 합니다.

예제 코드에서 callback_url 매개변수의 함수 API 주소 ID 부분은 sidecar-callback입니다. 콜백 함수에 대해 함수 API를 구성할 때도 동일한 ID를 지정하여 URL 주소가 일치하도록 해야 합니다.

Sidecar와 DataFlux Func가 같은 호스트에 설치된 경우, 양쪽은 docker0을 통해 서로 접근할 수 있습니다. 즉 IP 주소는 172.17.0.1입니다.

Sidecar 커넥터 조작 객체에 대한 자세한 내용은 아래를 참조하십시오.

4. Sidecar 커넥터 조작 객체 API

Sidecar 커넥터 조작 객체를 사용하면 사용자가 Sidecar를 호출하여 Shell 명령을 실행할 수 있습니다.

DFF.CONN(...) 매개변수는 다음과 같습니다:

매개변수 유형 필수 / 기본값 설명
data_source_id str 필수 커넥터 ID

SidecarHelper.shell(...)

실행 시 Sidecar를 호출하여 Shell 명령을 실행하며, 매개변수는 다음과 같습니다:

매개변수 유형 필수 / 기본값 설명
cmd str 필수 실행할 Shell 명령
예: "ls -l"
wait bool True 실행 완료 대기 여부
False로 설정하면 이 함수는 즉시 반환되며 터미널 출력을 반환하지 않습니다
workdir str None Shell 명령이 실행되는 작업 디렉터리
예: "/home/dev"
envs dict None 환경 변수, 키와 값이 모두 문자열
예: {"MY_NAME": "Tom"}
callback_url str None 콜백 주소, 명령 실행 후 stdout과 stderr를 POST 방식으로 지정된 URL로 전송
일반적으로 wait=False 매개변수와 함께 사용하여 비동기 콜백을 구현합니다.
timeout int 3 요청 시간 제한
참고: 이 매개변수는 Shell 명령의 시간 제한이 아니라 Func가 Sidecar에 요청하는 시간 제한입니다
즉, Func가 Sidecar에 요청할 때 시간 초과가 발생할 수 있지만 실행 중인 Shell 명령은 이로 인해 중지되지 않습니다.

실행 후 콜백

SidecarHelper.shell(...)을 호출하고 callback_url 매개변수를 지정하면, Sidecar는 Shell 명령 실행이 완료된 후 표준 출력 stdout과 표준 오류 stderr를 POST 방식으로 해당 주소로 전송합니다.

구체적인 구조는 다음과 같습니다:

Text Only
1
2
3
4
5
6
7
8
9
POST {callback_url}
Content-Type: application/json

{
  "kwargs": {
    "stdout": "<표준 출력 텍스트>",
    "stderr": "<표준 오류 텍스트>"
  }
}

이 구조는 DataFlux Func의 함수 API 표준 POST 방식과 일치하므로 함수 API를 사용하여 실행 후 콜백을 직접 수신할 수 있습니다

5. 일상 유지 관리

기본적으로 실행 프로그램 설치 위치는 /usr/local/bin/dataflux-func-sidecar입니다.

5.1 시스템 업그레이드

설치 과정을 반복 실행하면 됩니다. 자동 설치 스크립트가 실행 프로그램을 자동으로 교체하고 서비스를 재시작합니다.

동시에 이전 구성 파일의 내용은 유지됩니다.

5.2 서비스 시작/종료/재시작

Sidecar 서비스는 systemd로 관리되며, systemctl을 직접 사용하여 조작하면 됩니다.

Bash
1
2
3
sudo systemctl start dataflux-func-sidecar    # 시작
sudo systemctl stop dataflux-func-sidecar     # 중지
sudo systemctl restart dataflux-func-sidecar  # 재시작

5.3 구성 확인

구성 파일은 /etc/dataflux-func-sidecar에 있습니다.

6. 제거

다음 명령을 순서대로 실행합니다.

Bash
1
2
3
4
5
6
sudo systemctl disable --now dataflux-func-sidecar.service   # Sidecar 서비스를 중지하고 부팅 시 자동 시작을 해제합니다.
sudo rm -f /etc/systemd/system/dataflux-func-sidecar.service # Sidecar의 systemd 서비스 구성을 삭제합니다.
sudo systemctl daemon-reload                                 # systemd 구성을 다시 로드하여 서비스 삭제를 적용합니다.
sudo rm -f /usr/local/bin/dataflux-func-sidecar              # Sidecar 실행 파일을 삭제합니다.
sudo rm -f /etc/dataflux-func-sidecar                        # BIND 및 SECRET_KEY가 포함된 구성 파일을 삭제합니다.
sudo userdel dffs                                            # 설치 시 생성된 Sidecar 시스템 사용자를 삭제합니다.

6.1 확인

Bash
1
2
3
4
systemctl status dataflux-func-sidecar.service                      # 서비스가 삭제되었는지 확인합니다. 성공적으로 제거되면 해당 서비스를 찾을 수 없다는 메시지가 표시되어야 합니다.
test ! -e /usr/local/bin/dataflux-func-sidecar && echo "프로그램이 삭제되었습니다" # 실행 파일이 삭제되었는지 확인합니다.
test ! -e /etc/dataflux-func-sidecar && echo "구성이 삭제되었습니다"           # 구성 파일이 삭제되었는지 확인합니다.
getent passwd dffs || echo "사용자가 삭제되었습니다"                             # dffs 사용자가 더 이상 존재하지 않는지 확인합니다.

/etc/dataflux-func-sidecar에는 BIND 및 SECRET_KEY가 포함되어 있습니다. 구성을 유지하여 재설치하려면 제거 전에 이 파일을 백업하십시오.

dffs 사용자가 다른 프로그램에서도 사용 중이라면 sudo userdel dffs를 실행하지 마십시오.

7. 보안 안내

Sidecar의 사용 패턴은 본질적으로 해당 호스트에 임의의 실행 가능한 코드를 전송하는 것이므로 위험성이 있습니다.

따라서 Sidecar는 구현 및 배포 측면에서 다음과 같은 제한 조건이 있습니다.

  1. Sidecar 서비스는 dffs 사용자로 실행됩니다(즉, DataFlux Func Sidecar의 약어입니다).
  2. Sidecar는 Shell 명령을 정상적으로 호출하여 실행하려면 SecretKey가 구성되어 있어야 합니다.
  3. SidecarHelper.shell(...)는 내부적으로 HmacSha1 서명을 구현하여 변조 및 재생 공격을 방지합니다.

Sidecar 서비스가 dffs 사용자로 실행되므로 root 권한이 필요한 명령을 실행하거나 다른 사용자의 파일을 조작할 수 없습니다. 필요한 경우 dffs 사용자를 사용자 그룹에 추가하거나 파일 관련 권한을 수정할 수 있습니다.