🧮 실제 값으로 계산해 보기 — 16 Gbps로 8시간 관측한 망원경 한 대의 데이터

상황: KVN 망원경 한 대가 1초에 16 Gbit(160억 비트)씩 기록하며 하룻밤 8시간 관측했습니다. 이 데이터를 상관센터로 보내려면 얼마나 걸릴까요?

1. 관측 시간을 초로: \(8 \times 3{,}600\ \text{s} = 28{,}800\ \text{s}\) → 8시간은 2만 8,800초라는 뜻입니다.
2. 쌓인 데이터 양(비트를 8로 나누어 바이트로)
   \[\frac{16\times10^{9}\ \text{bit/s} \times 8 \times 3600\ \text{s}}{8} = 5.76\times10^{13}\ \text{byte} = 57.6\ \text{TB}\]
   → 1 TB 외장 하드 58개쯤을 하룻밤에 채운다는 뜻입니다.
3. 보내는 시간 = 데이터 양(비트) ÷ 회선 속도. 57.6 TB는 \(57.6\times10^{12} \times 8 = 4.608\times10^{14}\)비트이므로 1 Gbps 회선이면 \(4.608\times10^{14} \div 10^{9} = 460{,}800\ \text{s}\), 약 128시간

   회선 속도 (실제로 다 쓴다고 할 때)	57.6 TB를 보내는 시간	비교
   1 Gbps	약 128시간 (5.3일)	관측보다 16배 오래 걸림
   10 Gbps	약 12.8시간	관측 시간의 1.6배
   100 Gbps	약 1.3시간	관측보다 빠름 — 실시간 전송도 가능

   → 회선이 기록 속도(16 Gbps)보다 느리면 관측보다 전송이 더 오래 걸린다는 뜻입니다.

📐 수학 도움말: G(기가)는 \(10^9\) = 10억, T(테라)는 \(10^{12}\) = 1조입니다. \(5.76\times10^{13}\)은 5.76에 10을 13번 곱한 57조 6천억입니다. 1바이트 = 8비트라서 비트를 바이트로 바꿀 때는 8로 나누고, 거꾸로는 8을 곱합니다.
📘 기초 수학 참고: 큰 수·작은 수와 단위 · 2진수와 비트

• 망원경이 여러 대면 이 양이 대수만큼 늘고, 모두 한 상관센터로 모입니다. 받는 쪽 회선과 저장 장치는 보내는 쪽보다 몇 배 더 빨라야 합니다.
• 표의 시간은 회선을 100 % 쓴다고 가정한 '가장 좋은 경우'입니다. 아래 ③에서 보듯 먼 거리에서는 보통의 방법으로는 회선 속도의 몇 %밖에 못 쓰기도 합니다.

👉 정리: 데이터 양은 '기록 속도 × 관측 시간 ÷ 8'이고, 전송 시간은 이 양을 회선 속도로 나눈 값입니다. 회선이 기록 속도보다 빨라야 관측을 따라잡을 수 있습니다.

🧮 실제 값으로 계산해 보기 — RTT 150 ms인 10 Gbps 국제 회선

상황: KVN 관측 데이터를 10 Gbps 국제 회선으로 미국의 상관센터에 보낸다고 해 봅시다. 데이터가 갔다가 확인 응답이 돌아오는 데(RTT) 0.15초가 걸립니다.

1. 보통 설정의 64 KB 창이라면 \(\dfrac{65\,535 \times 8\ \text{bit}}{0.15\ \text{s}} \approx 3.5\ \text{Mbps}\) → 0.15초마다 64 KB만 보내고 확인을 기다리느라, 10 Gbps 회선을 거의 놀린다는 뜻입니다.
2. 10 Gbps를 다 쓰는 데 필요한 창: \(10^{10} \times 0.15 \div 8 \approx 188\ \text{MB}\) → 확인이 돌아오기 전까지 188 MB가 '길 위에 떠 있어야' 회선이 꽉 찬다는 뜻입니다.
3. 창을 충분히 키워도, 10만 개 중 1개(\(p = 10^{-5}\))가 사라지면
   \[\frac{1460 \times 8}{0.15} \times \frac{1.22}{\sqrt{10^{-5}}} \approx 77{,}900 \times 386 \approx 30\ \text{Mbps}\]
   → 아주 드문 손실에도 TCP가 속도를 절반으로 줄였다가 천천히 올리느라, 한 줄기가 30 Mbps 남짓밖에 못 낸다는 뜻입니다.
4. 점보 프레임(MSS 8960 바이트)이면 약 6배인 \(\approx 184\ \text{Mbps}\) → 패킷 하나에 더 많이 담으면 같은 손실에서도 빨리 회복한다는 뜻입니다.

📐 수학 도움말: ms(밀리초)는 1,000분의 1초라서 150 ms = 0.15초입니다. 64 KB 창은 실제로 최대 65,535바이트(2¹⁶ − 1)이고, 1바이트 = 8비트입니다. \(10^{-5}\)은 10만분의 1(0.00001)이고, \(\sqrt{10^{-5}} \approx 0.00316\)이므로 \(1.22 \div 0.00316 \approx 386\)입니다.
📘 기초 수학 참고: 큰 수·작은 수와 단위 · 2진수와 비트

• 10 Gbps 회선인데 보통의 TCP 하나로는 3.5 Mbps ~ 수백 Mbps밖에 못 냅니다. 회선의 0.04 % ~ 2 %입니다.
• 같은 조건에서 국내(RTT 5 ms)라면 30배 빠릅니다.

👉 정리: 먼 거리에서 전송이 느린 원인은 회선 속도가 아니라 거리 × 손실입니다. 그래서 아래 ④의 기술로 이를 극복합니다.

🧮 실제 값으로 계산해 보기 — 통째로 보내면 왜 끝나지 않을까?

상황: 1 TB 관측 파일을 100조각(조각 하나 10 GB)으로 나누어 보내는데, 조각 하나가 틀려 도착할 확률이 3 %라고 해 봅시다.

1. 조각 하나가 맞게 도착할 확률: \(1 - 0.03 = 0.97\) → 조각 100개 중 97개꼴로 제대로 도착한다는 뜻입니다.
2. 100조각이 모두 맞게 도착할 확률: \((1 - 0.03)^{100} = 0.97^{100} \approx 0.048 = 4.8\ \%\) → 파일을 통째로 100번 보내면 5번 정도만 한 군데도 안 틀리고 도착한다는 뜻입니다.
3. 통째로 보내면 평균 \(1 \div 0.048 \approx 21\)번 → 처음부터 다시 보내기를 21번쯤 해야 성공하니, 1 TB를 21번 보내는 셈이라는 뜻입니다.
4. 조각으로 보내면 \(100 \times 0.03 = 3\)개 정도만 다시 보냄 → 전체의 약 3 %만 더 보내면 끝난다는 뜻입니다.
5. 받은 뒤 체크섬 확인: 초당 500 MB를 읽으면 \(1{,}000{,}000\ \text{MB} \div 500\ \text{MB/s} = 2{,}000\ \text{s}\), 약 33분 → 확인에도 시간이 들어서, 보통 조각을 받는 동시에 계산해 둔다는 뜻입니다.
6. 받는 쪽 저장 장치: 하드디스크 하나는 초당 약 200 MB(1.6 Gbps)를 쓰므로 \(10 \div 1.6 \approx 6.3\), 즉 7개 이상 → 10 Gbps를 받으려면 디스크 7개 이상을 묶어 동시에 써야 한다는 뜻입니다. 디스크 8개를 묶는 Mark6 모듈도 같은 이유입니다.

📐 수학 도움말: 여러 번 연속으로 성공할 확률은 한 번 성공할 확률을 그 횟수만큼 곱합니다. 동전 앞면이 2번 연속 나올 확률은 \(0.5 \times 0.5 = 0.25\)이고, 97 % 성공을 100번 연속 해내려면 0.97을 100번 곱해 \(0.97^{100}\)이 됩니다. 1 TB는 100만 MB이고, 1바이트 = 8비트라서 200 MB/s는 1.6 Gbps입니다.
📘 기초 수학 참고: 분수·비율·비례 · 2진수와 비트 · 확률과 통계

👉 정리: 큰 파일은 하나라도 틀릴 확률이 매우 높아서, 조각으로 나누어 틀린 조각만 다시 받는 방법이 훨씬 빠르고 확실합니다.

🧮 실제 값으로 계산해 보기 — 1초에 몇 개의 패킷이 날아갈까?

상황: KVN 망원경이 8 Gbps 데이터를 실시간 e-VLBI로 상관기에 흘려보낸다고 해 봅시다. 프레임 하나에는 데이터 8,000 바이트를 담습니다.

1. 프레임 하나의 비트 수: \(8{,}000\ \text{byte} \times 8\ \text{bit/byte} = 64{,}000\ \text{bit}\) → 봉투 하나에 0과 1을 6만 4천 개 담는다는 뜻입니다.
2. 1초에 보내는 프레임 수
   \[\frac{8\times10^{9}\ \text{bit/s}}{8000\ \text{byte} \times 8\ \text{bit/byte}} = 125\,000\ \text{개/초}\]
   → 1초에 봉투 12만 5천 개가 쉬지 않고 날아간다는 뜻입니다.
3. 패킷이 1,500 바이트로 제한되면 약 5배로 늘어남 → 장비가 1초에 처리할 봉투가 수십만 개로 늘어나 부담이 커진다는 뜻입니다. 그래서 e-VLBI 회선은 점보 프레임을 씁니다.
4. 0.1 %(1천 개 중 1개)의 프레임을 잃으면 데이터의 99.9 %가 남고, 감도는 \(\sqrt{0.999} \approx 0.9995\)배 → 신호 대 잡음비는 남은 데이터 양의 제곱근에 비례하므로, 감도가 약 0.05 %만 줄어든다는 뜻입니다.

📐 수학 도움말: G(기가)는 \(10^9\) = 10억이라서 8 Gbps는 1초에 80억 비트입니다. 1바이트 = 8비트입니다. \(\sqrt{\ }\)(제곱근)는 "두 번 곱해서 그 수가 되는 값"으로, 1보다 조금 작은 수의 제곱근은 1에 더 가까워집니다(\(\sqrt{0.999} \approx 0.9995\)).
📘 기초 수학 참고: 큰 수·작은 수와 단위 · 2진수와 비트

👉 정리: 실시간 e-VLBI는 1초에 십만 개가 넘는 패킷을 보내지만, 몇 개를 잃어도 결과는 거의 같아서 놓친 프레임을 다시 요청하지 않습니다.

리눅스(Debian·Ubuntu 계열) 서버를 예로 든 설치 순서입니다. 명령과 옵션은 jive5ab·e-transfer 공식 저장소의 README와 문서를 바탕으로 정리했으며, 버전·경로·사용자 이름·IP 주소는 예시입니다. Mark5처럼 StreamStor 카드가 있는 장비는 빌드 옵션이 다르므로 공식 문서를 따르세요.

예제 0-1 — jive5ab 빌드와 설치 (보내는 서버·받는 서버 모두)

# 빌드 도구와 m5copy가 쓰는 파이썬 모듈 설치
$ sudo apt install git cmake g++ make python3 python3-six netcat-openbsd

# 소스 받기 → 별도 폴더에서 cmake로 설정 → 빌드
# StreamStor 카드가 없는 일반 서버·FlexBuff·Mark6는 -DSSAPI_ROOT=nossapi 가 꼭 필요
$ git clone https://github.com/jive-vlbi/jive5ab.git
$ mkdir jive5ab-build && cd jive5ab-build
$ cmake -DSSAPI_ROOT=nossapi -DCMAKE_INSTALL_PREFIX=/opt/jive5ab ../jive5ab
$ make -j 8
$ sudo make install
# → /opt/jive5ab/bin/jive5ab-<버전>-64bit-Release 와 m5copy 등의 스크립트가 설치됨

# 버전이 붙은 이름 대신 쓰기 쉽도록 고정 이름 링크 만들기
$ sudo ln -sf /opt/jive5ab/bin/jive5ab-*-64bit-Release /opt/jive5ab/bin/jive5ab

# 시험 실행: 제어 포트 2620(기본, -p로 변경)에서 명령을 기다림. -m은 화면 메시지 수준(0~3)
$ /opt/jive5ab/bin/jive5ab -m 3

예제 0-2 — 부팅 때 자동으로 뜨는 agent로 등록 (systemd)

# /etc/systemd/system/jive5ab.service  (예시 — 데이터 폴더에 쓸 수 있는 전용 사용자 vlbi로 실행)
[Unit]
Description=jive5ab VLBI data transfer agent
After=network-online.target
Wants=network-online.target

[Service]
User=vlbi
WorkingDirectory=/data
ExecStart=/opt/jive5ab/bin/jive5ab -m 1 -p 2620
Restart=on-failure

[Install]
WantedBy=multi-user.target

# 등록하고 바로 시작, 상태 확인
$ sudo systemctl daemon-reload
$ sudo systemctl enable --now jive5ab
$ systemctl status jive5ab

예제 0-3 — 방화벽: 필요한 상대에게만 포트 열기 (ufw 예시)

# 제어 포트는 m5copy를 실행하는 제어용 컴퓨터에서만
$ sudo ufw allow from 10.0.0.5 to any port 2620 proto tcp
# 데이터 포트는 데이터를 주고받는 상대 서버에서만 (TCP, 그리고 -udt를 쓰면 UDP도)
$ sudo ufw allow from 192.168.100.10 to any port 2630 proto tcp
$ sudo ufw allow from 192.168.100.10 to any port 2630 proto udp

예제 0-4 — (선택) 받는 쪽에 e-transfer 데몬(etd) 설치

# C++11 컴파일러가 필요. 빌드 결과 etd(데몬)와 etc(클라이언트)가 <arch>-native-opt 폴더에 생김
$ git clone https://github.com/jive-vlbi/etransfer.git
$ cd etransfer && make -j 8

# 명령 채널(TCP 4004)과 데이터 채널(UDT 8008)을 지정해 실행 — 포트는 기본값이지만 규약은 꼭 적어야 함
$ ./Linux-x86_64-native-opt/etd --command tcp://:4004 --data udt://:8008

# 보내는 쪽 jive5ab이 etd:// 로 보내려면, e-transfer 소스 위치를 알려 주고 다시 빌드
$ cmake -DSSAPI_ROOT=nossapi -DETRANSFER_ROOT=/path/to/etransfer ../jive5ab && make && sudo make install

• m5copy의 첫 줄은 python으로 되어 있습니다. python 명령이 없는 최신 리눅스에서는 python3 /opt/jive5ab/bin/m5copy …처럼 실행하거나 python-is-python3 패키지를 설치합니다.
• jive5ab의 제어 포트에는 비밀번호 같은 인증이 없어, 접속만 되면 누구나 전송·덮어쓰기 명령을 내릴 수 있습니다. 그래서 예제 0-3처럼 허락된 주소에서만 열어 두고, 인터넷 전체에 공개하지 않습니다(통신 보안 편 참고). etd는 v2.0부터 --acl 옵션으로 읽기·쓰기 경로를 제한할 수 있습니다.
• Mark6·FlexBuff 디스크를 다루려면 jive5ab을 실행하는 사용자가 디스크 마운트 위치에 읽고 쓸 수 있어야 합니다. Mark6 형식을 기본으로 쓰려면 -6 또는 -f mk6 옵션을 더합니다.

아래 호스트 이름(stn-kys.example.org: 관측소 서버, corr-store.example.org: 상관센터 저장소)과 IP 주소, 경로, 파일 이름은 설명용 예시입니다. 실제 값은 각 기관의 장비 구성과 관측 코드에 맞게 바꿔야 합니다. 명령은 jive5ab 저장소에 들어 있는 m5copy의 사용법 설명을 바탕으로 정리했습니다.

예제 1 — 전송 전에 양쪽 agent가 살아 있는지 확인하기

# 각 서버에서: 예제 0-2로 등록한 agent가 실행 중인지
$ systemctl is-active jive5ab
active

# 제어용 컴퓨터에서: 양쪽 jive5ab이 제어 포트 2620으로 대답하는지
$ echo "version?;" | nc stn-kys.example.org 2620
!version? 0 : jive5ab : ... ;      # ← 버전 정보가 돌아오면 준비 완료
$ echo "version?;" | nc corr-store.example.org 2620
!version? 0 : jive5ab : ... ;
# 대답이 없으면: agent가 꺼져 있거나, 방화벽(예제 0-3)이 제어용 컴퓨터를 막고 있는 것

예제 2 — 관측 파일을 상관센터로 보내기 (기본 TCP)

# 관측소 서버에서 실행: 로컬 파일 여러 개 → 상관센터의 디렉터리(끝의 / 필수)
# 와일드카드(*)는 m5copy를 실행하는 그 컴퓨터의 파일에만 쓸 수 있음
$ m5copy file:///data/kv26a/kv26a_kys_no00*.vdif \
         file://corr-store.example.org/data/kv26a/

예제 3 — 먼 거리 고속 전송: UDT + 점보 프레임 + 속도 제한

# UDT로 보내되 회선의 몫을 초당 2기가비트로 제한하고, 9000 바이트 패킷 사용
# (회선의 모든 구간이 점보 프레임을 지원해야 -m 9000이 효과가 있음)
$ m5copy -udt -r 2G -m 9000 \
         file:///data/kv26a/kv26a_kys_no00*.vdif \
         file://corr-store.example.org/data/kv26a/

예제 4 — 끊긴 전송 이어받기와 체크섬 확인

# 똑같은 명령에 --resume만 붙여 다시 실행: 덜 받은 파일의 뒷부분만 이어서 보냄
$ m5copy -udt -r 2G -m 9000 \
         file:///data/kv26a/kv26a_kys_no00*.vdif \
         file://corr-store.example.org/data/kv26a/ --resume

# --resume은 이어 붙이기만 하고 내용 일치(MD5)는 확인하지 않으므로, 양쪽에서 지문을 비교
stn-kys$     cd /data/kv26a && sha256sum kv26a_kys_no00*.vdif > kys.sha256
corr-store$  cd /data/kv26a && sha256sum -c kys.sha256    # kys.sha256 파일을 옮겨 와서 확인
kv26a_kys_no0001.vdif: OK
kv26a_kys_no0002.vdif: OK                                   # 하나라도 FAILED면 그 파일만 다시

예제 5 — 제어망과 데이터망을 나누어 보내기

# 받는 쪽 주소를 '제어 IP::데이터 IP' 형식으로 적으면,
# 명령은 일반 제어망(10.0.0.20)으로, 데이터는 고속 연구망(192.168.100.20)으로 흐름
$ m5copy file:///data/kv26a/kv26a_kys_no00*.vdif \
         file://10.0.0.20::192.168.100.20/data/kv26a/

예제 6 — 기록 장치에서 바로 보내기 (Mark6, FlexBuff, e-transfer)

# Mark6의 1번 슬롯 모듈에 기록된 관측을 상관센터 디렉터리로 (jive5ab 2.6.1 이상)
$ m5copy mk6://stn-kys.example.org/1/kv26a_kys_no0001 \
         file://corr-store.example.org/data/kv26a/

# FlexBuff → FlexBuff: 8개 조각을 병렬로 보내는 동기화(rsync와 비슷)
$ m5copy -n 8 vbs://stn-kys.example.org/kv26a_kys_no0001 \
              vbs://corr-store.example.org/

# 받는 쪽에 e-transfer 서버(etd)가 떠 있으면: 규약·포트는 둘이 알아서 정하고,
# --resume으로 덜 받은 부분만 마저 채움
$ m5copy mk6://stn-kys.example.org/1/kv26a_kys_no0001 \
         etd://corr-store.example.org/data/kv26a/ --resume

🔗 네트워크 단원과 함께 보기

이 장의 내용은 대메뉴 「네트워크」의 각 단원과 이어집니다. 각 단원 끝에도 대용량 관측 데이터 전송과 연결된 내용을 보태 두었습니다.