Microsoft Fabric 노트북, 파이프라인 간 세션 공유 문제 주의
Microsoft Fabric에서 노트북을 여러 파이프라인에서 동시에 실행하면 같은 컴퓨팅 세션을 공유할 수 있다는 사실이 알려졌습니다. 이로 인해 데이터나 변수가 의도치 않게 섞일 수 있습니다. 실제로 문제를 겪기 전에 미리 알아두면 유용한 정보입니다.
Microsoft Fabric은 데이터 분석과 처리를 위한 클라우드 플랫폼입니다. 이 플랫폼에서 노트북(코드를 실행하는 작업 파일)을 여러 파이프라인(자동화된 작업 흐름)에서 동시에 돌리면, 각각 독립된 환경에서 실행된다고 생각하기 쉽습니다.
하지만 실제로는 High Concurrency(HC) 세션이라는 공유 컴퓨팅 자원을 여러 파이프라인이 함께 사용할 수 있습니다. 이 경우 한 파이프라인에서 설정한 변수나 상태가 다른 파이프라인 실행에 영향을 줄 수 있어, 예상치 못한 오류나 잘못된 결과가 나올 수 있습니다. 파이프라인을 독립적으로 운영해야 한다면 세션 격리 설정을 확인해야 합니다.
핵심 포인트
용어 한 줄 설명
- Microsoft Fabric
- 마이크로소프트가 만든 통합 데이터 플랫폼으로, 데이터 작업과 AI 연동을 한 곳에서 할 수 있습니다.
- 노트북
- 코드를 작성하고 바로 실행 결과를 확인할 수 있는 대화형 작업 파일입니다.
- 파이프라인
- 데이터를 가져오고 바꾸고 내보내는 여러 작업을 순서대로 묶은 흐름입니다.
- 클라우드 플랫폼
- 인터넷을 통해 컴퓨터 서버나 저장 공간을 빌려주는 서비스입니다.
- 클라우드
- 내 컴퓨터가 아니라 인터넷으로 연결된 외부 컴퓨터를 쓰는 방식입니다.
- 자동화
- 사람이 반복해서 하던 일을 도구가 대신 하게 만드는 것입니다.
- High Concurrency(HC) 세션
- 여러 작업이 동시에 같은 컴퓨팅 자원을 나눠 쓸 수 있도록 하는 실행 환경입니다.
- 컴퓨팅 자원
- AI를 돌리는 데 필요한 서버와 반도체 같은 처리 능력입니다.