ArcGIS API for JavaScript를 활용한 Voxel Layer 시각화 하기

ArcGIS 2.9가 새롭게 발표되면서 Voxel Layer를 ArcGIS Online과 Enterprise Portal 10.9.1을 활용하여 웹에서 공유할 수 있게 되었습니다. Voxel Layer는 대기질, 지하 지질 모델, 수온 등을 시각화하여 주변 공간 정보와 비교하기에 적합합니다.

Voxel 레이어를 웹에 발행하면 Voxel scene layer package(SLPKs) 가 생성되고 JavaScript 응용 프로그램용 커스텀 ArcGIS API를 활용하여 시각화된 3D 데이터를 공유할 수 있습니다. 아직까지는 베타 버전이기 때문에 웹에서는 시각화만 가능합니다.

기존에 ArcGIS Pro에서 드론으로 측정한 대기질 정보를 Voxel Layer로 나타낸 방법에 대해서는 아래의 한국지비에스 블로그 포스팅을 통해 확인할 수 있습니다.

이 글에서는 Voxel Layer를 웹에 발행하여 활용하는 방법을 자세히 알아보도록 하겠습니다.

ArcGIS Pro에서 생성한 미세먼지 측정 보간 Voxel Layer를 웹에서 공유하기 위해 AGOL에 발행하면 다음과 같은 API 가 생성됩니다.

AGOL에 발행된 Voxel Layer API

이 피처레이어를 ArcGIS API for JavaScript로 시각화하기 위해서 VoxelLayer 모듈을 스크립트에 로드(load)하고 url을 받아주는 변수를 생성합니다.

‘VoxelLayer’ 모듈 Script에 load

공간정보를 시각화 할 때는 좌표계(spatial reference)가 매우 중요한 요소로 Web Scene에 Voxel Layer를 발행할 때 이 샘플은 WKID 4326으로 발행되었습니다. 정확한 좌표계로 레이어를 발행한 후 property도 스크립트에 지정해주어야 Web Scene에 나타납니다.

Voxel Layer 변수를 WebScene의 layers에 추가
Voxel Layer는 Sceneview의 viewingMode property를 “local”로 지정해 주어야 한다.

지금까지 ArcGIS API for JavaScript를 통해 ArcGIS의 새로운 공간정보 표출 방식을 웹상으로 공유하고 시각화하여 효과적으로 공간 정보를 나타낼 수 있는 방법을 알아보았습니다.

아래 지도를 클릭하면 드론으로 측정된 대기질 정보를 ArcGIS Pro에서 보간법으로 분석한 상층부의 대기질을 3D로 확인할 수 있습니다. Esri에서는 지속적으로 Voxel Layer에서 상세 정보를 팝업을 통해 확인하는 등의 기능을 추가할 예정에 있습니다. 해당 기술을 통해 공간정보를 3D로 분석하여 해수면 상승, 지구 온난화 등에 효과적으로 대비할 수 있기를 기대합니다.

위 이미지를 클릭하면 해당 지도로 이동합니다.

 

새롭게 추가된 씬 레이어의 다양한 활용 방법 ( ArcGIS Pro 2.9)

What is a Scene Layer?

씬 레이어는 씬에서 대량의 3D 데이터를 표시하도록 최적화된 레이어 유형입니다. 씬 레이어는 ArcGIS Earth, ArcGIS Pro와 같은 ArcGIS 플렛폼에서 사용되고 포인트, 포인트 클라우드, 3D 객체, 건물 등을 시각화합니다. 씬 레이어는 인덱싱된 3D 씬 레이어 형식(I3S)을 사용하는데 이는 3D 데이터를 모바일, 웹 및 데스크탑 클라이언트로 배포되는데 사용되는 개방형 3D 컨텐츠 전송 포맷입니다.

Voxel Scene Layers

Voxel layer는 3D 볼륨 시각화 기법으로 다차원 공간 및 시간 정보를 나타냅니다. 예를 들어 대시 또는 해양 데이터, 지하 지질 모델 또는 시공간 큐브를 Voxel 레이어로 시각화 할 수 있습니다. 또한 전 세계에 대한 체적 데이터에 엑세스 할 수 있으면 정확도는 더욱 향상되고 물리적으로 경험할 수 없는 상태에 대한 이해가 향상됩니다. Voxel layer를 사용하면 voxel 층으로 시각화된 지하층을 이 지역에 계획된 건설이나 시추공과 함께 볼 수 있어 다른 컨텐츠와의 공간 관계를 쉽게 탐색하고 볼 수 있습니다.

Voxel Layers는 시장에 소개된 지는 좀 되었지만 ArcGIS Online과 ArcGIS Enterprise에는 도입되지 않았었습니다. 하지만 많은 사용자의 요청으로 이번 릴리즈에 Create Voxel Scene Layer Content 지오프로세싱 툴을 사용하여 Voxel Scene layer 패키지를 생성할 수 있게 되었습니다. 이 패키지는 ArcGIS Pro에서 시각화하거나 ArcGIS Enterprise 10.9.1 및 ArcGIS Online에 업로드 및 게시할 수 있습니다.

참고: ArcGIS Enterprise 10.9.1 및 ArcGIS Online의 Scene Viewer 현재 Voxel Layers 보기를 지원하지 않으므로 Voxel Scene Layer은 ArcGIS Pro 또는 Javascript 응용 프로그램용 커스텀 ArcGIS API에서만 볼 수 있습니다.

Short snippet visualizing an air quality voxel layer. The source data was captured by a drone. The information was provided by the Korea Institute of Science and Technology (KISTI).

위의 영상 클립은 드론이 다양한 높이에서 수집한 pm10(미세먼지)과 pm2.5(초미세먼지) 대기 질 수치를 시간별로 표현한 3D Layer입니다. 한국지비에스는 한국과학기술정보연구원(KISTI)에서 다양한 고도에서의 공기 질에 대한 드론 데이터를 제공받았고 이는 2020년 6월 인천에서 7일 동안 수집된 데이터입니다. 이 분석의 목적은 고도 기록과 대기 질 기록 사이의 관계를 찾는 것이고 voxel 레이어를 생성하기 위해 3D 보간법인 ESRI의 Empirtical Bayesian Kriging 3D 도구를 사용했습니다. 미세먼지 농도를 3D Voxel Layer로 표현하면 시간별 위치별 미세먼지 농도를 한눈에 볼 수 있습니다.

위의 영상은 Voxel Layer를 3D 볼륨 데이터로 시각화는데 사용되는 ArcGIS Pro의 슬라이스입니다. Voxel layer에 시간 요소가 포함된 경우 슬라이스를 만들고 추가 분석 및 시각화를 할 수 있습니다.

Clip Scene Layers

Scene Layer 패키지가 너무 커 특정 영역을 자르고 싶을 때는 이번에 새롭게 추가된 기능을 ArcGIS Pro 2.9 clip 지오프로세싱 툴에서 찾아볼 수 있습니다. 이전 릴리즈에서는 통합 메시 클리핑(integrated meshes) 지원이 추가되었고, 이번 릴리즈에서는 포인트 클라우드(point cloud)와 3D Scene layer 패키지 클리핑 지원이 추가되었습니다. Voxel, 포인트, 빌딩 씬 레이어는 아직까지는 클리핑이 지원되지 않지만, 현재 작업 중에 있습니다! 3D 씬 레이어가 클리핑 되면 건물을 반절로 자르지 않고 선택된 전체 건물이 출력됩니다.

ArcGIS Pro를 이용해 실제 3D 씬레이어 패키지를 clip툴을 이용해 잘라 보았습니다. 순서는 다음과 같습니다.

  1. 씬 레이어 패키지 생성
  2. 클립에 사용될 경계 생성
  3. Clip 툴을 이용해 clip

첫 번째로 씬 레이어 패키지를 생성합니다. 대한민국에서 가장 고층 건물들이 밀집되어있는 강남의 건물들을 3D로 표현했습니다. 먼저 강남의 건축물대장을 불러옵니다.

서울시 강남구 건축물대장 레이어

레이어를 3D로 표현해주기 위해 view를 local Scene으로 변경 후 Height 필드로 extrude 해줍니다.

서울시 강남구 3D 이미지

Extrude가 완료된 레이어를 Multipatch 지오메트리로 변경하기 위해 Layer 3D to Feature Class 지오프로세싱 툴을 실행한 후 씬 레이어 패키지로 변환하기 위해 Create 3D object Scene Layer content를 실행합니다. 서울시 강남구 3D 씬 레이어 패키지 생성이 완료되었습니다.

클립에 사용될 경계 폴리곤은 새로운 폴리곤을 생성 후 edit으로 원하는 지역의 경계를 그려 생성합니다.

씬 레이어 패키지와 경계 레이어

마지막으로 Clip 툴을 사용해 서울시 강남구 3D 빌딩 씬레이어 패키지를 생성된 경계 폴리곤으로 잘라줍니다. 빌딩 가운데 경계가 있다 해서 빌딩이 반절로 잘리지 않은 것을 확인할 수 있습니다.

클립이 완료된 서울시 강남구 씬레이어 패키지

Scene Layer Content

ArcGIS Pro 2.9에서는 더 많은 형식은 지원함에 따라 지오프로세싱 도구의 모든 레이블의 이름을 변경했습니다. Scene Layer 컨텐츠에는 i3REST뿐만 아니라 Scene Layer 패키지(.slpk)가 모두 포함됩니다. 뿐만 아니라 Create 3D object, Point, 및 Building 컨텐츠도구는 i3REST를 쓰거나 Scene Layer 패키지에 출력할 클라우드 연결을 선택할 수 있도록 지원하고 다음 릴리스의 ArcGIS Pro에는 i3REST에 대한 도구가 추가될 예정입니다.

.i3sREST 포맷은 JSON, REST, 그리고 modern web standards를 기반으로 합니다. .i3sREST 형식은 아마존 S3, Azure Blob 스토어, 알리바바 OSS, 구글 클라우드와 같은 클라우드 스토어에 저장될 때 웹 클라이언트가 처리, 구문 분석 및 렌더링을 수행하도록 최적화되어 있습니다. 또한 .i3sREST 형식은 데이터 저장소에서 직접 제공되므로 ArcGIS Enterprise에서 향상된 확장성을 제공합니다.

.i3sREST 형식은 200GB 이상의 Scene layer 컨텐츠에 가장 적합합니다. ArcGIS Pro에서 .i3sREST를 생성할 수 있고, Scene layer 컨텐츠를 클라우드 스토어에서 사용할 수 있게 되면 ArcGIS API for Python to ArcGIS Enterprise 10.8.1 이상을 사용하여 Scene layer로 게시할 수 있습니다.

1주일간의 시간 경과에 따른 대기질 변화

Create Mobile Scene Package tool enhancements

Create Mobile Scene 패키지 도구에 데이터 관리 및 생산성 도구의 개선 방안을 계속 추가해 ArcGIS Earth 및 ArcGIS Earth Mobile과 같은 런타임 클라이언트에서 mobile Scene 패키지를 쉽게 만들고 시각화할 수 있게 만들고 있습니다. 2.9 릴리스에서 Create mobile scene 패키지 도구는 이제 Scene layer 패키지를 클리핑 및 투영할 수 있고 벡터 타일 패키지 및 서비스는 모바일 씬 패키지에서 지원됩니다. 또한 ArcGIS Runtime 100.13 이상의 앱은 이러한 모바일 씬 패키지를 사용할 수 있습니다. 이 지원으로 Reference Online Content parameter을 활성화한 경우엔 추가적인 베이스 맵을 참조할 수 있습니다. 이러한 향상된 기능은 더 많은 하이브리드 오프라인/온라인 워크플로우를 지원할 뿐만 아니라 오프라인 워크플로우도 계속 지원합니다.

ArcGIS Pro의 Create Mobile Scene Package 툴

모바일 씬 패키지를 생성하면, .mspk확장자의 파일이 만들어지고 패키지를 생성할 때 많은 파라미터로 다양한 설정을 할 수 있습니다. 앞서 진행했던 씬패키지 클리핑 예처럼 Area of Interest에 경계 폴리곤을 넣어 클리핑해 원하는 지역만 잘라서 모바일 씬 패키지로 만들 수 있습니다.

다양한 ArcGIS 플랫폼과 Runtime SDK에서 사용할 수 있는 모바일 패키지를 잘 활용한다면 씬 레이어의 활용성을 극대화 할 수 있습니다.

 

드론으로 측정한 3D 대기질 정보를 Voxel 레이어로 보간 및 시각화

Voxel 레이어(3D 볼륨 레이어)는 다차원 공간 및 시간 정보를 3D로 표현하기 위한 환상적인 방법을 제공합니다. Voxel 레이어 기능을 사용하면 데이터 3D로 시각화하고 데이터 필터링 및 시계열 정보를 확인할 수 있습니다. 이 기술은 기후 데이터, 지하 정보, 그리고 사업을 시작하기 가장 적합한 장소를 결정하기 위한 공간 분석과 시간 기반 분석을 시각화하는데 유용합니다.

다음의 예시는 드론이 수집한 다양한 높이에서 pm10(미세먼지)과 pm2.5(초미세먼지) 대기질 수치를 시각화하는 것입니다. 한국지비에스는 한국과학기술정보연구원(KISTI)으로부터 다양한 고도에서의 공기 질에 대한 항공 드론 데이터를 제공받았습니다. 샘플 데이터는 2020년 6월 인천에서 7일 동안 수집되었습니다. 목적은 고도 기록과 대기질 기록 사이의 관계를 찾는 것으로 이 분석과정에서는 표면 및 voxel 시각화 도구를 생성하기 위한 값을 예측하는 데 도움이 되는 3D 보간 방법인 ESRI의 Empirical Bayesian Kriging 3D 도구를 사용했습니다.


아래 Figure 1은 대기질 센서를 갖추고 있는 드론이 하루 동안 자료를 수집한 지점들을 보여줍니다. 고도에 따라 초미세먼지
(pm2.5) 수치를 수집하고 파란색(낮은 값)과 빨간색(높은 값)으로 비교하도록 시각화되었습니다. Figure 2는 pm2.5 값과 고도 사이의 관계를 보여줍니다.

Figure 1: 드론이 캡처한 X, Y, Z 포인트를 보여주는 이미지입니다.
Figure 2: pm2.5와 고도 사이의 관계를 보여주는 산점도입니다.

위의 비디오는 1주일간의 시간 경과에 따른 대기질 변화를 3D로 보여줍니다. 점 데이터로부터 보간된 표면을 만들어 연구 영역의 서로 다른 높이에서 예측 pm2.5 수준을 표시할 수 있습니다. 아래 Figure 3은 높이에 따른 보간된 pm2.5 값을 보여줍니다. 고도가 높아짐에 따라 pm2.5 농도가 증가하는 것으로 보이고 있습니다.

다음으로 Voxel 레이어(netCDF 파일)를 생성하여 데이터를 완전한 3D 볼륨으로 시각화할 수 있습니다. NetCDF/Voxel 레이어는 래스터, 피쳐 레이어 또는 테이블에서 생성될 수 있으며 다차원 공간 데이터 또는 시간 데이터를 저장할 수 있습니다. ESRI의 ArcGIS Pro에는 수직 및 수평 슬라이스, 등각 표면, 각도 또는 횡단면을 만드는 기능을 통해 각 표면을 시각화하는 데 도움이 되는 유용한 도구를 제공하고 있습니다. 아래 Figure 4는 3D 볼륨 레이어의 전체 3D 볼륨(왼쪽)과 기울어진 섹션(오른쪽)을 보여줍니다.

Figure 4: Voxel레이어(왼쪽)와 Voxel레이어의 기울어진 섹션을 표시합니다.

위의 비디오는 Voxel 레이어가 3D 볼륨 데이터를 시각화하는 데 유용하고 물리적으로 경험할 수 없는 조건을 더 잘 이해하는 데 도움이 되는 ArcGIS Pro의 슬라이스 생성 기능을 보여줍니다. Voxel레이어에 시간 요소가 포함된 경우 추가 분석 및 시간 슬라이스를 만들고 시각화할 수 있습니다.

 

ArcGIS Notebooks를 활용한 데이터 업데이트 자동화

정보와 데이터는 점점 더 디지털화되고 있습니다. 이 과정에서 중요한 기능은 업무의 과정을 자동화하여 반복되는 업무에 수행되는 시간을 절약하는 것입니다.

지난 3월 진행된 Esri Developer Summit 2020에서는 GIS 사용자들이 업무를 자동화 할 수 있도록 하는 다양한 툴을 새롭게 선보였습니다. 이 중 사용자들이 가진 자원과 시간을 잘 활용할 수 있도록 자동화 기능을 소개합니다.

ArcGIS 엔터프라이즈 10.8에 ArcGIS Notebook Server Administrator Directory가 새롭게 추가되면서 사용자들은 ArcGIS Notebook에 접근하지 않고도 코드를 실행시킬 수 있게 되었습니다. 노트북 에디터에서 반복적으로 실행하고자 하는 코드를 노트북으로 작성하여 스케줄을 설정하면 원하는 기간 동안 원하는 간격으로 데이터를 업데이트 할 수 있습니다.

이는 Esri에서 소개하고 있는 다음의 3단계 자동화 과정을 포함합니다.

  • 단순 자동화(Simple Automation ) : 수동으로 수행되었던 업무의 과정을 자동화
  • 고급 자동화(Advanced Automation) : 작업의 규모나 복잡성을 줄일 수 있도록 여러 업무의 워크플로우를 결합
  • 지능형 자동화(Intelligent Automation) : 업무 과정의 의사결정에 영향을 미치는 딥러닝 모델 등을 활용

예를 들어 매일 0시에 업데이트되는 질병관리본부의 코로나 19(COVID-19)의 발생 동향 정보를 피처 레이어(Feature layer)로 생성하는 코드를 노트북으로 작성한 후 하루 한 번 노트북이 실행되도록 설정할 수 있습니다. 이를 통해 매일 정보가 업데이트되는 코로나 19(COVID-19) 대시보드를 만들어 공유할 수 있습니다. 또는 정부에서 제공되는 공적 마스크 판매소의 API를 활용하여 실시간 업데이트가 자동화된 지도를 생성하거나 시시각각 변하는 날씨, 교통 정보 등의 데이터를 수집할 수 있습니다.

한국지비에스에서는 ArcGIS Online의 노트북을 활용하여 매일 업데이트 되는 코로나 19(COVID-19)의 정보를 피처 레이어로 생성하여 시각화 하는 대시보드를 만들어 공유하고 있으며 그 일부를 간략히 소개하면 다음과 같습니다.

Step 1. ArcGIS Notebook에서 Python으로 유럽질병관리본부(ECDC)의 API의 국내 확진자 동향 피처 레이어 생성

Notebook 예시

Step 2. 생성된 피처 레이어를 맵에 나타내고 업데이트 된 데이터 확인

웹맵에 피처레이어 추가

3. 대시보드로 시각화

대시보드

현재는 베타(Beta)버전으로 일반 사용자에게 공개되진 않았지만 정식으로 업데이트되면 더 많은 데이터를 효과적으로 수집하고 분석하여 디지털화되는 정보를 활용할 수 있을 것으로 기대됩니다.

 

ArcGIS Experience Builder Beta2

ArcGIS 플랫폼은 데이터를 수집하여 시각화 및 분석하고 공유하기 위해 다양한 앱들을 제공하고 있습니다. 대표적으로 웹앱빌더, 스토리맵, 사이츠 등의 앱을 제공하고 있습니다.

위에 나열한 앱들은 각각 특성과 역할을 가지고 있다고 볼 수 있습니다. 웹앱빌더의 경우 지도를 중심으로 풀스크린 앱을 구성하고 데이터를 관리하고 싶을 때 주로 사용됩니다. 스토리맵은 여러 페이지에 걸쳐 프레젠테이션 형식으로 텍스트와 지도를 결합한 콘텐츠를 만들 때 사용됩니다. 사이츠는 웹사이트 형태로 컨텐츠를 구성하고 여러 지도를 카테고리로 엮어 보여줄 때 유용합니다.

이러한 개별 앱들의 장점들을 모아서 하나의 앱으로 구성한 것이 올해 상반기에 출시될 예정인 ArcGIS Experience Builder입니다. 익스피리언스 빌더의 특징은 다음과 같습니다.

  • 지도 중심, 또는 텍스트 중심의 템플릿을 골고루 제공합니다.
  • 스크롤링이 가능한 페이지를 구성할 수 있습니다.
  • 하나의 앱에 서브페이지를 여러개 구성할 수 있습니다.
  • 2D지도와 3D지도를 하나의 화면에서 구성할 수 있습니다.
  • 기본 위젯을 제공하고 개발자툴을 이용해서 새로운 위젯을 만들 수 있습니다.
  • PC와 모바일 화면을 동시에 지원합니다.
  • 화면 레이아웃과 위젯의 위치를 임의로 바꾸기 용이합니다.

웹앱빌더와 비교하면 레이아웃 변경의 용이함, 모바일 화면 대응, 코딩없이 사용자 이벤트 처리 등과 같은 장점을 가지고 있습니다. 반면 웹앱빌더는 70여개의 위젯이 제공되는 반면, 익스피리언스빌더는 아직 위젯의 종류가 제한적입니다. 물론 개발자툴을 이용하면 새로운 위젯을 만들 수 있습니다.

현재 Beta 2버전이 오픈되어 있고 올해 초에 ArcGIS Online용 정식버전이 출시될 예정이라고 합니다. Beta 2버전과 인천시 GIS 플랫폼의 오픈데이터를 이용하여 인천시 가로수 정보 관리 앱을 만들어 보았습니다.

Step 1 – 화면 템플릿을 선택하고, 데이터 소스로 사용할 웹맵을 선택합니다. 지도위젯과 웹맵이 연동되게 연결합니다. 기타 위젯 또한 웹맵과 연결합니다.

Step 2 – 기본으로 제공하는 위젯 중 필터 위젯을 추가하고 수종에 따라 필터링 되도록 구성합니다. 위젯을 추가하기 위해서는 레이아웃 잠금을 해제하여야 합니다.

Step 3 – Survey123 위젯을 이용하여 새로운 데이터를 수집하는 기능을 추가합니다.

Step 4 – 사용자가 지도의 피쳐를 선택하면 Survey123 위젯의 필드가 입력되도록 이벤트를 연결합니다.

아래 링크에서 더 많은 정보와 샘플을 보실 수 있습니다.

 

3D 침수 피해 시각화

‘3D’ 맵핑이란 2D로써의 한계를 가진 데이터를 더욱더 효과적으로 시각화 할 수 있는 최선의 방법이고 여러 다양한 데이터를 하나의 씬에 구현해 내기에 최적의 선택일 것입니다. 이번 글에서는 침수 피해를 시각화 할때 3D가 탁월함을 설명하고자 하는데 이는 강수량 데이터를 수집, 분석하여 침수지역을 보다 현실적으로 보여주고 더 나아가 어느 정도의 강수량을 예측할 경우 피해 정도를 미리 분석하여 결론적으로 피해를 최소화까지 가능하게 할 수 있습니다.


위 사진을 예시로 들어, 이 정도의 비가 왔을 경우 자동차, 가로수, 빌딩, 가로등의 높이를 참조하여 물이 대략 어느 높이까지 찼는지 알 수 있습니다. 만약 이러한 상황이 웹맵에서 미리 예측되고 시각화 된다면 상황 보고를 포함한 시각화가 필요한 부분에서 굉장히 유용하게 사용될 것입니다. 실제로 침수 피해를 3D로 나타내고 자동차, 가로수 모형 피처와 빌딩을 추가한다면 맵에서도 위 사진과 비슷하게 나타낼 수 있으며 더욱 자세하게 자동차 바퀴까지, 빌딩 1층 가게 바닥까지 등 침수 피해 정도를 정확히 알 수 있습니다.

위의 예시는 뉴질랜드의 Queenstown 이라는 곳에서 강수량 레벨이 1일 경우를 시각화한 데모입니다. 현실 높이를 반영한 차와 사람 피쳐를 추가하여 어느 높이까지 침수 피해를 입을지 그리고 또 침수 피해를 입을 건물의 개수와 피해 정도도 예측이 가능합니다. 이와 같이 첫번째 이미지였던 실제 침수 피해 현황과 예측 데모 이미지는 시각적으로 굉장히 비슷하고 3D 맵에서는 세세하게 수치적 분석까지 가능합니다.

강수량 데이터를 3D로 변환하기 위해서는 raster 데이터에서 실제 지형의 고도를 raster calculator를 이용하여 더해야 하고 실제 지형을 반영하여 침수 높이를 계산하는 것이 중요합니다.

추가적으로 침수 피해를 입은 빌딩을 3D로 표현하고자 하는 경우에는 빌딩 레이어와 침수 지역이 맞닿는 부분을 intersect (교차)하여 다른 심볼로 저장한다면 전체 지역을 크게 보았을때 효과적으로 침수 지역에 위치한 빌딩들을 찾을 수 있고 그 주위 지역 상황을 알 수 있습니다.

끝으로, 침수 피해를 3D로 시각화함으로써 예측이 불가한 자연재해에 대한 피해를 조금이라도 줄일 수 있을 것을 예상합니다. 예를 들어, 침수 피해가 심할 것으로 예상 되는 지역에는 배수 시설을 확충할 수 있으며 건물 건설을 피하는 등의 노력으로 예측을 통한 피해의 최소화가 가능할 것입니다.

 

ArcGIS Enterprise 10.7.1 출시! 주목되는 기능들 소개

안녕하세요, 며칠전에 ArcGIS Enterprise 10.7.1이 출시되었습니다. 매년 2회 릴리즈가 되는데 올초에 10.7이 출시되었고, 다음주 Esri User Conference에 앞서 10.7.1이 출시되었습니다.

매번 새로운 출시가 될 때마다 혁신이 급속도로 이루어지는 것을 느낍니다. 이번 10.7.1의 기능 중에 가장 눈에 뛰는 기능은 대량의 데이터를 담고 있는 데이터베이스를 등록하기가 쉬워졌다는 점입니다.

이전 버전에서는 데이터베이스를 등록하려면 ArcGIS Desktop을 이용하거나 ArcGIS Server를 통해서 할 수 있었는데 이제 Portal for ArcGIS에서도 바로 할 수 있게 되었습니다.

여기서 잠깐, 데스크탑과 서버, 포털의 기능과 역할에 대해 다시 한번 설명 드리겠습니다.

전통적으로 GIS 분석은 데스크탑에서 이루어졌습니다. GIS 전문가가 자신의 컴퓨터에서 분석을 한 이후 지도를 프린터로 출력해서 다른 사람들과 공유를 하는 형태였습니다. – ArcGIS Desktop

그런데 PC가 광범위하게 보급되고 웹기술이 발달함에 따라 이런 분석 기능을 웹서버에서 제공하여 여러 사람들이 쉽게 이용할 수 있게 만들었습니다. – ArcGIS Server

이렇게 여러 사람들이 분석하여 다양한 콘텐츠를 만들게 되자 이를 체계적으로 관리하고 재사용하고자 하는 니즈가 생겼습니다. 그리하여 분석된 콘텐츠를 웹서버에 저장하고 접근 권한을 제한하여 엔터프라이즈의 니즈를 만족하는 것이 ArcGIS 포털(Portal for ArcGIS)입니다.

최근 웹기술이 계속 발전하고 데이터를 분석한 2D/3D 콘텐츠가 계속 생성되다 보니 갈수록 ArcGIS 포털의 역할이 커지고 있습니다. 그런 방향에서 보면 이번 10.7.1에서 포털에서 바로 데이터베이스를 등록할수 있도록 한 기능이 이해가 됩니다.

Web2.0 시대를 거쳐 IoT시대 그리고 이어 5G 시대에 접어들면서 일반적으로 사람들이 만들고 처리하는 데이터가 이전과 비해 엄청나게 커졌습니다. 예전에는 데이터베이스 전문가만이 할 수 있었던 일들이 이제는 누구나 엑셀을 다루는 것쳐럼 접근성이 높아진다는 생각이 듭니다.

역시나 같은 맥락에서, 대량의 데이터를 지도상에 표시해야 할 경우 지도를 줌인/아웃할 때 동적으로 집합기능을 해주는 기능도 눈에 뜁니다.

자세한 내용은 다음 Esri사의 블로그를 참고해주세요. 링크

 

유틸리티 네트워크 Asset Package 적용방법

유틸리티 네트워크는 ArcGIS 내 유틸리티 네트워크를 관리 할 때 사용되는 주요 구성 요소입니다.  유틸리티 네트워크는 서비스 기반 트랜잭션 모델, 속성 규칙, 편집 도구 등을 결합하여 사용자가 물, 가스, 전기, 통신, 하수도, 우수, 기타 유틸리티에 대한 복잡한 네트워크 시스템을 완벽하게 모델링하고 분석 할 수 있습니다.

다음은 Esri에서 제공하는 Asset Package를 적용하는 방법에 대하여 알아보도록 하겠습니다.

우선 유틸리티 네트워크 구성을 위한 환경은 아래와 같습니다.

Software requirements

  • ArcGIS Enterprise 10.6.1
  • ArcGIS Pro 2.2
  • Waster Distribution Utility Network Asset Package 2.0

Supported Database requirement

  • SQL Server 2016/SQL Azure database
  • Oracle12.1.0.2
  • PostgreSQL 9.5.3 => 현 작업환경
  • SAP HANA 2.0 SPS02

Utility Network Asset Package 적용방법은 동영상을 참고하여 아래의 순서로 진행하시면 됩니다.(Water Distibution Utility Network 기준으로 작성)

  1. ArcGIS Solutions Deployment Add-in과 Utility Network Package Tools toolbox를 다운로드하여 설치
  2. Deploy the utility network project
    a. ArcGIS Pro 에서 project를 생성
    b. 공유 탭에서 ArcGIS Solutions를 선택
    c. 왼쪽 테스크 창에에서 Deploy an ArcGIS Solution을 선택하여 진행 후 완료
    => Water Distibution Utility Network 2.0으로 선택함.
  3. Water Distribution Utility Network v2.0으로 프로젝트 열기
  4. 엔터프라이즈 지오데이터베이스 생성
    a. 관리자 계정으로 Postgres에 새로운 엔터프라이즈 지오데이터 베이스를 생성함.
  5. 지오데이터베이스 사용자 생성
    a. 새롭게 생성된 엔터프라이즈 지오데이터 베이스의 사용자를 추가
  6. 지오데이터베이스 사용자 변경
    a. 카달로그에서 생성된 지오데이터 베이스를 새롭게 추가한 사용자로 변경
  7. Stage Utility Network
    (엔터프라이즈 지오 데이터베이스에 필수 데이터 구조 및 유틸리티 네트워크를 생성)
  8. waterdistribution_assetpackage.gdb의 B_Subnetwork_Diagram 속성 수정
    a. B_Subnetwork_Diagram의 Subnetwor_Diagramd의 속성을 “Basic”에서 “기본”으로 변경
    => ArcGIS Pro 환경이 한글일 때 Apply Asset Package 시 오류 발생 방지
  9. Apply Asset Package
    a. Load Data 및 Calculate Spatial index and Analyze 항목 체크
  10. Geodatabase Connetion Properties 수정
    a. 카달로그 창의 데이터베이스 연결정보에서 버저닝타입이 분기로 되어 있는지 확인
  11. 버전 등록
    a. Waterdistribution 피처클래스를 버전으로 등록
    => 첫번째는 실패이고 두번째 정상적으로 실행됨.
  12. Enable Network Topology
  13. Sharing As Web Layer(웹 레이어 공유)
    a. 일반 카테고리
    i. Data 항목에 참조 등록 데이터 체크
    ii. Layer Type에 피처 체크
    b. 구성 카테고리
    i. 레이어 항목의 피처 속성 수정
    1) 속성항목 모두 체크
    ii. Capabilities 항목에 버전 관리 체크
    c. 분석
    i. 오류발생시 메시지의 끝부분을 선택하여 데이터베이스 서버 등록
    d. 발행
 

파이썬 활용한 데이터 프로세싱

지난 블로그에서는 지자체의 음식물 쓰레기 데이터를 엑셀로 다운로드 받은 후 테이블 조인, 중복 삭제 등 여러 단계의 프로세싱을 거쳐서 웹맵으로 퍼블리싱을 하였습니다.

ArcGIS Pro에서 제공하는 프로세싱 UI 툴을 이용하여 쉽게 할 수 있지만 자주 반복되는 업무라면 자동화하는 방법을 연구해 볼 수 있습니다. ArcGIS는 UI로 가능한 여러 오퍼레이션을 arcpy라고 하는 파이썬 API로 제공하고 있으므로 오늘은 이를 이용해서 어떻게 데이터 프로세싱을 자동화 할 수 있을지 알아보겠습니다.

다음 영상은 부산 진구청 음식물 쓰레기 데이터를 프로세싱 했던 과정을 arcpy 스크립트로 변환한 예시입니다.

파이썬으로 데이터 복사, 중복 삭제 등 작업하기

영상에서 보시듯이 지오프로세싱 툴을 목록에서 파이썬 코드 영역으로 끌어와서 파라미터를 설정하는 방식으로 쉽게 프로그래밍을 할 수 있습니다.

파이썬을 이용한 자동화는 큰 데이터를 프로세싱할때 더 큰 의미가 있으므로 이번에는 제법 큰 데이터를 한번 처리해 보도록 하겠습니다.

산림청에서는 전국 등산로 정보를 제공하고 있는데 다운로드 받아보니 총 2900여개의 등산로 정보를 개별 파일로 제공되고 있었습니다. arcpy를 이용해서 이를 프로세싱하고 지도에 가시화하여 보도록 하겠습니다. 우선 아래 영상을 통해 데이터 다운로드 및 포맷, 프로젝트 개요를 확인하세요.

등산로 데이터 구조

프로세싱 단계는 크게 다음과 같습니다.

  1. MNT_CODE.xls 파일을 읽어 등산로 목록 및 코드 저장
  2. 등산로 코드별 zip 파일 압축 풀기
  3. 프로세싱이 용이하도록 shapefile 파일명 수정
  4. 분기점(Point): SPOT.shp
  5. 등산로(Polyline): PMNTN.shp
  6. 안전 지점(Point): SAFE_SPOT.shp
  7. 각 피쳐별로 피쳐 클래스 생성
  8. 데이터 붙여넣기 작업
  9. 데이터 속성별 심볼 적용으로 가시화 

약 140여 라인의 파이썬 코드를 작성하였고 이전 경우와 마찬가지로 파이썬 코드 윈도우에 붙여넣기를 하였습니다. 

파이썬 코드 붙여넣기
파이썬 코드가 실행되는 모습

필자의 작업환경에서는 약 2시간동안 데이터 프로세싱을 하였고 최종 결과물은 다음과 같습니다.

최종결과물

이제 다음 단계로는 웹맵을 퍼블리싱하게되면 웹 브라우져에서 데이터 분석과 현황파악을 위한 앱을 손쉽게 만들 수 있을 것입니다.

 

ArcGIS Enterprise Sites

콘텐츠는 공유가 많이 되고 많이 읽혀질 수록 힘이 커집니다. 그런데 컨텍스트가 없는 공유는 사용자로 하여금 혼란을 유발하여 거부감을 느끼게 할 수도 있습니다. 그래서 공유를 할 때는 사용자가 더 쉽게 받아들이도록 콘텐츠 큐레이션과 프레젠테이션을 많이 신경써야 합니다.

ArcGIS는 몇년전 Portal이라는 개념을 추가하여 웹GIS 콘텐츠 생산자는 생성 및 관리를 쉽게하고 사용자는 찾고자 하는 콘텐츠를 더 쉽게 발견하도록 하였습니다. 하지만 여타 온라인 콘텐츠 서비스의 편리한 UI에 익숙한 사용자에게는 불편함이 있습니다. 특히 Portal로 로그인을 해야만 볼수 있기 때문에 일반 대중에게 콘텐츠를 제공하려면 별도의 웹사이트를 구축해야 하는 번거로움이 있었습니다. 모바일 트래픽이 더 많은 요즘 반응형을 기본으로 지원해야하기 때문에 이런 부가적인 개발은 때로 큰 비용을 초래하기도 합니다.

이에 Esri는 지난 7월 발표된 ArcGIS 10.6.1 버전부터 ArcGIS Enterprise Sites라고 하는 새로운 기능을 추가하였는데 이는 별도 개발 없이 구성 설정만으로 반응형 콘텐츠 공유용 웹사이트를 만들수 있는 빌더 기능입니다. 

ArcGIS Enterprise에 기본으로 제공되는 기능이므로 간단한 웹사이트를 기획한다면 먼저 고려해보는 것을 추천합니다. 그럼 영상으로 소개하도록 하겠습니다.

Portal을 설치하면 상단에 위치되는 앱 런처를 이용해서 Sites 앱을 시작하고 기본 정보 추가 및 사이트 생성을 합니다. 주의할 점은 Sites 기능을 최초로 실행할 때는 꼭 Portal 어드민이 버튼을 클릭해야 내부적인 설정이 완벽하게 되니 이 점을 주의해야 합니다.

사이트 생성하기

사이트 에디터 설정창을 이용해서 사이트 로고와 제목, 폰트 등 주요 요소를 설정해보겠습니다.

사이트 기본 설정

이제 실제 화면의 텍스트를 수정하고 웹맵 등 새로운 화면 구성요소를 추가해 보겠습니다.

페이지 콘텐츠 구성하기

이 외에도 콘텐츠 태그로 카테고리 설정하기, 차트 추가하기 등과 같은 레이아웃 빌더 기능을 제공하므로 사용자 그룹과 콘텐츠 주제에 따라 새로운 사이트를 구성하고 공유할 수 있습니다.

사이트 레이아웃 빌더의 기본 기능

오늘 살펴본 ArcGIS Enterprise Sites의 장점은 다음과 같습니다.

  • ArcGIS Enterprise의 기본 구성으로 제공
  • 사용자 그룹의 눈높이에 맞게 컨텐츠 큐레이션 가능
  • 개별 사이트마다 다른 브랜딩, 디자인, 콘텐츠 구성 가능
  • 그룹 설정으로 포털 콘텐츠의 안전한 관리
  • 사이트 개수 제한 없이 생성가능
  • 모바일 기기 지원
  • 각 사이트는 최대 100개의 페이지를 가질 수 있음

문의가 있으시면 언제든지 한국지비에스로 연락주십시오.