ArcGIS Data Interoperability 익스텐션

Data Interoperability 란?

ArcGIS Data Interoperability 익스텐션은 사용자가 여러 소스와 형식의 데이터를 쉽게 읽고, 조작하고, 병합할 수 있는 다용도 솔루션입니다. Data Interoperability 익스텐션은 Safe Software의 FME Workbench를 사용하며 ArcGIS를 통해 활용합니다.

Data Interoperability는 여러 소스(아래 그림에서 소스 A과 B로 표시됨)의 데이터를 읽고, Transformer(변환모듈)를 사용하여 요구 사항에 맞게 데이터를 변경하거나 재구성한 후 출력 위치(C)에 기록함으로써 데이터 변환 및 통합을 수행합니다:

왜 Data Interoperability를 사용하나요?

  • Data Interoperability는 Oracle Database, JSON 파일 또는 API과 CAD와 같은 다양한 데이터 형식을 활용
  • 아래 사진과 같은 그래픽 모델을 쉽게 읽을 수 있음
  • 유지관리에 용이
  • 자체 문서화
  • 데이터 변환 및 통합의 효율성
  • 활발한 사용자 커뮤니티 그룹

Data Interoperability는 어떻게 사용하나요?

Data Interoperability는 다양한 방법으로 사용될 수 있으며 특히 공간 정보 작업을 편리하게 수행할 수 있습니다. 이 익스텐션을 활용할 수 있는 방법의 예시는 다음과 같습니다:

  • 데이터 변환 및 프로세스 자동화
  • ETL(Extraction, Transformation, Loading) 프로세스
  • 관리자 혹은 사용자에게 알림 메일 송부
  • 데이터 분석 및 분류

프로세스의 예시

1. 3D 빌딩 생성 프로세스

아래의 예시는 시각화를 위해 2D 건물 외곽선을 3D로 변환하는 프로세스입니다. 입력하는 소스는 ① 건물 ID, 높이 등 기본정보를 포함하는 CAD/DWG 파일, ②건물 ID와 건물 높이를 포함하는 CSV 파일을 활용합니다. 이 프로세스를 요약하면 데이터를 읽고 건물 ID를 키 값으로 하여 ①과 ②를 병합한 후, 데이터를 3D로 변환하고 ESRI의 ArcGIS Pro 소프트웨어에서 표출할 수 있도록 출력합니다.

3D 빌딩 생성 프로세스 예시

소스 데이터는 속성 테이블, 그래픽 및 개별 피쳐 정보를 시각화할 수 있는 Reader Transformers를 사용하여 읽습니다.

① 소스 데이터를 읽고 병합합니다.
데이터 값과 지오메트리는 Data Interoperability  익스텐션에서 시각화할 수 있습니다
Extruder Transformer를 사용하여 데이터를 3D로 변환합니다
ArcGIS Pro를 사용하여 원하는 형식으로 출력합니다

2. 날씨와 대기질 이메일 알람 설정

Data Interoperability 익스텐션은 API 데이터를 빠르고 효율적으로 읽고 다양한 방법으로 출력할 수 있습니다. 다른 데이터 변환 예시는 JSON API에서 날씨 및 대기질 데이터를 읽고 활용하는 것입니다. 오픈소스로 제공되는 JSON 데이터를 표 형식으로 전환하여 일기예보 및 대기질과 일치하는 온라인 이미지와 결합한 후 HTML로 변환합니다. 그리고 사용자에게 매일 아침 해당 정보를 이메일로 보내도록 자동화할 수 있습니다. 이는 관리자에게 시스템 오류를 전달하는 방법으로 응용되거나 집중호우 알림 같은 재난 알림 등에도 활용될 수 있습니다.  

날씨와 대기질 이메일 알람 프로세스 예시
해당 프로세스의 이메일 알람 결과 예시

3. 추가활용예시

  • 포인트, 선 및 폴리곤 생성:
    • Data Interoperability는 VertexCreator Transformer를 사용하여 Lat/Lon 또는 X/Y 값으로부터 포인트 데이터를 구축할 수 있습니다 (측정 지점, POI등).
    • 보유하고 있는 데이터가 시작 및 끝 노드인 경우, LineBuilder Transformer를 사용하여 선으로 변환할 수 있습니다 (경로 생성, 도로 등).
    • 모양을 구성하는 선이 있는 경우, AreaBuilder Transformer를 사용하여 폴리곤으로 변환하여 활용할 수 있습니다.
  • SQL:
    • 프로세스 시작 전에 WHERE 절을 사용하여 분석에 필요한 데이터만을 필터링하여 최적화 할 수 있습니다.
    • 프로세스가 끝나고 데이터를 출력하기 전이나 후에 쿼리를 실행합니다.
    • 프로세스 중에 SQL 쿼리를 실행하여 여러 테이블을 조인하거나 일부 공간 쿼리를 실행하거나 신규 테이블을 생성합니다.
  • 스크립팅(Scripting) 기능:
    • SQL 활용과 함께 Data Interoperability는 워크벤치 내에서 python과 R이 모두 실행 가능합니다.
    • 이는 사용자가 보간법 등의 통계 분석을 실행할 수 있음을 의미합니다.
  • 데이터 마이그레이션(Data Migration):
    • Data Migration에 매우 유용하게 사용됩니다. 여러 데이터 소스 형식에서 읽거나 하나의 형식으로 읽어서 엔터프라이즈 데이터베이스나 클라우드로 옮길 수 있습니다.
  • HTTP 호출 또는 XML 파싱(Parsing)
  • JSON 파싱(Parsing): 익스텐션의 JSONFeature Reader를 사용하면 JSON을 ArcGIS에서 활용할 수 있는 피처테이블(Feature table)형태로 변환할 수 있습니다. 중복된 목록이 있을 경우 ListExploder Transformer를 사용하여 필드를 정리할 수 있습니다.

강력한 ArcGIS Data Interoperability 익스텐션을 활용하여 다양한 종류의 데이터를 공간 정보 위에 나타내고, 시각화 된 데이터를 분석과 의사결정에 활용해보세요.

 

드론으로 측정한 3D 대기질 정보를 Voxel 레이어로 보간 및 시각화

Voxel 레이어(3D 볼륨 레이어)는 다차원 공간 및 시간 정보를 3D로 표현하기 위한 환상적인 방법을 제공합니다. Voxel 레이어 기능을 사용하면 데이터 3D로 시각화하고 데이터 필터링 및 시계열 정보를 확인할 수 있습니다. 이 기술은 기후 데이터, 지하 정보, 그리고 사업을 시작하기 가장 적합한 장소를 결정하기 위한 공간 분석과 시간 기반 분석을 시각화하는데 유용합니다.

다음의 예시는 드론이 수집한 다양한 높이에서 pm10(미세먼지)과 pm2.5(초미세먼지) 대기질 수치를 시각화하는 것입니다. 한국지비에스는 한국과학기술정보연구원(KISTI)으로부터 다양한 고도에서의 공기 질에 대한 항공 드론 데이터를 제공받았습니다. 샘플 데이터는 2020년 6월 인천에서 7일 동안 수집되었습니다. 목적은 고도 기록과 대기질 기록 사이의 관계를 찾는 것으로 이 분석과정에서는 표면 및 voxel 시각화 도구를 생성하기 위한 값을 예측하는 데 도움이 되는 3D 보간 방법인 ESRI의 Empirical Bayesian Kriging 3D 도구를 사용했습니다.


아래 Figure 1은 대기질 센서를 갖추고 있는 드론이 하루 동안 자료를 수집한 지점들을 보여줍니다. 고도에 따라 초미세먼지
(pm2.5) 수치를 수집하고 파란색(낮은 값)과 빨간색(높은 값)으로 비교하도록 시각화되었습니다. Figure 2는 pm2.5 값과 고도 사이의 관계를 보여줍니다.

Figure 1: 드론이 캡처한 X, Y, Z 포인트를 보여주는 이미지입니다.
Figure 2: pm2.5와 고도 사이의 관계를 보여주는 산점도입니다.

위의 비디오는 1주일간의 시간 경과에 따른 대기질 변화를 3D로 보여줍니다. 점 데이터로부터 보간된 표면을 만들어 연구 영역의 서로 다른 높이에서 예측 pm2.5 수준을 표시할 수 있습니다. 아래 Figure 3은 높이에 따른 보간된 pm2.5 값을 보여줍니다. 고도가 높아짐에 따라 pm2.5 농도가 증가하는 것으로 보이고 있습니다.

다음으로 Voxel 레이어(netCDF 파일)를 생성하여 데이터를 완전한 3D 볼륨으로 시각화할 수 있습니다. NetCDF/Voxel 레이어는 래스터, 피쳐 레이어 또는 테이블에서 생성될 수 있으며 다차원 공간 데이터 또는 시간 데이터를 저장할 수 있습니다. ESRI의 ArcGIS Pro에는 수직 및 수평 슬라이스, 등각 표면, 각도 또는 횡단면을 만드는 기능을 통해 각 표면을 시각화하는 데 도움이 되는 유용한 도구를 제공하고 있습니다. 아래 Figure 4는 3D 볼륨 레이어의 전체 3D 볼륨(왼쪽)과 기울어진 섹션(오른쪽)을 보여줍니다.

Figure 4: Voxel레이어(왼쪽)와 Voxel레이어의 기울어진 섹션을 표시합니다.

위의 비디오는 Voxel 레이어가 3D 볼륨 데이터를 시각화하는 데 유용하고 물리적으로 경험할 수 없는 조건을 더 잘 이해하는 데 도움이 되는 ArcGIS Pro의 슬라이스 생성 기능을 보여줍니다. Voxel레이어에 시간 요소가 포함된 경우 추가 분석 및 시간 슬라이스를 만들고 시각화할 수 있습니다.

 

한국지비에스 신규멤버를 소개합니다.

이희수 매니저가 한국지비에스에 새롭게 합류하였습니다.

2019년에 UCLA에서 지리학 전공, GIS and Technology를 부전공으로 학사를 취득한 이희수 매니저는 GIS가 정제되지 않은 데이터를 시각화하고, 유의미한 정보로 바꾸어 해결책을 제시할 수 있다는 점을 좋아합니다.

쉬는 시간에는 주로 운동을 하거나 영화 보며 시간을 보냅니다.