빅데이터 데이터 유형별 수집기술 1) 데이터 유형별 수집 기술 정형 데이터 : ETL, FTP, API, DBtoDB, Rsync, Sqoop 비정형 데이터 : 크롤링, RSS, Open API, Scrapy 등 반정형 데이터 : Sensing, Streming, Flume, Scribe, Chukwa 등 ※정형데이터 수집방식 설명 ETL 수집대상 데이터를 추출, 가공하여 데이터 웨어하우스(DW) 및 데이터 마트(DM)에 저장하는 기술 … 더 읽기
데이터 비식별화란? 데이터에 포함된 개인정보를 삭제하거나 다른 정보로 대체하여 데이터 내에서 특정 개인을 식별하지 못하게 하는 데이터 검증작업입니다. 데이터를 안전하게 활용하기 위해서는 수집된 데이터의 개인정보 일부 또는 전부를 삭제하거나 다른 정보로 대체함으로써 다른 정보와 결합하여도 특정 개인을 식별하기가 어렵도록 하는 데이터 비식별화 조치를 해야 합니다. 1. 데이터 비식별화 대상 적용대상 대상 설명 … 더 읽기
testworks 1.데이터 검증 절차 ○ 데이터 품질관리 비즈니스 목표에 부합한 데이터 분석을 위해 가치성, 정확성, 유용성 있는 데이터를 확보하고, 신뢰성 있는 데이터를 유지하는 데 필요한 관리 활동 ○ 빅데이터 품질관리의 중요성 데이터 분석결과의 신뢰성 확보 일원화된 프로세스 데이터 활용도 향상 양질의 데이터 확보 ○ 데이터 품질관리 요소 (데이터 품질을 판단하는 기준) 구분 … 더 읽기
1. 빅데이터 적재 아키텍처 요구 정의 프레임워크 vs 아키텍처 vs 플랫폼 프레임 워크– 우리가 무언가 만들기 위한 기본적인 틀 아키텍처– 프레임 틀에다가 내가 만들려고 하는 것이 다를 수 있으므로 그런 것을 반영해서 실제 구조 만드는 것 플랫폼– 그런 소프트웨어들이 실행할 수 있는 환경 아키텍처란? – 요구사항을 구현하기 위한 기반 기술을 정의하는 과정 – … 더 읽기