당신이 원하는 어떤 데이터도 수집이 가능합니다.
SCRAPING STUDIO는 웹 상의 방대한 데이터를 실시간으로 수집하여 다양한 산업군의 정보 분석, 인사이트 도출을 위한 검증된 강력한 빅데이터 수집 솔루션입니다. 지리적 위치나 언어에 대한 제약없이 높은 품질의 데이터를 수집할 수 있습니다.
- #DeepWeb수집
- #소셜데이터수집
- #VOC수집
- #시장및트렌드분석활용
- #수집데이터품질관리
SCRAPING STUDIO의 특별함
SCRAPING STUDIO는 분산처리 기술을 활용하여 방대한 데이터의 실시간 수집이 가능합니다.
일반 웹 뿐 아니라 딥 웹(DeepWeb), SNS 데이터를 수집하며, 수집데이터는 품질검증도구를 활용하여 이슈를 자동으로 감지하고 분류해 데이터 품질을 관리합니다.
-
Point 01
하이퍼스케일
데이터수집 아키텍처
-
Point 02
딥웹, 소셜데이터
자동 수집
-
Point 03
시나리오기반
데이터 수집 및 구조화
-
Point 04
수집데이터
품질 검증 요구
-
Point 05
사용자 디바이스를 이용한
데이터 수집
시스템구성
Core Technology
다양한 빅데이터 수집 가능
일반 웹부터 딥 웹까지, 문서부터 멀티미디어까지 다양한 수집기술
사용자가 필요로 하는 데이터 수집을 위해 시나리오, RSS, Open API 기반 등 다양한 방식의 수집 기술을 활용하여 일반 웹페이지 뿐만 아니라 전문자료, SNS, 로그인이 필요한 딥 웹 데이터, 텍스트와 멀티미디어까지 수집할 수 있습니다.
특장점
-
01딥 웹(Deep Web)데이터 수집
학술자료나 논문 등 전문 사이트나 로그인이 필요한 딥 웹의 자료의 수집이 가능합니다.
-
02소셜데이터 수집
페이스북, 링크드인, 유튜브, 트위터, 네이버 등 소셜리스닝에 필요한 다양한 소셜 데이터를 수집하고 수집대상 스케쥴링 및 상태 확인 기능을 제공합니다.
-
03멀티미디어 데이터 수집
텍스트 데이터 뿐만 아니라 PDF, DOC, XLS등의 파일데이터와 이미지/영상 등의 멀티미디어 수집이 가능합니다.
-
04메타검색 수집기
메타검색 수집기는 구글, 네이트, 네이버, 다음, 빙과 같은 유명 검색엔진의 검색결과를 활용해 전세계 최신 데이터를 수집합니다.
딥웹 스크래핑
사용자의 동적이벤트 기반의 데이터 수집 및 품질 검증
사용자의 마우스 클릭, 스크롤, 로그인 등 동적 이벤트 액션규칙 기반으로 데이터를 수집하고 사전 시뮬레이션을 통해 수집데이터의 품질을 평가, 검증할 수 있습니다. 검증된 데이터는 컨텐츠 파싱을 통해 직접 데이터베이스로 저장하여 데이터의 활용성을 높일 수 있습니다.
특장점
-
01동적 생성 컨텐츠 수집 스크랩핑
-
02사용자 액션 수집 시뮬레이터
-
03데이터 분석 및 DB 반환
-
04사전 시뮬레이션을 통한 품질 평가
수집 품질관리 자동화
실시간 수집현황 모니터링 관리 대시보드를 통한 수집 데이터 이슈관리
데이터 수집 시 이상징후를 자동 감지하고 수집데이터의 오류 자동 디버깅 협업체계를 제공함으로써 수집데이터의 오류를 최소화하고 최적의 품질을 확보할 수 있습니다.
특장점
-
01이상 징후 자동감지 및 통계관리
대시보드를 통해 데이터 수집현황을 실시간 모니터링하여 오류 자동 감지 및 수집 통계 등 통합적인 관리가 가능합니다.
-
02수집 오류 관리 및 디버깅 협업체계
체계화된 오류 관리 프로세스를 통해 데이터 수집 중 발생한 각종 이슈를 추적하여 빠른 처리가 가능합니다.
Hybird 초대규모 데이터 수집
고객 환경 맞춤형 3가지의 인프라 옵션 및 이슈대응 체계 마련
On Premise / Hybrid cloud / Multi cloud 3개의 인프라 옵션을 제공하여 고객 환경에 따른 맞춤형 구축이 가능하며, 중단 없는 데이터 수집을 위해 IP 차단, 오류 등과 같은 이슈 대응 체계를 갖추고 있습니다.
특장점
-
01Cloud 기반 구축/운영
Kubernetes와 Docker를 사용해 Google, Amazon 클라우드 등 여러 클라우드 컴퓨팅 플랫폼에서 구축/운영이 용이합니다.
-
02자동 부하관리 및 Auto-Scaleout
데이터 수집을 위한 인프라는 작업부하 상황에 따라 리소스를 자동으로 확장하거나 축소할 수 있습니다.
-
03수집자원 자동 재배치
P차단, 서버오류와 같은 이슈 발생 시 데이터 수집기를 자동으로 다른 서버로 배치해 오류를 최소화 합니다.
SCRAPING STUDIO TOOL
데이터 수집 프로젝트 생성과 데이터 수집 모니터링, 품질 관리를 위한 도구-
데이터 수집 워크벤치
-
통합관리
-
시스템 모니터링 알림
-
데이터 수집 리포트 통계
-
데이터 품질 관리
-
데이터 소스관리
도구소개
-
01데이터 추출 수집 워크벤치
-
데이터 수집 규칙 생성
- 데이터 수집을 위한 수집규칙 시각화 (규칙 기반 수집기)
- 시뮬레이터는 유저가 웹서핑을 하는 것과 동일하게 시뮬레이션하는 동시에 데이터 수집
-
-
-
02데이터 수집 운영 통합 관리
-
데이터 수집 프로젝트 관리 및 요청과 테스크 운영 관리
- 데이터 추출 프로젝트 관리(수집 프로젝트 리스트 확인)
- 데이터 추출 프로젝트 관리(신규 수집 프로젝트 생성)
- 데이터 수집 프로젝트 관리
- 프로젝트별 수집 데이터 확인
- 데이터 수집 테스크 관리(테스크 할당 및 선택, 리스트 확인)
- 데이터 수집 스케쥴링(1회 / 일간 / 주간 /월간 /커스텀)
-
-
-
03시스템 모니터링 및 알림
-
수집시스템, 데이터베이스 관리 및 모니터링, 알람
- 데이터베이스 관리 리스트(데이터베이스 리스트 확인)
- 데이터베이스 관리 리스트(데이터베이스 연결 설정 및 수정)
- 데이터베이스 모니터링 리스트(데이터베이스 리스트와 상태 확인)
- 데이터베이스 모니터링 리스트(데이터베이스 연결 확인)
- 알람 설정 관리(새로운 알람 생성)
- 알람 설정 관리(이벤트 발생 시 알람 타입 설정)
-
-
-
04데이터 수집 리포트 및 통계
-
수집된 데이터 현황 및 통계 관리
- 일자 별 데이터 수집 통계
- 러닝타입별 상세 데이터 수집통계
- 자동 이메일 리포트 발송
-
-
-
05데이터 품질 관리
-
이슈 추적 및 협업을 통한 데이터 품질관리
- 수집 중 자주 발생하는 수집 오류/수집 대상 사이트 변화에 대한 자동 확인/리포팅
- 이슈현황에 대한 Overview
- 담당자 배정, 협업을 통한 이슈관리 프로세스
- 이슈 추적 및 해결 현황 리스트 관리
-
-
Success Story
-
외부 데이터 수집
국방IT 융합기술 및 이상징후 분석
미국, 러시아, 중국, 북한 등의 나라로부터 검색되지 않는 딥웹 기반의 데이터를 수집, 정제하고 실시간 분석 체계 제공
-
- 수집된 데이터 기반의 추론과 예측 기술로 국방 및 안보 분야의 위기감지 및 조기대응
-
외부 데이터 수집
대규모 글로벌 멀티채널 데이터 수집
고객 니즈 분석 및 실시간 리스크 모니터링을 위해 전세계 1500개가 넘는 다양한 채널에 대한 On-Demand 데이터 수집
-
- 멀티 채널 외부 데이터를 활용한 적극적 마켓 센싱으로 고객 만족도 향상 및 시장 경쟁력 강화
-
외부 데이터 수집
시장경쟁력 확보를 위한 상품정보, 금융정보 수집 제공
국내 금융사이트의 상품정보 및 금리정보 등 금융 상품 관련 데이터 수집
-
- 금융 상품 관련 데이터를 활용한 타 금융사 상품 비교 및 시장 경쟁력 강화
Reference
-
데이터 수집
헌법재판소
지속적인 법령정보 수집, 최신의 판례 및 법령정보 제공
-
데이터 수집
한국문화정보원
문체부 및 각 부처 문화관련정보 및 민간문화 정보 수집 제공
-
데이터 수집
대한무역투자진흥공사
대외경제 수출입 정보 제공 통합플랫폼 구축
-
데이터 수집
한국무역협회
각 기관별 무역지원사업 데이터를 수집, 분석을 통한 정보 제공
-
데이터 수집
국토교통부
소셜데이터 수집 공간빅데이터 분석 정보 제공
-
데이터 수집
해양수산부 중앙해양안전심판원
해양안전, 사고 관련 대국민정보제공시스템 구축
-
데이터 수집
한국전력공사
전력 관련 소셜데이터 수집 및 분석
-
데이터 수집
식품의약품안전처
식품사고 위해 예측 기반 빅데이터 수집
