Ver 4.x

당신이 원하는 어떤 데이터도 수집이 가능합니다.

SCRAPING STUDIO는 웹 상의 방대한 데이터를 실시간으로 수집하여 다양한 산업군의 정보 분석, 인사이트 도출을 위한 검증된 강력한 빅데이터 수집 솔루션입니다. 지리적 위치나 언어에 대한 제약없이 높은 품질의 데이터를 수집할 수 있습니다.

  • #DeepWeb수집
  • #소셜데이터수집
  • #VOC수집
  • #시장및트렌드분석활용
  • #수집데이터품질관리

SCRAPING STUDIO의 특별함

SCRAPING STUDIO는 분산처리 기술을 활용하여 방대한 데이터의 실시간 수집이 가능합니다.
일반 웹 뿐 아니라 딥 웹(DeepWeb), SNS 데이터를 수집하며, 수집데이터는 품질검증도구를 활용하여 이슈를 자동으로 감지하고 분류해 데이터 품질을 관리합니다.

  • Point 01

    하이퍼스케일

    데이터수집 아키텍처

  • Point 02

    딥웹, 소셜데이터

    자동 수집

  • Point 03

    시나리오기반

    데이터 수집 및 구조화

  • Point 04

    수집데이터

    품질 검증 도구

  • Point 05

    사용자 디바이스를 이용한

    데이터 수집

시스템구성

Core Technology

다양한 빅데이터 수집 기능

일반 웹부터 딥 웹까지, 문서부터 멀티미디어까지 다양한 수집기술

사용자가 필요로 하는 데이터 수집을 위해 시나리오, RSS, Open API 기반 등 다양한 방식의 수집 기술을 활용하여 일반 웹페이지 뿐만 아니라 전문자료, SNS, 로그인이 필요한 딥 웹 데이터, 텍스트와 멀티미디어까지 수집할 수 있습니다.

특장점

  • 01딥 웹(Deep Web)데이터 수집

    학술자료나 논문 등 전문 사이트나 로그인이 필요한 딥 웹의 자료의 수집이 가능합니다.

  • 02소셜데이터 수집

    페이스북, 링크드인, 유튜브, 트위터, 네이버 등 소셜리스닝에 필요한 다양한 소셜 데이터를 수집하고 수집대상 스케쥴링 및 상태 확인 기능을 제공합니다.

  • 03멀티미디어 데이터 수집

    텍스트 데이터 뿐만 아니라 PDF, DOC, XLS등의 파일데이터와 이미지/영상 등의 멀티미디어 수집이 가능합니다.

  • 04메타검색 수집기

    메타검색 수집기는 구글, 네이트, 네이버, 다음, 빙과 같은 유명 검색엔진의 검색결과를 활용해 전세계 최신 데이터를 수집합니다.

딥웹 스크래핑

사용자의 동적이벤트 기반의 데이터 수집 및 품질 검증

사용자의 마우스 클릭, 스크롤, 로그인 등 동적 이벤트 액션규칙 기반으로 데이터를 수집하고 사전 시뮬레이션을 통해 수집데이터의 품질을 평가, 검증할 수 있습니다. 검증된 데이터는 컨텐츠 파싱을 통해 직접 데이터베이스로 저장하여 데이터의 활용성을 높일 수 있습니다.

특장점

  • 01동적 생성 컨텐츠 수집 스크랩핑

    로그인과 AJAX와 같은 동적생성 컨텐츠를 수집할 수 있는 기능을 제공하여 수시로 변경되는 최신 데이터의 수집이 가능합니다.

  • 02사용자 액션 수집 시뮬레이터

    사용자의 마우스 클릭, 스크롤, 키보드 타이핑, 로그인 등 유저 액션 규칙을 적용한 시뮬레이션을 통해 수집이 가능합니다.

  • 03데이터 분석 및 DB변환

    HTML방식이 아닌 컨텐츠 파싱(분석)을 통해 각각 데이터를 스크랩핑하여 데이터베이스로 직접 변환 할 수 있는 기능을 제공합니다.

  • 04사전 시뮬레이션을 통한 품질 평가

    수집정책을 통해 수집된 데이터를 사전 시뮬레이션을 통해 품질을 평가, 검증 할 수 있는 기능을 제공합니다.

수집 품질관리 자동화

실시간 수집현황 모니터링 관리 대시보드를 통한 수집 데이터 이슈관리

데이터 수집 시 이상징후를 자동 감지하고 수집데이터의 오류 자동 디버깅 협업체계를 제공함으로써 수집데이터의 오류를 최소화하고 최적의 품질을 확보할 수 있습니다.

특장점

  • 01이상 징후 자동감지 및 통계관리

    대시보드를 통해 데이터 수집현황을 실시간 모니터링하여 오류 자동 감지 및 수집 통계 등 통합적인 관리가 가능합니다..

  • 02수집 오류 관리 및 디버깅 협업체계

    체계화된 오류 관리 프로세스를 통해 데이터 수집 중 발생한 각종 이슈를 추적하여 빠른 처리가 가능합니다.

Hybrid 초대규모 데이터 수집

고객 환경 맞춤형 3가지의 인프라 옵션 및 이슈대응 체계 마련

On Premise / Hybrid cloud / Multi cloud 3개의 인프라 옵션을 제공하여 고객 환경에 따른 맞춤형 구축이 가능하며, 중단 없는 데이터 수집을 위해 IP 차단, 오류 등과 같은 이슈 대응 체계를 갖추고 있습니다.

특장점

  • 01Cloud 기반 구축/운영

    Kubernetes와 Docker를 사용해 Google, Amazon 클라우드 등 여러 클라우드 컴퓨팅 플랫폼에서 구축/운영이 용이합니다.

  • 02자동 부하관리 및 Auto-Scaleout

    데이터 수집을 위한 인프라는 작업부하 상황에 따라 리소스를 자동으로 확장하거나 축소할 수 있습니다.

  • 03수집자원 자동 재배치

    P차단, 서버오류와 같은 이슈 발생 시 데이터 수집기를 자동으로 다른 서버로 배치해 오류를 최소화 합니다.

SCRAPING STUDIO TOOL

데이터 수집 프로젝트 생성과 데이터 수집 모니터링, 품질 관리를 위한 도구

  • 데이터 수집 워크벤치

  • 통합관리

  • 시스템 모니터링 알림

  • 데이터 수집 리포트 통계

  • 데이터 품질 관리

  • 데이터 소스관리

도구소개

  • 01데이터 추출 수집 워크벤치

    • 데이터 수집 규칙 생성

      1. 데이터 수집을 위한 수집규칙 시각화 (규칙 기반 수집기)
      2. 시뮬레이터는 유저가 웹서핑을 하는 것과 동일하게 시뮬레이션하는 동시에 데이터 수집

  • 02데이터 수집 운영 통합 관리

    • 데이터 수집 프로젝트 관리 및 요청과 테스크 운영 관리

      1. 데이터 추출 프로젝트 관리(수집 프로젝트 리스트 확인)
      2. 데이터 추출 프로젝트 관리(신규 수집 프로젝트 생성)
      3. 데이터 수집 프로젝트 관리
      4. 프로젝트별 수집 데이터 확인
      5. 데이터 수집 테스크 관리(테스크 할당 및 선택, 리스트 확인)
      6. 데이터 수집 스케쥴링(1회 / 일간 / 주간 /월간 /커스텀)

  • 03시스템 모니터링 및 알림

    • 수집시스템, 데이터베이스 관리 및 모니터링, 알람

      1. 데이터베이스 관리 리스트(데이터베이스 리스트 확인)
      2. 데이터베이스 관리 리스트(데이터베이스 연결 설정 및 수정)
      3. 데이터베이스 모니터링 리스트(데이터베이스 리스트와 상태 확인)
      4. 데이터베이스 모니터링 리스트(데이터베이스 연결 확인)
      5. 알람 설정 관리(새로운 알람 생성)
      6. 알람 설정 관리(이벤트 발생 시 알람 타입 설정)

  • 04데이터 수집 리포트 및 통계

    • 수집된 데이터 현황 및 통계 관리

      1. 일자 별 데이터 수집 통계
      2. 러닝타입별 상세 데이터 수집통계
      3. 자동 이메일 리포트 발송

  • 05데이터 품질 관리

    • 이슈 추적 및 협업을 통한 데이터 품질관리

      1. 수집 중 자주 발생하는 수집 오류/수집 대상 사이트 변화에 대한 자동 확인/리포팅
      2. 이슈현황에 대한 Overview
      3. 담당자 배정, 협업을 통한 이슈관리 프로세스
      4. 이슈 추적 및 해결 현황 리스트 관리

Success Story

  • 외부 데이터 수집

    국방IT 융합기술 및 이상징후 분석

    미국, 러시아, 중국, 북한 등의 나라로부터 검색되지 않는 딥웹 기반의 데이터를 수집, 정제하고 실시간 분석 체계 제공

    • 수집된 데이터 기반의 추론과 예측 기술로 국방 및 안보 분야의 위기감지 및 조기대응
  • 외부 데이터 수집

    대규모 글로벌 멀티채널 데이터 수집

    고객 니즈 분석 및 실시간 리스크 모니터링을 위해 전세계 1500개가 넘는 다양한 채널에 대한 On-Demand 데이터 수집

    • 멀티 채널 외부 데이터를 활용한 적극적 마켓 센싱으로 고객 만족도 향상 및 시장 경쟁력 강화
  • 외부 데이터 수집

    시장경쟁력 확보를 위한 상품정보, 금융정보 수집 제공

    국내 금융사이트의 상품정보 및 금리정보 등 금융 상품 관련 데이터 수집

    • 금융 상품 관련 데이터를 활용한 타 금융사 상품 비교 및 시장 경쟁력 강화
  • 대한민국 국방부
    외부 데이터 수집

    국방IT 융합기술 및 이상징후 분석

    • 수집된 데이터 기반의 추론과 예측 기술로 국방 및 안보 분야의 위기감지 및 조기대응
  • 현대자동차
    외부 데이터 수집

    대규모 글로벌 멀티채널 데이터 수집

    • 멀티 채널 외부 데이터를 활용한 적극적 마켓 센싱으로 고객 만족도 향상 및 시장 경쟁력 강화
  • KB국민은행
    외부 데이터 수집

    시장경쟁력 확보를 위한 상품정보, 금융정보 수집 제공

    • 금융 상품 관련 데이터를 활용한 타 금융사 상품 비교 및 시장 경쟁력 강화

Reference

  • 데이터 수집

    헌법재판소

    지속적인 법령정보 수집, 최신의 판례 및 법령정보 제공

  • 데이터 수집

    한국문화정보원

    문체부 및 각 부처 문화관련정보 및 민간문화 정보 수집 제공

  • 데이터 수집

    대한무역투자진흥공사

    대외경제 수출입 정보 제공 통합플랫폼 구축

  • 데이터 수집

    한국무역협회

    각 기관별 무역지원사업 데이터를 수집, 분석을 통한 정보 제공

  • 데이터 수집

    국토교통부

    소셜데이터 수집 공간빅데이터 분석 정보 제공

  • 데이터 수집

    해양수산부
    중앙해양안전심판원

    해양안전, 사고 관련 대국민정보제공시스템 구축

  • 데이터 수집

    한국전력공사

    전력 관련 소셜데이터 수집 및 분석

  • 데이터 수집

    식품의약품안전처

    식품사고 위해 예측 기반 빅데이터 수집