솔트룩스-스크래핑 스튜디오

세상의 모든 데이터를 실시간으로 수집하고 분류하는 AI

당신이 원하는 어떤 데이터도 수집할 수 있습니다.
웹상의 방대한 데이터를 실시간으로 수집하여 다양한 산업군의 정보 분석,
인사이트 도출을 위한 검증된 강력한 빅데이터 수집 솔루션으로,
지리적 위치나 언어에 대한 제약 없이 높은 품질의 데이터를 수집할 수 있습니다.

#DeepWeb수집 #소셜데이터수집 #VOC수집 #시장및트렌드분석활용 #수집데이터품질관리

Core Features

SCRAPING STUDIO의 주요기능

하이퍼스케일 데이터 수집 아키텍처

대규모 데이터를 안정적으로 수집할 수 있는 하이퍼스케일 아키텍처를 기반으로
고성능 데이터 수집 환경을 제공합니다.
딥웹, 소셜데이터 자동 수집

일반 웹뿐 아니라 딥웹과 소셜 채널의 다양한 데이터를 자동으로 수집하여
폭넓은 데이터 확보를 지원합니다.
시나리오 기반 데이터 수집 및 구조화

사용자 목적에 맞춘 시나리오 기반 수집 기능을 통해 데이터를 자동 분류·구조화하여
활용도를 높여줍니다.

Detailed functions

SCRAPING STUDIO 세부기능

다양한 빅데이터 수집 가능
일반 웹부터 딥 웹까지, 문서부터
멀티미디어까지 다양한 수집 기술

사용자가 필요로 하는 데이터 수집을 위해 시나리오, RSS, Open API 기반 등 다양한 방식의 수집 기술을 활용하여 일반 웹페이지뿐만 아니라 전문 자료, SNS, 로그인이 필요한 딥 웹 데이터, 텍스트와 멀티미디어까지 수집할 수 있습니다.
딥웹 스크래핑
사용자의 동적 이벤트 기반의
데이터 수집 및 품질 검증

사용자의 마우스 클릭, 스크롤, 로그인 등 동적 이벤트 액션 규칙 기반으로 데이터를 수집하고 사전 시뮬레이션을 통해 수집 데이터의 품질을 평가, 검증할 수 있습니다. 검증된 데이터는 컨텐츠 파싱을 통해 직접 데이터베이스로 저장하여 데이터의 활용성을 높일 수 있습니다.
수집 품질 관리 자동화
실시간 수집 현황 모니터링 관리
대시보드를 통한 수집 데이터 이슈관리

데이터 수집 시 이상징후를 자동 감지하고 수집 데이터의 오류 자동 디버깅 협업 체계를 제공함으로써 수집 데이터의 오류를 최소화하고 최적의 품질을 확보할 수 있습니다.
Hybrid 초대규모 데이터 수집
고객 환경 맞춤형 3가지의 인프라 옵션
및 이슈대응 체계 마련

On Premise / Hybrid cloud / Multi cloud 3개의 인프라 옵션을 제공하여 고객 환경에 따른 맞춤형 구축이 가능하며, 중단 없는 데이터 수집을 위해 IP 차단, 오류 등과 같은 이슈 대응 체계를 갖추고 있습니다.

TOOL INTRODUCTION

도구 소개

데이터 추출 수집 워크벤치

데이터 수집 규칙 생성

데이터 수집을 위한 수집규칙 시각화(규칙 기반 수집기)
시뮬레이터는 유저가 웹서핑을 하는 것과 동일하게 시뮬레이션하는 동시에 데이터 수집

데이터 추출 수집 워크벤치

데이터 수집 프로젝트 관리 및
요청과 테스크 운영 관리

데이터 추출 프로젝트 관리(수집 프로젝트 리스트 확인)
데이터 추출 프로젝트 관리(신규 수집 프로젝트 생성)
데이터 수집 프로젝트 관리
프로젝트별 수집 데이터 확인
데이터 수집 테스크 관리(테스크 할당 및 선택, 리스트 확인)
데이터 수집 스케쥴링(1회 / 일간 / 주간 /월간 /커스텀)

시스템 모니터링 및 알림

수집시스템, 데이터베이스 관리
및 모니터링, 알람

데이터베이스 관리 리스트(데이터베이스 리스트 확인)
데이터베이스 관리 리스트(데이터베이스 연결 설정 및 수정)
데이터베이스 모니터링 리스트(데이터베이스 리스트와 상태 확인)
데이터베이스 모니터링 리스트(데이터베이스 연결 확인)
알람 설정 관리(새로운 알람 생성)
알람 설정 관리(이벤트 발생 시 알람 타입 설정)

데이터 수집 리포트 및 통계

수집된 데이터 현황
및 통계 관리

일자 별 데이터 수집 통계
러닝타입별 상세 데이터 수집통계
자동 이메일 리포트 발송

데이터 품질 관리

이슈 추적 및 협업을 통한
데이터 품질관리

수집 중 자주 발생하는 수집 오류/수집 대상 사이트 변화에 대한 자동 확인/리포팅
이슈현황에 대한 Overview
담당자 배정, 협업을 통한 이슈관리 프로세스
이슈 추적 및 해결 현황 리스트 관리

SYSTEM ARCHITECTURE

시스템 구성도

USE CASES

유즈케이스

외부 데이터 수집
국방IT 융합기술 및
이상징후 분석

미국, 러시아, 중국, 북한 등의 나라로부터 검색되지 않는 딥웹 기반의 데이터를 수집, 정제하고 실시간 분석 체계 제공
- 수집된 데이터 기반의 추론과 예측 기술로 국방 및 안보 분야의 위기감지 및 조기대응
외부 데이터 수집
대규모 글로벌 멀티채널
데이터 수집

고객 니즈 분석 및 실시간 리스크 모니터링을 위해 전세계 1500개가 넘는 다양한 채널에 대한 On-Demand 데이터 수집
- 멀티 채널 외부 데이터를 활용한 적극적 마켓 센싱으로 고객 만족도 향상 및 시장 경쟁력 강화
외부 데이터 수집
시장경쟁력 확보를 위한 상품정보,
금융정보 수집 제공

국내 금융사이트의 상품정보 및 금리정보 등 금융 상품 관련 데이터 수집