유지보수 0원 가능하게 한 크롤링 기술

지능형 패턴분석 알고리즘 | 지능형 패스툴 | 자동코드생성기 | 클라우드의 가상화 | 머신러닝 기술
2019.10.18
Copyrightⓒ 2019 by HASHSCRAPER Inc. All Rights Reserved
Insight Report
유지보수비용 0원 가능하게 한 크롤링 기술

정기적인 데이터 수집 시
관리해야할 요소
4 CRAWLING TECHNOLOGY
IP차단
서버사용비
사이트 장애
사이트 업데이트
평균 업데이트 주기 : 3개월
월 평균 5백만원 발생
1백만개 데이터 수집 시 발생하는 유지보수비용
데이터 수가 많아지거나 빠른 속도를 원할 시 더 많은 비용 발생
4가지 크롤링 기술로 유지보수 0원
크롤링 기술로 별도 개발비/관리비 없이 유지보수관리 가능
번거롭고 많은 비용이 소요되는 유지보수관리를 0원으로 만드는 크롤링 기술 4가지
일반 크롤링 업체
해시스크래퍼

지능형 패턴분석 알고리즘
웹을 모니터링하여 사이트 장애/업데이트를 실시간으로 관리해주는 지능형 봇
클라우드의 가상화
서로 다른 종류의 컴퓨팅 자원에 가상화기술을 적용시켜 통합관리하는 기술
HASHSCRAPER CRAWLING TECH
지능형 패스툴 & 자동코드생성기
간단한 조작으로 자동으로 코드를 생성하여 시간과 비용을 줄이는 개발 툴
머신러닝 기술
자연어처리, 이미지분석 기술 통한 데이터 분석 기술
4 CRAWLING TECHNOLOGY

크롤링 기술1 : 지능형 패턴 분석 알고리즘
지능형 봇이 실시간으로 웹을 분석하고 패턴을 추출하는 지능형 패턴분석 알고리즘
웹 사이트 데이터 수집 구간
봇에 의해 분석된 사이트 구조

크롤링 기술1 : 지능형 패턴 분석 알고리즘
< 지능형 패턴분석 알고리즘 작동 구조 >
모니터링/수집
실시간 모니터링 및
데이터 수집
문제점 파악
사이트 장애 발생 or 업데이트
사이트 재분석
HASHSCRSPER
Server Management System
데이터 수집 요청

크롤링 기술2 : 지능형 패스툴 & 자동코드생성기
지능형 패스툴
클릭&드래그 만으로 수집 대상을 자동 설정할 수 있는 지능형
툴. 간단한 조작만으로도 데이터 수집 설정이 가능하여  
개발시간을 단축시킬 수 있다.
자동코드생성기
지능형 패스툴에 의해 개발 코드가 자동으로 생성되는개발 툴.
초급 개발자도 빠르고 쉽게 개발할 수 있으며,
높은 데이터 품질과 안정적인 수집이 가능
비용절약, 퀄리티 향상 2가지 모두를 잡게 한 지능형 패스툴 & 자동코드생성기

① 알고리즘 적용 전 기본 코드
② 타겟 데이터를 클릭&드래그 하여 손
쉽게 선택
③ ‘지능형 패스툴’이 페이지 내 동일 패
턴 데이터를 검색/설정
④ 2,3번 작업이 소스코드로 자동 생성.
3초 만에 개발 완료
2
3 4
1
< 지능형패스툴 & 자동코드생성기 동작 순서 >

< 지능형패스툴 & 자동코드생성기 장점 >
시간 단축
프로그램 개발 시간을
크게 단축시켜
빠르게 수집 가능
비용 절약
개발 인건비가 절약되
어 저렴한 비용에
서비스 제공
안정적인 수집
개발자에 따른 의존도를
줄여 데이터 품질은 높이
고 안정적 수집 가능
빠른 니즈 반영
고객의 추가적인 요구사
항을 빠르고 정확하게
반영/대처 가능

크롤링 기술3 : 클라우드의 가상화
다양한 컴퓨팅 자원에 가상화 기술이 적용시켜 통합관리하여 효율적으로 작업 수행
HASHSCRSPER
Server Management System
CLOUD
IDC HASHSCRAPER
HW
가상화 기술 적용
클라우드, IDC, 물리적인 HW 등 서로 다른 종류의 컴퓨팅 자원이 해시스크래퍼의 서버관리시스템에 의해
가상화 기술이 적용되어 다수의 가상머신들이 수집 목적과 상황에 따라 통합관리되어 작업 수행

크롤링 기술3 : 클라우드의 가상화
특정 컴퓨팅 자원의 IP가 차단되
어 수집이 불가능할 시, 프록시 서
버를 사용하여 IP차단을 해결
수집 목적과 상황, 데이터의 양에
따라 컴퓨팅 자원을 신속히 전환
하거나 동시 진행 가능
< 컴퓨팅 자원 가상화 구조 >
2
1
2
1

크롤링 기술4 : 머신러닝 기술
자연어처리 통한 감성분석 : 제품에 대한 긍/부정률, 제품의 강점/특성 확인
상품 구매 댓글, SNS 댓글 분석 통해 상품/서비스에 대한 고객의 긍/부정률을 확인하고
분석하여 고객 반응 분석 통한 판매예측모델 구축 가능

크롤링 기술4 : 머신러닝 기술
이미지 분석 기술 : 유사/특정 이미지 수집
수천 개 카테고리 내 이미지를 빠르게 분류하고 검색하여 유사/특정 이미지 수집
유사 스타일의 제품을 추천하거나 불쾌감을 주는 콘텐츠 검토 가능

유지보수 0원 가능하게 한 크롤링 기술

More Related Content

Similar to 유지보수 0원 가능하게 한 크롤링 기술 (20)

유지보수 0원 가능하게 한 크롤링 기술