Proxy Server

• 클라이언트단에서 클라이언트들 사이에 위치하는 임시 서버
• 클라이언트가 자신을 거쳐 다른 네트워크에 접속할 수 있도록 중간에서 대리해주는 서버
• 서버와 클라이언트 사이에서 대리로 통신을 수행해주는 것을 프록시(Proxy)라 하고, 그 기능을 하는 서버를 프록시 서버(Proxy Serever)라 칭한다.
  

Selenium Grid

• Selenium Grid is a smart proxy server: Selenium Grid는 스마트한 프록시 서버이다. = 클라이언트단에서 웹 브라우저간 대리로 통신을 수행한다.
• 여러 다른 버전의 브라우저들, 각기 다른 장비들과 또한 각기 다른 OS의 환경에서 사용하기 적합하다.
• 실행을 완료하는데 걸리는 시간을 단축하고자 하는 실험군에 적합하다.

Grid Computing

• 각기 다른 형태의 클라이언트(브라우저, 피시, 노트북, 서버, OS까지도 다를수 있는)들을 가상의 프록시 서버로 재구성, 통합하여 병렬로 연결한다.
• 이렇게 병렬로 연결된 컴퓨터들이 서로 함께 연산 및 처리능력을 제공받아 슈퍼 컴퓨터가 된다.

Parallel Computing 병렬 컴퓨팅

• 여러대의 컴퓨터가 여러개의 복잡한 연산을 병렬적으로 동시에 처리한다.
• 결과 값 또한 서로 독립된 결과를 얻는다.

Distributed Computing 분산 컴퓨팅

• 분산 컴퓨팅은 네트워크로 이뤄진 컴퓨터들의 그룹이며, 한가지 공통된 목표를 처리한다.
• 병행 컴퓨팅, 병렬 컴퓨팅과 유사하나 다른점이 있다.
• 병렬 컴퓨팅과 달리 '여러대의 클라이언트'는 '한개'의 공통 목표를 수행, 처리한다.

결론

Grid Computing 그리드 컴퓨팅

• 클라이언트 단에 프록시 서버의 형태로 자리한다. n대의 클라이언트 사이에 자리하며, 여러 다른 디바이스 간의 실행을 빠른 속도로 수행하는데 초점을 둔다.

Parallel Computing 병렬 컴퓨팅

• n대의 디바이스가 n개의 복잡한 연산을 병렬적으로 동시에 처리한다.
• 결과값은 서로 독립된 결과를 얻는다.

Distributed Computing

• n대의 디바이스가 1개의 공통된 목표로 연산을 동시에 수행한다.

Another Summary

• 병렬 컴퓨팅: 다수의 클라이언트를 다수의 독립된 연산코어로 활용 -> 다수의 다른 작업을 수행
• 분산 컴퓨팅: 다수의 클라이언트를 다수의 독립된 연산코어로 활용 -> 한개의 공통 작업을 수행
• 그리드 컴퓨팅: 연결된 그 모든 클라이언트를 가상의 서버로 재구성, 통합하여 병렬로 연결된 컴퓨터들이 서로 함께 연산 및 처리능력을 제공받는다.

Crawling(= scraping) 크롤링(crawler) or 스크래핑(scraping): 나무위키

Definition of Crawling

• 웹 페이지를 그대로 가져와서 거기서 데이터를 추출해내는 행위. 크롤링 하는 소프트웨어를 '크롤러'(crawler)라고 부른다.
• 나무위키도 리그베다 위키를 크롤링해서 시작된 위키며, 나무위키 미러 등은 나무위키를 크롤링한 곳이다.