후니넷에 접속하는 검색 키워드
첨부 '1' |
|
---|
또 하나의 잉여짓..
3월 부터 후니넷(hooni.net) 평일 기준 일일 방문자가 천 명이 넘었다.
크롤링하는 봇인지 실제 사용자인지.. 그리고 실제 사용자라면 어떤 경로로 접속을 하는지..
그 유입 경로를 확인해보려고 PHP로 프로그램을 간단한 만들어서 HTTP Referer 로그를 쌓고 그 데이터를 살펴봤다.
굳이 왜 직접 만들었냐면..? 처음엔 XE의 플러그인을 적용했더니 사이트 속도가 현저히 떨어졌고 이후로 몇 가지 외부 Tool을 사용해 봤지만 데이터를 실시간으로 확인할 수 없거나 일부 데이터만 일시적으로 제공하는 등.. 내 입맛에 맞는 것을 찾지 못했기 때문이다.
(혹시 제가 만든 것과 비슷한게 이미 있었다면.. 추천 좀 ㅠㅠ;)
유입 경로와 검색 키워드에 대한 히스토리는 아래 링크를 통해 접속할 수 있고,
관리자가 아니라도 모든 데이터를 열람할 수 있다.
몇 주 동안 데이터를 모아 확인해보니 주로 실제로 Google, Naver, Daum, Nate 등의 검색엔진을 통해서 유입되고 있었다. 크롤링 봇(Crawling Bot)도 꽤 있었지만 그들이 실제 사용자를 물어오고 있다는 것이니 나쁘지 않았다. 처음엔 단순히 Raw 데이터를 저장하고 원시적으로 확인하는 정도였지만 데이터가 쌓이니 검색어만 추출하고 관리해보고 싶다는 생각이 들었다. 그래서 Raw 데이터를 수집하는 부분만 분리해서 더 빠르게 실행될 수 있도록 했고, Referer 정보를 가공하고 필요한 정보를 추출하는 등의 기능에 대한 DB 스킴과 로직을 단계별로 추가했다.
다행히(?) 국내 검색엔진들을 통해서 검색 키워드를 추출해서 저장하는데 어려움이 없었다. 하지만 Google은 더 이상 Referer에 검색 키워드 정보를 제공하지 않는다.
Google은 개인정보와 보안 이라는 그럴 듯한 핑계로 제공하지 않는다고 하지만 사실 자체 서비스(구글 웹마스터; Google Analytics)에서 통계 정보를 독점하려고 제공하지 않는 듯 하다. 실제로 검색 결과에서 해당 링크로 이동하기 전에 Referer 정보와 그 해시를 자체적으로 저장한 후, 이동 시 Referer 정보를 없애버리는 것 같다.
Naver도 언젠가는 Google처럼 Referer의 정보를 없애버릴 것 같지만, 아직까지는 친절하게 이전의 검색어 정보까지 oquery라는 파라미터로 얻어낼 수 있었다.
그리고 Daum 쪽의 쿼리를 보면서 좀 특이한 부분을 발견했다. Nate가 Daum의 검색엔진을 쓰고 있는 듯 했다. 싸이월드가 한참 잘나갈 때 SK커뮤니케이션즈에서 일했던 나로써는 Nate의 약한 모습이 안쓰러울 뿐이다. 실제 사업적으로 어떤 관련이 있는지는 모르지만 단지 데이터만 가지고 확인할 수 있었던 것은 daum.net/search? 일 때는 실제 Daum 데이터를 검색하는 것이고 daum.net/nate? 일 때는 Nate 데이터를 검색하는 것 같다.
그 밖에 Zum을 통해서 유입되는 경우도 간간히 있다는게 신기하다.
키워드는 대부분 프로그래밍 관련 단어들인데 그 중 좀 억울하고 부끄럽고 특이한 단어는..
"일본야동" 관련..
모두 이 컨텐츠로 연결되고 있었다. (실제로.. 야동은 없다!! ㅋㅋ)
일본야동 스샷 hooni.net/67319
어찌됐든...
악의적이거나 의미 없는 봇의 접속이 아니라 실제로 검색엔진을 통해서 유입된다는 경우가 많았다는 사실을 확인했고 최근 몇 주 동안 그 검색 키워드와 관련 컨텐츠를 다시 보는 재미가 있었다.
이 후 주기적으로 통계를 작성하는 스크립트도 만들고 그 결과 시각화하는 기능을 추가해 볼 예정이다.
-
첫경험 충격으로 훈남된 남자
오늘의 주인공 미국의 Gregg Casarona (당시 21세) 440 파운드 = 약 200 킬로그램(kg)의 모태 솔로 아다. 친구 : "내가 여자애들 불렀으니까 너도 잘해봐" 그렉 : "나 여자랑 말 해본적 없다능.." "되게 귀엽다 너" "어..어..그렇냐능~" 그렉은 용기 내어 데... -
미국인은 추신수 선수의 불고기 광고를 이해 못했다.
아래의 광고를 보자. 어떤 생각이 드는가? 이 광고는 <뉴욕타임스>에 실렸던 불고기 광고다. 대부분의 한국인이 이 광고를 무리없이 수용하는 것에 반해, 미국 현지인들은 '도대체 이 광고가 무엇을 말하려고 하는지 모르겠다'고 받아들이며 많은 논란이 있었... -
이름을 불렀더니 아이들이 달라졌다.
▲ 사진 찍는거 알고 일부러 다른데 쳐다보고 있는 하은이 ㅠㅠ 작년 9월부터 목요일 아침마다 딸 아이 반에서 Volunteer를 하고 있다. 반 전체 28명의 학생이 4그룹으로 나뉘어서, 그룹마다 나와 함께 20~30분 정도씩 수학(?) 놀이를 한다. 놀이는 간단하지만... -
드디어 집이 완성 됐다.
4월 28일.. 분양에 당첨되고 너무 기뻤고, 집이 완성되는 모습을 보면서 내내 즐겁고 뿌듯했다. 물론, 아직은 은행 지분이 더 많은게 함정.. 도움 주신 모든 분들께 정말 감사드린다. 집을 짓는 동안 언제든지 찾아가서 재료, 설계 등을 점검해 볼 수 있었다. ... -
세상에서 가장 아픈 화살 한 발
# 세상에서 가장 아픈 화살 한 발 날아오는 화살 22발을 몸으로 다 막아냈지만 그건 하나도 아프지 않았다. 사랑하는 사람을 지킬 수 있었으니까... 하지만, 마지막의 단 한 발은 너무 아프다. 이것이 모성애고 사랑하는 사람을 지킴에 대한 고통이다. -
YG신인 비아이...대박 사건
본인이 좋아하는 아이돌의 아버지가, 알고보니 삼촌회사 횡령해서 돈빼먹고 망하게 한 장본인이었음. -
“용도만큼 다양한” 라즈베리 파이 운영체제 10선
초미니 컴퓨터 라즈베리 파이는 취미가들과 연구원, 교육기관 등에서 선풍적인 인기를 끌고 있다. 작고 저렴하면서 상당한 성능을 제공하며, 무엇보다도 아주 다재다능하다. 게다가 어떤 프로젝트에도 사용할 수 있을 정도로 운영체제 선택의 폭이 넓다는 것을... -
영혼의 존재를 밝히려는 실험#2
뇌사에서 깨어난 사람의 유체이탈 경험담을 토대로 실험을 함. 환자가 알 수 없는 높은 곳에 특정 사진을 비치 뇌사 후 깨어난 환자에게 물어봄.. [참고] 이전 스크랩한 글. 영혼의 존재를 밝히려는 실험#1 내용(HTML 복사) https://hooni.net/xe/60757 질량 ... -
후니넷에 접속하는 검색 키워드
또 하나의 잉여짓.. 3월 부터 후니넷(hooni.net) 평일 기준 일일 방문자가 천 명이 넘었다. 크롤링하는 봇인지 실제 사용자인지.. 그리고 실제 사용자라면 어떤 경로로 접속을 하는지.. 그 유입 경로를 확인해보려고 PHP로 프로그램을 간단한 만들어서 HTTP Re... -
OS X 미리보기(Preview)의 활용성을 끌어 올리는 20가지 기술 모음
# 들어가며 '미리보기(Preview)'는 OS X의 전신인 NeXTSTEP 운영체제를 통해 그 원형이 일반에 처음 공개된 이후 모든 버전의 OS X에 포함되어 온 OS X의 대표 프로그램 중 하나입니다. 초창기의 미리보기는 지금의 훑어보기(QuickLook) 수준에 지나지 않는 단... -
내가 생각하는 나쁜 녀석들 명대사
그 당시 보면서 공감이 됐던 대사였다. 주둥이에 요실금이 왔나.. 태어날 때는 부모한테 빚지고, 살면서 은행에 빚지고, 죽을 때는 자식한테 빚지고, 평생 빚만지고 사는 인생.. -
아이폰6s 느려짐 현상 원인은 '노후 배터리'
최신 iOS 업데이트 후 아이폰의 눈에 띄게 느려지는 작동 원인이 '노후 배터리'라는 주장이 나왔다. 벤치마크 앱인 긱벤치에서 수집한 데이터를 분석한 결과 구형 아이폰의 성능이 저하되는 뚜렷한 정황이 포착된 것이다. 미국 최대 온라인 커뮤니티 레딧(Red...