Skip to main content

"A Simple Recursive Web Page Crawler to Scrape Data" written in Python

I am very new to python language. I bet there are better tools or modules written professionally. But I somehow find this very code written by myself useful. So I wanted to share it online. 

Lets say that we aim to scrape a specific kind of data (E.g. e-mail information is a good data type to try this code on) from within an html based web site. This code visits all possible links she finds and visits them recursively to find data you're seeking. If the web site is designed in a proper format you can inspect the code and identify a few html tags appearing just before the data string you need. 

Of course this code will not work properly if you don't make the necessary adjustments specific for your case. I just wanted to give a general idea to grasp the logic behind recursively crawling a web page and scraping any data.

In crawl() function  I give a random time break between consecutive requests in order not to disturb the server site much. It is a good idea to give that kind of break.

PS. The code requires bs4 module installed



 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
#!/usr/bin/python

"""
18042016
This code is able to scrape data in a web site. 
It recursively visits links and sub links.
But the code should be specifically designed for the website
"""

#importing necessary libraries
import sys, getopt, time, requests, random
from bs4 import BeautifulSoup as BS

search_tags = ['write here','the list of','corresponding html tags','to be used to recover data']
emaildb = list()
linkdb = list()
femails = open("emails.txt","w+")
rootDir = sys.argv[1]
depth = 0

def scrapeEmail(url):
 global emaildb
 global femails
 global search_tags
 crop = url
 for tag in search_tags:
  sstring = tag
  sindex = crop.find(sstring)
  crop = crop[sindex+len(sstring):]

 sstring = ''
 sindex = crop.find(sstring)
 crop = crop[:sindex]
 if (crop.find('@') >= 0 and) (crop not in emaildb): 
  emaildb.append(crop)
  print(crop)
 return

def crawl(link):
 time.sleep(1.0*random.random()+1.0)
 global linkdb
 global maxDepth
 global rootDir
 global depth

 if (link.startswith("http")) and (link in linkdb) and (link.find(sys.argv[1]) >= 0):
  print(link+" "+str(depth))
  linkdb.append(link)
  url = requests.get(link)
  scrapeEmail(url.text)
  soup = BS(url.text,"lxml") 
  for line in soup.find_all('a'):
   templink = line.get('href')
   if ( templink is not  None):
    if(not templink.startswith("http")) and (templink.count('.') == 1) \
    and (templink.find('@') == -1) and (templink.find('javascript') == -1):
     templink = rootDir+templink
    if (not templink in linkdb) and (templink.startswith("http")) and (templink.find(sys.argv[1]) >= 0)  \
    and (templink.find('@') == -1) and (templink.find('javascript') == -1) and (len(templink)<=500):
     linkdb.append(templink)
     crawl(templink)  
 depth = depth+1
 return


try:
 linkdb.append(sys.argv[1])
 crawl(sys.argv[1])
 for item in emaildb:
  femails.write(item+"\n")
 femails.close()

except:
 for item in emaildb:
  femails.write(item+"\n")
 femails.close()

Comments

Popular posts from this blog

LaTeX'te Sunum Hazırlamak

Latex'i kullanarak projeksiyon cihazlarında sunulmaya yönelik çok güzel sunumlar hazırlamak mümkün olmaktadır. Oluşturulan dosya PDF olduğundan ve her işletim sisteminde (linux, mac os, unix, windows vs.) en azından bir tane PDF okuyucu program olduğundan, hazırlanan sunumların taşınabilirliği de azami seviyede olmaktadır. Tabi ki latex'in en üstün olduğu nokta olan mükemmel fontlar ve matematiksel denklem yazılımları latex'te hazırlanan sunumlar için de geçerli olmaktadır. Aşağıdaki linklerden indireceğiniz pakette örnek sunuma ait gerekli dosyaları bulabilirsiniz. Daha ayrıntılı bilgi almak isterseniz bana ulaşabilirsiniz.
Link : DROPBOX

Hazırladığım örnek sunumun slaytları şu şekilde:





















Yılbaşına Nerede Girilmez - İzmir Narlıdere Naci Usta Restoran

Geçen hafta yılbaşı dolayısıyla eşim "iki senedir evdeyiz hadi bu sene dışarıya çıkalım yılbaşında" dedi. Bu fikir her ne kadar bu tarz mekanda eğlenme olayları beni açmasa da, bana da mantıklı geldi, bir değişiklik olur dedim, iki arkadaşım ve eşleri ile birlikte toplam 6 kişi yılbaşı gecesini bir makanda geçirmeye karar verdik. Şimdi hal böyle olunca tabi insan herşey tam olsun istiyor, o yüzden biz de İzmir'deki olası mekanları değerlendirip bir fiyat filtresinden geçirdikten sonra gördük ki, "yıldız tilbe ile yeni yıl coşkusu" tadındaki eğlenceler, şayet yıldız tilbeyi izlemeye gidip yıldız tilbeyi görmek istiyorsanız kişi başı yaklaşı 400 TL ye mal oluyor. Tabi biz de oha dedik. Sonra ayrı bir olası mekan grubu daha keşfettik, bu gruptaki fiyatlar 90 (limitli içecek) ila 150 tl (limitsiz içecek) arasında değişiyordu. Konum ve müşteri profili düşünülünce bu mekanların bize daha çok hitabedebileceğini düşündük. Sonra limitli içecek olayında vazgeçip limitsi…