Python爬蟲基礎課程介紹

什么是爬蟲？

我們把它定義為一個自動從網絡獲取數據的程序。

爬蟲能干什么？

新聞數據：今日頭條，實際上今日頭條他們不做新聞編輯，他們的新聞來自后臺的爬蟲程序，從各大新聞網站上去把這些新聞下來，到它們自己的服務器上，然后做一些自己的分析，它們有一個特別的的功能就是會根據用戶的習慣。比如你自己喜歡什么樣的新聞，它就會給你推薦和你喜歡的新聞類似的新聞。

機器學習：股票數據獲取及分析。我們的爬蟲可以給機器學習提供一些數據來源，大家知道，訓練一個機器算法需要大量的數據，我們的爬蟲就可以獲取這些數據，提供給機器訓練。

網絡搜索引擎的一個部件：我們看到的百度、搜狗，它們實際上是有一個爬蟲的矩陣，它們是有一個服務器集群，去實現這個爬蟲，它們不停的從互聯網去掃描這些數據，去建立索引，提供給大家進行搜索。

培訓對象

具有一定的python基礎知識，想學習python在網絡爬蟲方面的基礎知識的同學，如果沒有python基礎知識，有其他語言如java等經驗也同樣適合本課程。

培訓目標

a)理解網絡爬蟲基礎知識，會使用Python的一些標準庫，urllib\urllib2\requests實現簡單的爬蟲應用。

b)掌握爬蟲的程序結構和設計原則

c)掌握爬蟲的程序調試工具和技巧

知識準備

前提：了解基本的Python語言知識。

推薦網站：

這個網站可以快速的去復習或者快速的去學習Python的基本語法，這里面還有一些免費的Python資源。

學習編程語言的方法就是你不停的去使用它。

如何獲得幫助：

1.搜索引擎（推薦）

2.官方文檔（推薦）

3.向人求助（不太推薦，效率會比較低）

課程內容

a）http協議介紹，http是非常重要的網絡基礎協議，爬蟲就是全程為http協議打造的

b）Python標準庫里對http的實現及用法

c）正則表達式，用來對爬下來的內容進行初步分析，獲取我們想要的數據

d）多線程用來提高爬蟲的執行效率，分布式爬蟲簡介

e）課程總結：回顧與展望

f）課程實例：文本數據，圖片數據，AJAX數據