樓主: 資料狂人
9251 84

[學科前沿] 學術研究中的“加速器”--Python爬蟲   [分享]

VIP管理員

泰斗

69%

還不是VIP/貴賓

-

威望
9
論壇幣
986597788 個
通用積分
25971.8224
學術水平
4496 點
熱心指數
3270 點
信用等級
3509 點
經驗
562328 點
帖子
7666
精華
142
在線時間
13692 小時
注冊時間
2010-3-18
最后登錄
2019-10-16

初級熱心勛章 初級學術勛章 中級學術勛章 中級熱心勛章 初級信用勛章 中級信用勛章 高級學術勛章 高級熱心勛章 高級信用勛章 特級信用勛章 特級學術勛章

樓主
資料狂人 在職認證  發表于 2019-1-4 09:17:56 |只看作者 |倒序

對于科學研究:人類動力學研究,計量社會學,復雜網絡,數據挖掘,理論計量學、應用計量學、或是各個論文中對數據整理都異常重要。

網絡爬蟲是收集相關數據的利器,它可以抓取某個網站或者某個應用的內容,提取有用的價值以及各種數據。也可以模擬用戶在瀏覽器或者App應用上的操作,實現自動化的程序。

而因為Python的腳本特性,以及其不僅易于配置,而且對字符的處理也非常靈活,加上Python有豐富的網絡抓取模塊,所以網絡爬蟲經常與Python聯系在一起。


“工欲善其事,必先利其器”,當您的實證分析中有了一手的準確數據,就好像伐木人有了一把鋒利的斧子,那么您的實證效率會呈現幾何級的增長!這把利器就是Python爬蟲:

Python爬蟲學術應用_9月北京現場班

時間:2019年9月13-16日 (四天)

地點:北京市海淀區丹龍大廈附近

安排:上午9:00-12:00,下午1:30-4:30,答疑4:30-5:00

費用:3600元 / 3000元(學生價僅限全日制本科生及碩士在讀);食宿自理

我要報名


講師介紹:

閻老師,長期從事數據分析的理論研究、教學和實踐工作。長期關注各類統計軟件的發展和國內外各行業的應用情況,一直保持著與統計應用前沿的密切接觸,在數據挖掘應用、市場研究應用等領域經驗豐富。
擅長企業數據分析和企業診斷,參與多項國家級、省級課題的科研工作,曾任多家電商企業的運營顧問和培訓師,積累了大量實戰經驗。


課程導引:

在了解爬蟲的過程中,由于對這項技術缺乏系統了解,“小白”們難免會被紛繁生僻的知識點折騰地眼花繚亂、暈頭轉向。有的人打算先搞懂基本原理和工作流程,有的人計劃從軟件的基本語法入門,也有人打算弄懂了網頁文檔再來……在學習抓取網絡信息的道路上,許多人因為中途掉進陷阱最終無功而返。因此,掌握正確的方法的確非常重要。

這一門課的目的,就是希望能夠通過通俗易懂的講解令沒有編程基礎的研究人員通過學習,能夠學會爬取主流網站的內容并整理成為可為后續分析提供依據的數據資料在這門課結束之后,我們能夠爬取豆瓣的評論內容、學術論文、淘寶的銷售數據、房價的變化趨勢,還能對股票市場進行分析和預測


課程大綱:

為了能夠完整地呈現Python數據采集的方法和過程,這門課將分為四大部分——

一、Python快速入門

在寫爬蟲之前,我們需要了解一些有關工具的基礎知識。所以,第一天的授課內容是關于Python基礎的,是后續課程中讀懂并編寫爬蟲程序的鋪墊。其中包括了Python的數據結構、變量類型、循環和控制語句、Numpy和Pandas包的基本功能。有基礎的老師可以跳過這一部分直接進入第二部分。


第1章 認識Python

1. Python的數據結構與函數

2. Python的循環與控制流

3. Python的基本擴展庫


二、初識爬蟲

在這一部分中,我們將正式接觸爬蟲,我們也將感受到每天都在使用的瀏覽器究竟藏著哪些細節。為了能夠得到清潔的數據,我們不得不忽略網頁精致的外觀和編排,刻意繞開瀏覽器的幫助來分離和理解數據。頁源里除了我們認識的文字,那些標簽都有著怎樣的含義?如何把網頁內容“請”到我們的分析工具中來?爬取數據有怎樣的規律可循?這些都是第二部分將要呈現的內容。


第2章 重新認識網絡

1. 什么是Web前端

2. HTML的結構


第3章 創建爬蟲

1. 什么是爬蟲

2. Python爬蟲的環境搭建

3. 爬蟲三部曲——獲取、解析、保持

小例子:創建第一個爬蟲


三、頁面解析

在之前的課程中,我們已經知道了要怎樣繁復的工程才堆砌出絢麗的網頁,但這其中大部分的內容是我們并不需要的。如何穿越層層與我們無關的標簽和HTML屬性抽取到清潔的數據內容?如何使用更簡潔高效的方式達到目的?大名鼎鼎的“正則”究竟是什么?這些是4-6章要重點講授的內容。


第4章 復雜HTML解析

1. 正則表達式

2. 一個名叫“心靈雞湯”的擴展庫

3. 導航樹

4. 突破反爬蟲的限制

案例1:靜態頁面爬蟲


第5章 動態渲染頁面的爬取

1. Ajax和動態HTML

2. 無界面瀏覽器PhantomJS

3. 自動化測試庫Selenium

案例2:動態爬蟲


第6章 Scrapy爬蟲架構

1. Scrapy爬蟲結構

2. 創建爬蟲模塊

3. 選擇器

4. 構建Item Pipeline

5. 請求與相應

案例3:Scrapy爬蟲


四、爬取結果的處理

到目前為止,我們處理的還都是規范數據,但現實是,我們面對更多的是樣式不規范的數據,放棄不符合預期的數據并不是一個長久之計。在我們無法挑選數據時,這一章的內容就顯得格外有用了。一個長句中究竟包含了哪些有效信息?一條評價反映出客戶怎樣的態度?接下來的內容將介紹一些工具和方法,幫助我們控制或篩選進入視線的數據,為后續的數據分析做準備。


第7章 數據清洗

1. 清洗結構化數據

2. 清洗非結構化數據

3. 數據標準化

案例4:計算詞頻


第8章 自然語言處理入門

1. 獲取文本語料

2. 加工原始文本

3. 從文本中提取信息

案例5:情感分析


優惠信息:

現場班老學員9折優惠;
同一單位三人以上同時報名9折優惠;

以上優惠不疊加。


報名流程:

1. 點擊“我要報名”,網上提交報名信息;

2. 訂單繳費;

3. 繳費確認,開課前一周發送軟件準備,電子版講義;
4. 現場領取發票及邀請函。


聯系方式:

魏老師
QQ:28819897142881989714
Tel:010-68478566

Mail:vip@pinggu.org


本帖被以下文庫推薦




stata SPSS
沙發
資料狂人 在職認證  發表于 2019-1-4 09:19:33 |只看作者
歡迎大家報名參加~



回復

使用道具 舉報

藤椅
weinamaleny 在職認證  發表于 2019-1-4 09:22:10 |只看作者

回帖獎勵 +3

閻老師有多年的Python授課經驗,同時也有豐富地學術論文數據方面的經驗,Python爬蟲學術應用-為你的論文助一臂之力!
回復

使用道具 舉報

板凳
名字可以改嗎 在職認證  發表于 2019-1-4 09:23:58 |只看作者

回帖獎勵 +3

爬蟲,即網絡爬蟲,大家可以理解為在網絡上爬行的一只蜘蛛,互聯網就比作一張大網,而爬蟲便是在這張網上爬來爬去的蜘蛛,如果它遇到自己的獵物(所需要的資源),那么它就會將其抓取下來。比如它在抓取一個網頁,在這個網中他發現了一條道路,其實就是指向網頁的超鏈接,那么它就可以爬到另一張網上來獲取數據。
回復

使用道具 舉報

報紙
名字可以改嗎 在職認證  發表于 2019-1-4 09:24:21 |只看作者
因為python的腳本特性,python易于配置,對字符的處理也非常靈活,加上python有豐富的網絡抓取模塊,所以兩者經常聯系在一起。Python爬蟲開發工程師,從網站某一個頁面(通常是首頁)開始,讀取網頁的內容,找到在網頁中的其它鏈接地址,然后通過這些鏈接地址尋找下一個網頁,這樣一直循環下去,直到把這個網站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站,那么網絡蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。
回復

使用道具 舉報

地板
名字可以改嗎 在職認證  發表于 2019-1-4 09:24:48 |只看作者
爬蟲可以抓取某個網站或者某個應用的內容,提取有用的價值。也可以模擬用戶在瀏覽器或者App應用上的操作,實現自動化的程序。以下行為都可以用爬蟲實現:
搶票神器
投票神器
預測(股市預測、票房預測)
國民情感分析
社交關系網絡
如上所述,我們可以認為爬蟲一般是指網絡資源的抓取,而因為python的腳本特性,以及其不僅易于配置,而且對字符的處理也非常靈活,加上python有豐富的網絡抓取模塊,所以兩者經常聯系在一起。這也就是為什么python被叫做爬蟲的原因。
回復

使用道具 舉報

7
三千錦繡 發表于 2019-1-4 09:37:30 |只看作者

回帖獎勵 +3

支持一下
回復

使用道具 舉報

8
wnh728 發表于 2019-1-4 09:40:49 |只看作者

回帖獎勵 +3

Python爬蟲,謝謝樓主資源共享!
回復

使用道具 舉報

9
bingyang1008 發表于 2019-1-4 09:41:54 |只看作者

回帖獎勵 +3

支持一下!
回復

使用道具 舉報

10
TONYANDYOU 發表于 2019-1-4 09:42:05 |只看作者

回帖獎勵 +3

支持一下
回復

使用道具 舉報

您需要登錄后才可以回帖 登錄 | 我要注冊

京ICP備16021002-2號 京B2-20170662號 京公網安備 11010802022788號 論壇法律顧問:王進律師 知識產權保護聲明   免責及隱私聲明

GMT+8, 2019-10-18 00:06
FUN88电竞