Python網頁爬蟲新手開發實戰

網頁資料爬取.清理&儲存.部署.應用

學會如何建置自動化網頁爬蟲,提升你2倍的資料工作效率

你想要蒐集網頁資料來分析,卻有以下的困擾嗎?

  • 網頁種類多樣,不知道要怎麼爬取?
  • 在網路上學了很多爬取的方法,實際上建置網頁爬蟲的時候還是爬不到資料...
  • 網頁原始碼結構複雜,不知道要怎麼有效解析?
  • 不知道要如何選擇適合的網頁爬蟲工具?
  • 遇到反爬蟲機制的網頁不知道要怎麼爬取?
  • 好不容易建置了網頁爬蟲,不知道要怎麼提升工作效率?
  • 想要入門資料分析的領域,不知道要如何打造自動化的資料蒐集系統?
  • 蒐集到大量的網頁資料,不知道接下來要怎麼進行應用或分析?

你需要的是一套成功資料人都在使用的網頁系統化爬取策略

很多人會想要學習Python網頁爬蟲,無非就是希望能夠利用它自動化蒐集網路上的資料,來提升資料工作效率,或是藉此入門資料分析,進而轉職大數據分析或人工智慧(AI)的領域。


然而大部分的Python網頁爬蟲新手,雖然很認真的跟著網路上的教學實作,但是遇到新網頁的時候,還是不知道要怎麼下手開發?更不用說有反爬蟲機制的網頁,完全不知道要怎麼通過.....


我看到了這個痛點,如同看到多年前剛開始學習網頁爬蟲的自己,所以開設了《Python網頁爬蟲新手開發實戰課》,用實際的網站為例,教你各種網頁的系統化爬取策略,讓你遇到新網頁的時候,能夠舉一反三,輕鬆開發出Python網頁爬蟲,提升工作效率。


加入Python新手開發實戰課,你可以獲得什麼樣的成果?

建立自動化網頁爬蟲,提升你2倍的資料工作效率

即時取得網路上最新的資訊,做出有效的決策及應用

輕鬆入門數據分析的領域,提升職場競爭力

學會爬取新聞、電商、社群、財金及多媒體網站的資訊

有能力爬取非結構式的資料(圖片、影片、檔案)

有能力通過反爬蟲機制及降低被偵測封鎖的風險

清理、儲存爬取到的網頁資料(EXCEL、CSV、MySQL、Google BigQuery)

應用爬取到的網頁資料(商品評論語意分析、社群聲量分析、資料視覺化)

結合Google雲端平台定時自動化執行網頁爬蟲蒐集資料

有多個作品集,對外展現自動化蒐集數據的實力

《Python網頁爬蟲新手開發實戰》11大章節詳細介紹

第一章節:基本觀念

此單元會來分享網頁爬蟲的基礎重要觀念,讓你在實務上面對各種網頁的時候,能夠舉一反三,順利建置出合適的網頁爬蟲專案。

  • 1.1-章節簡介
  • 1.2-認識網頁爬蟲
  • 1.3-網頁的基本運作原理
  • 1.4-網頁原始碼結構的重要觀念
  • 1.5-網頁爬蟲工具的使用時機
  • 1.6-網頁爬蟲的規範與開發流程
  • 1.7-總結
第二章節:環境建置

此單元會一步一步帶你建置網頁爬蟲的開發環境,不用擔心過程中有東西不會設定,讓你可以順利建置出好的學習環境。

  • 2.1-安裝Python 3
  • 2.2-安裝程式開發工具
  • 2.3-安裝Git版本控制工具
  • 2.4-安裝網頁爬蟲套件
第三章節:靜態網頁

此單元會用新聞網站為例,教你靜態網頁的爬取方法、提升網頁爬蟲執行效率的技巧,透過實際爬取新聞資料,讓你學會爬取靜態網頁資料的同時,也能夠建置出穩定高效的網頁爬蟲專案。

  • 3.1-章節簡介
  • 3.2-什麼是靜態網頁?
  • 3.3-批次爬取靜態網頁的資料
  • 3.4-批次爬取子網頁的資料
  • 3.5-批次爬取多分頁的網頁資料
  • 3.6-提升網頁爬蟲效率的非同步技巧
  • 3.7-提升網頁爬蟲效率的多執行緒技巧
  • 3.8-5個優化網頁爬蟲穩定度的技巧
  • 3.9-總結
第四章節:JavaScript型網頁

此單元會用三大財金網站為例,教你各種JavaScript型網頁的特性與爬取方法,透過實際爬取財金資料,讓你在面對JavaScript型網頁的時候,能夠分辨其中的不同,使用對的方法來爬取資料。

  • 4.1-章節簡介
  • 4.2-什麼是JavaScript型網頁?
  • 4.3-批次爬取JSON格式的網頁資料(GET)
  • 4.4-批次爬取JSON格式的網頁資料(POST)
  • 4.5-批次爬取HTML型態的網頁資料
  • 4.6-總結
第五章節:動態網頁

此單元會用電商網站為例,教你動態網頁的各種爬取方法,透過實際爬取商品、評論資料,讓你學會利用操作網頁來爬取動態載入的資料。

  • 5.1-章節簡介
  • 5.2-什麼是動態網頁?
  • 5.3-批次爬取動態網頁的資料
  • 5.4-動態網頁彈跳視窗的關閉方法
  • 5.5-自動化移動滑鼠載入動態資料
  • 5.6-批次爬取子網頁的資料
  • 5.7-批次爬取多分頁的網頁資料
  • 5.8-3個常見的動態網頁等待機制
  • 5.9-總結
第六章節:登入型網頁

此單元會用社群網站為例,教你如何動態登入網頁、爬取登入後的網頁資料,透過實際爬取社群資料,學會爬取登入型網頁的資料。

  • 6.1-章節簡介
  • 6.2-什麼是登入型網頁?
  • 6.3-自動化登入網頁的方法
  • 6.4-瀏覽器彈跳視窗的關閉方法
  • 6.5-自動化滾動捲軸載入動態資料
  • 6.6-批次爬取登入型網頁的資料
  • 6.7-總結
第七章節:多媒體型網頁

此單元會分別用圖片、影片、檔案型的網站,教你如何有效爬取網頁上的圖片、影片,以及自動化下載網頁上的檔案資料。

  • 7.1-章節簡介
  • 7.2-批次爬取網頁圖片
  • 7.3-批次爬取網頁影片
  • 7.4-自動化下載網頁CSV檔案資料
  • 7.5-自動化下載網頁ZIP檔案資料
  • 7.6-總結
第八章節:資料清理與儲存

資料蒐集完之後,最重要的就是要進行清理和儲存,後續才有辦法進行資料分析及應用,此單元會來和你分享常用的資料清理方法,以及網頁爬蟲如何介接各種儲存媒體來儲存爬取到的資料。

  • 8.1-章節簡介
  • 8.2-使用Pandas套件讀取網頁爬蟲資料
  • 8.3-使用Pandas套件清理爬取的網頁資料
  • 8.4-儲存網頁爬蟲資料到CSV檔案
  • 8.5-儲存網頁爬蟲資料到Excel檔案
  • 8.6-儲存網頁爬蟲資料到MySQL資料庫
  • 8.7-儲存網頁爬蟲資料到Google BigQuery雲端資料庫
  • 8.8-總結
第九章節:雲端部署與定時自動化執行

此單元會手把手帶你把網頁爬蟲專案部署到Google雲端平台,並且學會如何在雲端平台上定時自動化執行,進而提升工作效率。

  • 9.1-章節簡介
  • 9.2-建立雲端虛擬主機
  • 9.3-建置雲端虛擬主機的環境
  • 9.4-部署網頁爬蟲程式
  • 9.5-定時自動化執行網頁爬蟲
  • 9.6-總結
第十章節:反爬蟲機制攻略

反爬蟲機制一直都是網頁爬蟲新手的罩門,此單元會教你常見的反爬蟲機制通過方法,順利爬取到想要的資料。

  • 10.1-章節簡介
  • 10.2-隨機輪換Proxy IP
  • 10.3-隨機輪換User Agent
  • 10.4-網頁一般驗證碼的通過方法
  • 10.5-網頁圖像驗證碼的通過方法
  • 10.6-總結
第十一章節:資料應用

此單元會來教你如何應用爬取到的財金、社群、電商資料,透過實際的資料應用案例,讓你能夠快速入門資料分析的領域。

  • 11.1-章節簡介
  • 11.2-串接Google Data Studio (Looker Studio) 視覺化資料
  • 11.2-社群網站資料應用-品牌聲量分析
  • 11.3-電商網站資料應用-商品評論語意分析

現在加入《Python網頁爬蟲新手開發實戰課》

還會附贈以下精美的贈品!

讓你有效學會網頁爬蟲技能

贈品#1:Python基礎語法大補帖

如果你是非本科系、沒學過Python程式語言,不用擔心!Python基礎語法大補帖包含了所有學習Python網頁爬蟲需具備的Python基本語法,並且搭配範例解說,讓你輕鬆上手Python程式語言,省下在網路上搜尋零散教學資源的時間,直接掌握Python程式語言的關鍵語法,進而順利學會Python網頁爬蟲,入門資料分析的領域。

贈品#2:Python網頁爬蟲終極學習藍圖

很多人在學習Python網頁爬蟲的時候,常常會不知道要從哪裡開始學起,所以Python網頁爬蟲終極學習藍圖幫你規劃好每個階段的學習內容,引導你學習Python網頁爬蟲的流程和步驟,讓你在學習的過程中更有效率、有方向,逐步學會Python網頁爬蟲的必備技能。

贈品#3:Python網頁爬蟲開發全攻略

Python網頁爬蟲開發全攻略整理了每種網頁的特性、爬取策略流程圖、各種反爬蟲機制的通過方法,讓你在實際遇到新網頁的時候,不會腦袋空白、手足無措,而是有能力分辨網頁的種類,選擇對的爬取策略,爬取到想要的資料,即便遇到反爬蟲機制,也知道對應的解決方案。

贈品#4:Python網頁爬蟲技能檢核清單

在學一項新技能的時候,最擔心的就是學得不夠完整,Python網頁爬蟲技能檢核清單列出了所有應該要學會的技能項目,讓你在學習的過程中能夠有效紀錄、釐清還有什麼部分沒學到、或是有什麼地方需要再加強,掌握Python網頁爬蟲的重要技能。

贈品#5:學員專屬私密社群

學員專屬私密社群讓你在學習Python網頁爬蟲的路上不孤單,在社群中共學,有一群夥伴一起學習,分享自己的網頁爬蟲專案,在學習的過程中有遇到任何的問題,也都可以在裡面發問,不用擔心遇到問題沒辦法解決。

所以你總共會獲得

  • Python網頁爬蟲新手開發實戰11個單元(70+個教學影片) (價值8,500+)
  • 贈品 1:Python基礎語法大補帖 (價值3,000+)
  • 贈品 2:Python網頁爬蟲終極學習藍圖 (價值1,500+)
  • 贈品 3:Python網頁爬蟲開發全攻略(價值2,000+)
  • 贈品 4:Python網頁爬蟲技能檢核清單 (價值1,500+)
  • 贈品 5:學員專屬私密社群 (價值2,000+)

總價值:NT$ 18500

現在限時優惠價:NT$ 6800

11大單元(70+個教學影片)

課程使用步驟式的系統化教學,逐步引導新手完成課程範例和作業,不用擔心無法完成,學會5種網頁類型的自動化爬取技能與資料應用,並且克服反爬機制,提升你2倍的資料工作效率。

精心設計的課程作業練習

課程中有大量的作業練習,為了讓新手能夠有效學習,在每一個作業裡都有Mike精心整理的重要觀念筆記和步驟引導,在觀看教學影片後,馬上實際動手實作,加深對於技能的建立。

10+個作品集

課程範例、作業練習皆導入Git版本控制,上完課程的同時也擁有了自己的作品集,後續即可用在能力證明、轉職或兼職上。

學員專屬私密社團

課程有學員專屬的私密臉書社團,能夠與同好互相討論、交流、學習和分享自己的爬蟲作品外,Mike也會為大家解決學習上的問題,以及不定期舉辦Q&A + 學員專屬直播教學。

終身存取權限

只要加入課程,就可以終身無限次存取課程的所有內容和資源,並且,付費一次即可享有未來新增或更新的所有內容。

看看其他學員的學後心得!

許多學員利用網頁的系統化爬取策略,

成功建立起自己的網頁爬蟲專案

課程老師

你的Py教練 Mike

是一位網頁工程師,也是點Py學院、Learn Code With Mike的創辦人,持續分享Python的入門教學、爬蟲應用、資料分析、網頁開發教學,幫助想要學習Python程式語言的新手,透過小專案實作的教學方式,讓新手有能力開發出屬於自己的Python應用程式。

  • Learn Code With Mike創辦人
  • Python網頁爬蟲新手開發實戰課程老師
  • Facebook粉絲專頁累積近3000+人追蹤
  • 輔導45+位學生成功建立起自己的網頁爬蟲專案

常見問題

有哪些付款方式可以選擇?

我們結合綠界科技,支援線上刷卡(VISA, MasterCard, JCB)、網路ATM、ATM轉帳。

如果對於課程不滿意可以退款嗎?

只要加入課程,就會開通「課程平台」與「學員專屬臉書私密社團」權限,且此課程為資訊型產品,為保障智慧財產權,恕不接受退款,請考慮清楚唷,謝謝您的諒解。

如果是初學者,可以上這門課嗎?

這門課程就是以初學者的角度出發,從建立基本觀念開始,到小專案的實作,一步一步帶初學者上手,並且,有任何問題,都可以在學員專屬臉書私密社團提問,Mike會盡力為大家解答。

什麼時候可以開始上課?

購買課程後,經過1至2天開通權限,即會寄送Email通知前往課程平台註冊開始上課。

有問題要怎麼聯絡你們?

有任何問題歡迎透過粉絲專頁(https://www.facebook.com/learncodewithmike)或電子郵件(learncodewithmike@gmail.com)與我們聯繫。

© Learn Code With Mike版權所有

© Learn Code With Mike版權所有