如何在 Excel 中動態抓取網路資料的技巧分享

原视频内容展开视频
  • 哈囉各位同學,今天 Meiko 想來跟大家分享如何在 Excel 環境去隨時抓取網路上面的一些資料。
  • 如果我們每天都要去點下載課程總表去下載檔案的資料,這會讓人覺得很累。
  • 我們希望能夠在 Excel 裡面隨時動態更新網路上面的資料。
  • 這個網路上面的按鈕需要先抓到檔案的連結,才能透過 Power Query 來連結它。

哈囉各位同學大家好,今天 Meiko 想來跟大家分享如何在 Excel 環境去隨時抓取網路上面的一些資料。我們現在看到這是一個 e 等公務園的網站。

如果我們每天都要去點這個下載課程總表去下載這一個檔案的資料,每天都要做這個動作,這樣就會覺得很累哦。我們現在希望能夠在 Excel 裡面隨時都可以動態更新這個網路上面的資料。如果網路上面的資訊有任何變動,那麼在 Excel 底下也要更新哦。

但是呢,這一個網路上的這一個按鈕有點特別,也就是我們一定要先抓到這個檔案的連結,才有辦法透過 Power Query 來連結到它哦。

不過,我在這個下載課程總表這裡按右鍵,卻找不到這一個下載的連結,也就是這個按鈕的檔案的連結位置現在是找不到。這邊呢,Meiko 給大家兩個技巧。

第一個呢,是如果你用 Chrome 瀏覽器的話,當你在按鈕上面按右鍵找不到連結的時候,可以用鍵盤的 F12,這樣可以打開右側的原始碼。然後我們就可以點第一個箭頭,並去點選你要的目標,這樣就會看到這個按鈕的一些原始碼。

我們要的是一個 CSV 的檔案,所以就是這個點 CSV 這裡點兩下,然後你就可以找到這一個檔案的連結位置了。好,那我們可以把它 Ctrl C 複製。複製之後呢,我們在上方的網址就可以從網頁到 TW 的這個地方,後面都可以刪掉。

接著,我們就 Ctrl V 貼上去,然後這個原始碼的這一串字,其實也是不需要的,把它 Delete。最後面的這個分號我們也把它刪掉,這樣就是現在這一個檔案的連結位置了。我們把它 Ctrl C 複製下來。

你也可以按 Enter 看看,檔案有沒有下載下來,所以是可以正常下載的,這就是我們要的路徑位置。

如果同學覺得看這個原始碼太複雜了,我們可以換一個瀏覽器。我們現在來到這一個 Edge 的瀏覽器,就是我使用的是 Edge。Edge 有一個好處就是它下載的時候會保留這個下載的連結。

我們來試試看,當我點這個按鈕之後,它是不是就下載下來了?旁邊的點點點這裡,可以看到有一個開啟下載的頁面,打開來之後你就會看到有一個路徑位置了。所以按右鍵後,你就可以複製下載連結,這個方法其實就比較簡單一些。

現在我們已經取得連結,接下來就要到 Excel 裡面,然後開啟 Power Query 來連接網路上的這一個資料。來到 Excel 之後,我們來到資料的標籤,使用的是這一個從 Web 點擊,然後把剛剛複製的網址貼上去。

在看到這個從 Web 的對話框之後,就可以把網址貼上來,貼上來之後按下確定。接著我們點連接,連接好之後你就可以看到這個網頁上面 CSV 裡面的欄位資料都進來了。

這樣子沒有問題,我們就可以點轉換資料。點了轉換資料之後,就來到這個 Power Query 的編輯器。好,那目前我們可以檢查欄位型態是否需要改變,像這個 123 就是整數型態,ABC 就是文字型態。

我想這邊應該都沒有太大的問題。如果同學需要做過濾,比如說你可能需要篩選的話,像類型的部分,我們只想要挑選開放式的課程。假設這樣子,確定之後所篩選出來的記錄都會是開放性的課程。

好了就沒有問題了,我們可以到常用標籤,然後關閉並載入,再點按這個關閉並載入。這樣子我們就可以把網路上的資料回傳回來了。

所以呢,我們如果 Ctrl 向下鍵,可以知道原來記錄筆數光開放式的課程就有三千多筆。接下來我想在表格設計這裡換一個我覺得比較舒服的顏色,來一點淺淺的顏色就好了。

然後呢,我們希望它可以定期更新,也就是說你每天打開檔案它就要更新。在查詢的標籤底下,你可以看到有一個屬性的設定,屬性打開來之後就可以排程更新。希望呢,打開檔案的時候自動更新。

每當我把文件打開,它會去連結到網路上的資料,然後做一個更新,再回傳回來。好了之後確定,如果你隨時想更新的話,也可以按右鍵重新整理。

這是一個比較簡單的範例。這個檔案本身整理得很好,有些時候網路上的資料因為網頁設計原因,所以下載時會分在不同的表格裡面,還需要做一些合併的動作,這個過程會比較複雜。

下一個範例,Meiko就會跟同學們分享如何把抓取的網路資料合併成同一個表格。我們下部影片再跟同學們介紹,今天這部影片就先分享到這裡,我們下部影片見,拜拜!