06.沈慧鈞 / Excel讀取外部資料 / 從Web學習爬蟲 / 道瓊30成分股

1.首先打開瀏覽器，輸入關鍵字「道瓊30 鉅亨網」。

*使用鉅亨網是因為該網站不會擋別人抓取資料。


2.跳出搜尋結果後，點選第一筆結果。


3.接下來複製網址。


4.開啟一個新的Excel檔，到資料標籤，點選「從Web」。


5.貼上剛剛複製的網址並按確定。


6.跳出下一個對話框後，直接點選連接即可。

7.等待連線幾秒鐘過後會跳出此視窗，選擇Table 0，並點選載入。

8.上個步驟需等待幾秒鐘載入資料，接下來會跳出新工作表，如下圖。

9.從Web抓取資料的方便之處在於可以隨時更新資料，如美股於晚間9:30開盤，在此時點至資料標籤點選「全部重新整理」就會自動更新內容。

EXCEL讀取WEB 鉅亨網 道瓊30成分股

EXCEL資料 讀取自己的網頁

將「阿迪達斯」改為「愛迪達」；將「戴姆勒股份有限公司」改為「戴姆勒賓士汽車公司」，並更新。 接下來到EXCEL資料標籤，按「全部重新整理」，資料即更新完成，如下圖。

EXCEL資料 重新整理

網路爬蟲

網路爬蟲（英語：web crawler），也叫網路蜘蛛（spider），是一種用來自動瀏覽全球資訊網的網路機器人。其目的一般為編纂網路索引。

網路搜尋引擎等站點通過爬蟲軟體更新自身的網站內容或其對其他網站的索引。網路爬蟲可以將自己所存取的頁面儲存下來，以便搜尋引擎事後生成索引供使用者搜尋。

爬蟲存取網站的過程會消耗目標系統資源。不少網路系統並不默許爬蟲工作。因此在存取大量頁面時，爬蟲需要考慮到規劃、負載，還需要講「禮貌」。 不願意被爬蟲存取、被爬蟲主人知曉的公開站點可以使用robots.txt檔案之類的方法避免存取。這個檔案可以要求機器人只對網站的一部分進行索引，或完全不作處理。

網際網路上的頁面極多，即使是最大的爬蟲系統也無法做出完整的索引。因此在公元2000年之前的全球資訊網出現初期，搜尋引擎經常找不到多少相關結果。現在的搜尋引擎在這方面已經進步很多，能夠即刻給出高品質結果。

爬蟲還可以驗證超連結和HTML代碼，用於網路抓取（參見資料驅動編程）。


劉任昌的教學影片079

留言

張貼留言

這個網誌中的熱門文章

09.公開資訊觀測站 / 基本資料 / 簽證會計師 / 產業類別

圖片
公開資訊觀測站 / 基本資料 1.先至「 資料庫管理課程教學088 」下載檔案。 2.開啟檔案(.csv)後，另存成.xlsx檔 。 3.一併選取1、2列，按右鍵插入兩列。 4.在A1輸入姓名及日期，設定跨欄至中(A1-C1)，並套用醒目底色。 5.接下來至資料標籤，點選「從表格/範圍」。 *要記得先在 要製成表格的資料 隨便點選一格，否則無法建立正確的表格。 6.跳出對話框後，按確定。 7.按確定後，接下來會跳出Power Query編輯器，至檔案標籤，按關閉並載入「 關閉並載入至 」。 8.接下來會挑出對話框，選擇「只建立連線」，並點選確定。 樞紐分析：簽證會計師(列) / 產業類別(欄) 9.接下來至插入標籤，點選「 樞鈕分析表 」。 10.跳出對話框後，直接按確定即可。 11. 依下圖將要分析之項目拖曳至對應欄位。 *「值」的那欄可放除了數值以外的項目。 12.按右鍵 將「總計」從 大至小 排列 。 13.完成圖如下，從下圖中可以看到A5及A46是相同的事務所，只是名稱有所差異，所以接下來要整理資料。 14.首先回到「公司基本資料」的工作表，找到最後一欄「 簽證會計師事務所 」，至資料標籤，點選「排序」。 15.排序方式選擇「 簽證會計師事務所 」，順序選擇 Z到A（大到小） 。 16.如何整理資料？就是以一個名稱為標準，將名稱統一。全部整理完之後就回到工作表1，至 資料 標籤按「 全部重新整理 」。 17.完成圖如下。 最大的5家事務所 上市公司客戶 勤業眾信聯合會計師事務所 360 資誠聯合會計師事務所 206 安侯建業聯合會計師事務所 202 安永聯合會計師事務所 95 國富浩華聯合會計師事務所 27 公開資訊觀測站是模仿美國EDGAR 台灣的公開資訊觀測站隸屬於台灣證券交易所股份有限公司，美國的EDGAR則是直接隸屬於聯邦政府的證券交易所委員會。 EDGAR即電子化數據收集、分析及檢索系統 。1996年，美國SEC 規定所有的信息披露義務人（美國上市公司 ）都必須進行電子化入檔。為了確保追蹤使用情況，Vintage Filings會將所發生的全部書面郵件、傳真抄送給新華美通。 （ 資料來源： https://wiki.mbalib.com/zh-tw/EDGAR ） 劉任昌的教學影片088 劉...
閱讀完整內容

18.名稱管理員 / EXCEL 函數 / TRANSPOSE 矩陣轉置 / INDIRECT 間接定址

圖片
練習檔下載： 資料庫管理課程教學109_矩陣轉置與名稱管理員 名稱管理員 在使用間接定址函數之前，需先將樞紐分析表內的資料定義才抓的到資料，因此需要先全選並使用名稱管理員先行定義每一列的名稱。 此功能位於： 公式 \ 已定義之名稱 \ 從選取範圍建立 先選取範圍A4:E28，再從選取範圍建立名稱，系統會自動偵測選取範圍中最左列(也就是國家名稱)的值來建立名稱。 最後可在 名稱方塊 或 名稱管理員 中確認是否建立成功。 EXCEL巢狀函數 應用 -    TRANSPOSE 矩陣轉置 & INDIRECT 間接定址 剛剛定義了名稱，現在可以使用INDIRECT+TRANSPOSE函數組合來配合清單從選取範圍抓取特定資料。 首先須先使用資料驗證功能在I3儲存格建立一個清單(範圍是A欄的所有國家名稱)。 因為原始資料列為橫向，但抓取後要放置的資料方向為直式，所以在用INDIRECT間接定址功能時需搭配TRANSPOSE矩陣轉置函數，才能正確地顯示欲抓取的資料。 首先須框選資料欲顯示的範圍，再輸入函式 =TRANSPOSE(INDIRECT(I3)) ，並 同時按住Shift+Ctrl，最後按Enter ，這樣才能成功地顯示資料。 與原始抓取資料範圍對照確認結果無誤後，即抓取資料成功。 INDIRECT 間接定址 傳回文字串所指定的參照。 該參照會立刻進行計算並顯示其內容。 INDIRECT 通常是想在公式中變更儲存格參照卻不想改變公式本身時使用。 TRANSPOSE 矩陣轉置 有時候需要切換或旋轉儲存格， 會複製、複製 、複製及使用轉置選項來執行此工作， 但這麼做會建立重複的資料，如果不想重複輸入，可以改使用 TRANSPOSE 函數輸入公式。 #記得在完成後按 CTRL+SHIFT+ENTER，而不是只按下 ENTER。 劉任昌的教學課程 109
閱讀完整內容

22.將上次的成果利用VS Code編輯為解答欄加上表格 / 原始碼@2634-2841

金融市場常識 答 1 2 3 4 下列何者不是金融市場的主要功能？ 提供金融工具交易的場所 擔任資金需求者與供給者的橋樑 促進投資活動的效率，提升經濟發展 提供交易者投機的場所 答 1 2 3 4 下列何者不是金融市場交易的工具？ 商業本票 銀行存款 股票 房地產 答 1 2 3 4 當金融市場管理的品質較佳時，企業發行的成本會______，金融工具的流動性會______。 較低，較低 較高，較低 較低，較高 較高，較高 答 1 2 3 4 當企業需要資金來進行投資，最好不要用下列何種方式尋求融通？ 向銀行借錢 發行股票 發行債券 向地下錢莊借錢 答 1 2 3 4 下列何者不是近年來國內主管機關管理金融市場的發展方向？ 減少法規的限制 鼓勵金融創新 對國外資金進行更嚴格的限制與管理 加強國際金融的流通 答 1 2 3 4 在金融市場中主管機關訂定法律規範的目的在於： 增加政府的收入 促進金融市場健全發展與有效經營 增加金融機構的進入障礙 提高金融機構的經營成本 答 1 2 3 4 目前國內監理銀行、票券、證券及保險等金融機構的主管機關為： 財政部 內政部 金融監督管理委員會 經濟部 答 1 2 3 4 依照國內金融監督管理制度的架構，主管證券相關事業的監理單位為： ...
閱讀完整內容