股票蜘蛛網

A. 股票金蜘蛛是什麼意思

如5日均線從10日均線上方轉到下方形成死叉，在短期內又回到上方形成金叉，即形成二次價托，就是人們常說的金三角。是個比較可靠的買點。

B. Web Spider網路蜘蛛，是什麼意思

[摘要]當「蜘蛛」程序出現時，現代意義上的搜索引擎才初露端倪。它實際上是一種電腦「機器人」（Computer Robot），電腦「機器人」是指某個能以人類無法達到的速度不間斷地執行某項任務的軟體程序。由於專門用於檢索信息的「機器人」程序就象蜘蛛一樣在網路間爬來爬去，反反復復，不知疲倦。所以，搜索引擎的「機器人」程序就被稱為「蜘蛛」程序。

關鍵詞：網路蜘蛛 起源 原理 優化

目錄

什麼是網路蜘蛛

網路蜘蛛的起源

網路蜘蛛的工作原理

正文開始

1、什麼是網路蜘蛛

----什麼是網路蜘蛛呢？網路蜘蛛即Web Spider，是一個很形象的名字。把互聯網比喻成一個蜘蛛網，那麼Spider就是在網上爬來爬去的蜘蛛。網路蜘蛛是通過網頁的鏈接地址來尋找網頁，從 網站某一個頁面（通常是首頁）開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，然後通過這些鏈接地址尋找下一個網頁，這樣一直循環下去，直到把這個網 站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站，那麼網路蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。

----這樣看來，網路蜘蛛就是一個爬行程序，一個抓取網頁的程序。

2、網路蜘蛛的起源

----要說網路蜘蛛的起源，我們還得從搜索引擎說起，什麼是搜索引擎呢？搜索引擎的起源是什麼，這和網路蜘蛛的起源密切相關。

----搜索引擎指自動從英特網搜集信息，經過一定整理以後，提供給用戶進行查詢的系統。英特網上的信息浩瀚萬千，而且毫無秩序，所有的信息象汪洋上的一個個小島，網頁鏈接是這些小島之間縱橫交錯的橋梁，而搜索引擎，則為你繪制一幅一目瞭然的信息地圖，供你隨時查閱。

----搜索引擎從1990年原型初顯，到現在成為人們生活中必不可少的一部分，它經歷了太多技術和觀念的變革。
----十四年前1994年的一月份，第一個既可搜索又可瀏覽的分類目錄EINetGalaxy上線了。在它之後才出現了雅虎，直至我們現在熟知的Google、網路。但是他們都不是第一個吃搜索引擎這個螃蟹的第一人。從搜索FTP上的文件開始，搜索引擎的原型就出現了，那時還未有萬維網，當時人們先用手工後用蜘蛛程序搜索網頁，但隨著互聯網的不斷壯大，怎樣能夠搜集到的網頁數量更多、時間更短成為了當時的難點和重點，成為人們研究的重點。

----搜索引擎原型初顯

----如果要追溯的話，搜索引擎的歷史比WorldWideWeb 還要長。早在Web出現之前，互聯網上就已經存在許多旨在讓人們共享的信息資源了。這些資源當時主要存在於各種允許匿名訪問的FTP 站點。為了便於人們在分散的FTP資源中找到所需的東西，1990年，加拿大麥吉爾大學（McGillUniversity）的幾個大學生開發了一個軟體Archie。它是一個可搜索的FTP文件名列表，用戶必須輸入精確的文件名搜索，然後Archie會告訴用戶哪一個FTP地址可以下載這個文件。Archie實際上是一個大型的資料庫，再加上與這個大型資料庫相關聯的一套檢索方法。Archie雖然還不是搜索引擎,但是從它的工作原理上看，它是所有搜索引擎的祖先。

----當萬維網（WorldWideWeb）出現後，人們可以通過 html傳播網頁信息，網路上的信息開始成倍增長。人們紛紛使用各種方法將網路上的信息搜集來，進行分類、整理，以方便查找。現在人們很熟悉的網站雅虎（Yahoo）就是在這個環境下誕生的。還在Stanford大學讀書的美籍華人楊致遠和他的同學迷上了互聯網。他們將互聯網上有趣的網頁搜集過來，與同學一起分享。後來，1994年4月，他們倆共同辦了雅虎。隨著訪問量和收錄鏈接數的增長，雅虎目錄開始支持簡單的資料庫搜索。但是因為雅虎的數據是手工輸入的，所以不能真正被歸為搜索引擎，事實上只是一個可搜索的目錄。

----當「蜘蛛」程序出現時，現代意義上的搜索引擎才初露端倪。它實際上是一種電腦「機器人」（Computer Robot），電腦「機器人」是指某個能以人類無法達到的速度不間斷地執行某項任務的軟體程序。由於專門用於檢索信息的「機器人」程序就象蜘蛛一樣在網路間爬來爬去，反反復復，不知疲倦。所以，搜索引擎的「機器人」程序就被稱為「蜘蛛」程序。

----這種程序實際是利用html文檔之間的鏈接關系，在Web上一個網頁一個網頁的爬取（crawl），將這些網頁抓到系統來進行分析，並放入資料庫中。第一個開發出「蜘蛛」程序的是Matthew Gray，他於1993年開發了World Wide Web Wanderer，它最初建立時是為了統計互聯網上的伺服器數量，到後來發展到能夠捕獲網址。現代搜索引擎的思路就來源於Wanderer，後來很多人在此基礎上對蜘蛛程序進行了改進。

----1994年7月20日發布的Lycos網站第一個將 「蜘蛛」程序接入到其索引程序中。引入「蜘蛛」後給其帶來的最大優勢就在於其遠勝於其它搜索引擎的數據量。自此之後幾乎所有占據主導地位的搜索引擎中，都靠「蜘蛛」來搜集網頁信息。Infoseek是另一個重要的搜索引擎，於1994年年底才與公眾見面。起初，Infoseek只是一個不起眼的搜索引擎，它沿襲Yahoo!和Lycos的概念，並沒有什麼獨特的革新。但是它友善的用戶界面、大量附加服務使它在用戶中贏得了口碑。1995年12月，它與Netscape的戰略性協議，使它成為一個強勢搜索引擎：當用戶點擊Netscape瀏覽器上的搜索按鈕時，彈出Infoseek的搜索服務，而此前由Yahoo!提供該服務。 1995年12月15日，Alta Vista正式上線。它是第一個支持高級搜索語法的搜索引擎，成功地整合了此前人類所有的信息檢索技術，解決了包括字根處理、關鍵詞檢索、布爾邏輯，以及通過向量空間模型的查詢排名等關鍵問題。正式公開之前，Alta Vista就已經擁有20萬訪問用戶，在短短三個星期之內，到訪人數由每天30萬次增加到200萬次。它的成功在於滿足了用戶三個方面的需求：網上索引范圍超過了此前任何一家搜索引擎；短短幾秒鍾內便可從龐大的資料庫中為用戶返回搜索結果；Alta Vista小組從一開始就採用了一種模塊設計技術，能夠跟蹤網站的流行趨勢，同時不斷擴大處理能力。在當時許多搜索引擎之中，Alta Vista脫穎而出，成為網路搜索的代名詞。Google就是站在這樣的巨人的肩膀上顛覆並創造著。「上網即搜索」 改變了人們上網方式的，就是現在鼎鼎大名的Google。Google並不是搜索引擎的發明者，甚至有點落後，但是它卻讓人們愛上了搜索。

----1998年9月，在佩奇和布林創建Google之時，業界對互聯網搜索功能的理解是：某個關鍵詞在一個文檔中出現的頻率越高，該文檔在搜索結果中的排列位置就要越顯著。這就引出了這樣一個問題，如果一個頁面充斥著某一個關鍵字的話，那麼它將排在很顯著的位置，但這樣一個頁面對於用戶來說，卻沒有任何意義。佩奇和布林發明了「網頁級別」（PageRank）技術，來排列搜索結果。即考察該頁面在網上被鏈接的頻率和重要性來排列，互聯網上指向這一頁面的重要網站越多，該頁面的位次也就越高。當從網頁A鏈接到網頁B時，Google 就認為「網頁A投了網頁B一票」。Google根據網頁的得票數評定其重要性。然而，除了考慮網頁得票數的純數量之外，Google還要分析投票的網頁，「重要」的網頁所投出的票就會有更高的權重，並且有助於提高其他網頁的「重要性」。 Google以其復雜而全自動的搜索方法排除了任何人為因素對搜索結果的影響。沒人能花錢買到更高的網頁級別，從而保證了網頁排名的客觀公正。除此之外，動態摘要、網頁快照、多文檔格式支持、地圖股票詞典尋人等集成搜索也都深得網民的喜愛。其他眾多搜索引擎也都緊跟Google，推出這些服務。Fast（Alltheweb）公司發布的搜索引擎AllTheWeb，總部位於挪威，其在海外的風頭直逼Google。Alltheweb的網頁搜索支持Flash和pdf搜索，支持多語言搜索，還提供新聞搜索、圖像搜索、視頻、MP3、和FTP搜索，擁有極其強大的高級搜索功能。而中國的網路更是憑借「更懂中文」而吸引著中國的網路受眾，它擁有超過10億的中文網頁資料庫，並且，這些網頁的數量每天正以千萬級的速度在增長。

----搜索引擎越來越成為人們生活中重要的一部分，找資料、查地圖、聽音樂，只有想不到的，沒有搜索不到的。
----搜索引擎的三個基本原理

----1．利用蜘蛛系統程序，自動訪問互聯網，並沿著任何網頁中的所有URL爬到其它網頁，重復這過程，並把爬過的所有網頁收集回來。

----2.由分析索引系統程序對收集回來的網頁進行分析，提取相關網頁信息，根據一定的相關度演算法進行大量復雜計算，得到每一個網頁針對頁面內容中及超鏈中每一個關鍵詞的相關度（或重要性），然後用這些相關信息建立網頁索引資料庫。

----3.當用戶輸入關鍵詞搜索後，由搜索系統程序從網頁索引資料庫中找到符合該關鍵詞的所有相關網頁。相關度數值排序，相關度越高，排名越靠前。最後，由頁面生成系統將搜索結果的鏈接地址和頁面內容摘要等內容組織起來返回給用戶。

----說到這里，你可能對搜索引擎和網路蜘蛛有了一個初步的了解了吧！
3、網路蜘蛛的工作原理

----對於搜索引擎來說，要抓取互聯網上所有的網頁幾乎是不可能的，從目前公布的數據來看，容量最大的搜索引擎也不過是抓取了整個網頁數量的百分之四十左右。這 其中的原因一方面是抓取技術的瓶頸，無法遍歷所有的網頁，有許多網頁無法從其它網頁的鏈接中找到；另一個原因是存儲技術和處理技術的問題，如果按照每個頁 面的平均大小為20K計算（包含圖片），100億網頁的容量是100×2000G位元組，即使能夠存儲，下載也存在問題（按照一台機器每秒下載20K計算， 需要340台機器不停的下載一年時間，才能把所有網頁下載完畢）。同時，由於數據量太大，在提供搜索時也會有效率方面的影響。因此，許多搜索引擎的網路蜘 蛛只是抓取那些重要的網頁，而在抓取的時候評價重要性主要的依據是某個網頁的鏈接深度。

----在抓取網頁的時候，網路蜘蛛一般有兩種策略：廣度優先和深度優先（如下圖所示）。

----廣度優先是指網路蜘蛛會先抓取起始網頁中鏈接的所有網頁，然後再選擇其中 的一個鏈接網頁，繼續抓取在此網頁中鏈接的所有網頁。這是最常用的方式，因為這個方法可以讓網路蜘蛛並行處理，提高其抓取速度。深度優先是指網路蜘蛛會從 起始頁開始，一個鏈接一個鏈接跟蹤下去，處理完這條線路之後再轉入下一個起始頁，繼續跟蹤鏈接。這個方法有個優點是網路蜘蛛在設計的時候比較容易。兩種策 略的區別，下圖的說明會更加明確。

----由於不可能抓取所有的網頁，有些網路蜘蛛對一些不太重要的網站，設置了訪問的層數。例如，在上圖中，A為起始網頁，屬於0層，B、C、D、E、F屬於第1 層，G、H屬於第2層，I屬於第3層。如果網路蜘蛛設置的訪問層數為2的話，網頁I是不會被訪問到的。這也讓有些網站上一部分網頁能夠在搜索引擎上搜索 到，另外一部分不能被搜索到。對於網站設計者來說，扁平化的網站結構設計有助於搜索引擎抓取其更多的網頁。
----網路蜘蛛在訪問網站網頁的時候，經常會遇到加密數據和網頁許可權的問題，有些網頁是需要會員許可權才能訪問。當然，網站的所有者可以通過協議讓網路蜘蛛不去抓 取（下小節會介紹），但對於一些出售報告的網站，他們希望搜索引擎能搜索到他們的報告，但又不能完全免費的讓搜索者查看，這樣就需要給網路蜘蛛提供相應的 用戶名和密碼。網路蜘蛛可以通過所給的許可權對這些網頁進行網頁抓取，從而提供搜索。而當搜索者點擊查看該網頁的時候，同樣需要搜索者提供相應的許可權驗證。

----每個網路蜘蛛都有自己的名字，在抓取網頁的時候，都會向網站標明自己的身份。網路蜘蛛在抓取網頁的時候會發送一個請求，這個請求中就有一個欄位為User －agent，用於標識此網路蜘蛛的身份。例如Google網路蜘蛛的標識為GoogleBot，Bai網路蜘蛛的標識為BaiDuSpider， Yahoo網路蜘蛛的標識為Inktomi Slurp。如果在網站上有訪問日誌記錄，網站管理員就能知道，哪些搜索引擎的網路蜘蛛過來過，什麼時候過來的，以及讀了多少數據等等。如果網站管理員發 現某個蜘蛛有問題，就通過其標識來和其所有者聯系。

----網路蜘蛛進入一個網站，一般會訪問一個特殊的文本文件Robots.txt，這個文件一般放在網站伺服器的根目錄下，如：[url][/url]。 網站管理員可以通過robots.txt來定義哪些目錄網路蜘蛛不能訪問，或者哪些目錄對於某些特定的網路蜘蛛不能訪問。例如有些網站的可執行文件目錄和 臨時文件目錄不希望被搜索引擎搜索到，那麼網站管理員就可以把這些目錄定義為拒絕訪問目錄。Robots.txt語法很簡單，例如如果對目錄沒有任何限 制，可以用以下兩行來描述： User-agent: *
Disallow:

----當然，Robots.txt只是一個協議，如果網路蜘蛛的設計者不遵循這個協議，網站管理員也無法阻止網路蜘蛛對於某些頁面的訪問，但一般的網路蜘蛛都會遵循這些協議，而且網站管理員還可以通過其它方式來拒絕網路蜘蛛對某些網頁的抓取。

---- 網路蜘蛛在下載網頁的時候，會去識別網頁的HTML代碼，在其代碼的部分，會有META標識。通過這些標識，可以告訴網路蜘蛛本網頁是否需要被抓取，還可 以告訴網路蜘蛛本網頁中的鏈接是否需要被繼續跟蹤。例如：表示本網頁不需要被抓取，但是網頁內的鏈接需要被跟蹤。

---- 搜索引擎建立網頁索引，處理的對象是文本文件。對於網路蜘蛛來說，抓取下來網頁包括各種格式，包括html、圖片、doc、pdf、多媒體、動態網頁及其 它格式等。這些文件抓取下來後，需要把這些文件中的文本信息提取出來。准確提取這些文檔的信息，一方面對搜索引擎的搜索准確性有重要作用，另一方面對於網 絡蜘蛛正確跟蹤其它鏈接有一定影響。對於doc、pdf等文檔，這種由專業廠商提供的軟體生成的文檔，廠商都會提供相應的文本提取介面。網路蜘蛛只需要調用這些插件的介面，就可以輕松的提取文檔中的文本信息和文件其它相關的信息。但HTML等文檔不一樣，HTML有一套自己的語法，通過不同的命令標識符來表示不同的字體、顏色、位置等版式，如：、、等， 提取文本信息時需要把這些標識符都過濾掉。過濾標識符並非難事，因為這些標識符都有一定的規則，只要按照不同的標識符取得相應的信息即可。但在識別這些信 息的時候，需要同步記錄許多版式信息，例如文字的字體大小、是否是標題、是否是加粗顯示、是否是頁面的關鍵詞等，這些信息有助於計算單詞在網頁中的重要程 度。同時，對於HTML網頁來說，除了標題和正文以外，會有許多廣告鏈接以及公共的頻道鏈接，這些鏈接和文本正文一點關系也沒有，在提取網頁內容的時候， 也需要過濾這些無用的鏈接。例如某個網站有「產品介紹」頻道，因為導航條在網站內每個網頁都有，若不過濾導航條鏈接，在搜索「產品介紹」的時候，則網站內 每個網頁都會搜索到，無疑會帶來大量垃圾信息。過濾這些無效鏈接需要統計大量的網頁結構規律，抽取一些共性，統一過濾；對於一些重要而結果特殊的網站，還 需要個別處理。這就需要網路蜘蛛的設計有一定的擴展性。

---- 對於多媒體、圖片等文件，一般是通過鏈接的錨文本（即，鏈接文本）和相關的文件注釋來判斷這些文件的內容。例如有一個鏈接文字為「張曼玉照片」，其鏈接指 向一張bmp格式的圖片，那麼網路蜘蛛就知道這張圖片的內容是「張曼玉的照片」。這樣，在搜索「張曼玉」和「照片」的時候都能讓搜索引擎找到這張圖片。另 外，許多多媒體文件中有文件屬性，考慮這些屬性也可以更好的了解文件的內容。

---- 動態網頁一直是網路蜘蛛面臨的難題。所謂動態網頁，是相對於靜態網頁而言，是由程序自動生成的頁面，這樣的好處是可以快速統一更改網頁風格，也可以減少網 頁所佔伺服器的空間，但同樣給網路蜘蛛的抓取帶來一些麻煩。由於開發語言不斷的增多，動態網頁的類型也越來越多，如：asp、jsp、php等。這些類型 的網頁對於網路蜘蛛來說，可能還稍微容易一些。網路蜘蛛比較難於處理的是一些腳本語言（如VBScript和JavaScript）生成的網頁，如果要完 善的處理好這些網頁，網路蜘蛛需要有自己的腳本解釋程序。對於許多數據是放在資料庫的網站，需要通過本網站的資料庫搜索才能獲得信息，這些給網路蜘蛛的抓 取帶來很大的困難。對於這類網站，如果網站設計者希望這些數據能被搜索引擎搜索，則需要提供一種可以遍歷整個資料庫內容的方法。

對於網頁內容的提取，一直是網路蜘蛛中重要的技術。整個系統一般採用插件的形式，通過一個插件管理服務程序，遇到不同格式的網頁採用不同的插件處理。這種 方式的好處在於擴充性好，以後每發現一種新的類型，就可以把其處理方式做成一個插件補充到插件管理服務程序之中。

---- 由於網站的內容經常在變化，因此網路蜘蛛也需不斷的更新其抓取網頁的內容，這就需要網路蜘蛛按照一定的周期去掃描網站，查看哪些頁面是需要更新的頁面，哪些頁面是新增頁面，哪些頁面是已經過期的死鏈接。

---- 搜索引擎的更新周期對搜索引擎搜索的查全率有很大影響。如果更新周期太長，則總會有一部分新生成的網頁搜索不到；周期過短，技術實現會有一定難度，而且會 對帶寬、伺服器的資源都有浪費。搜索引擎的網路蜘蛛並不是所有的網站都採用同一個周期進行更新，對於一些重要的更新量大的網站，更新的周期短，如有些新聞 網站，幾個小時就更新一次；相反對於一些不重要的網站，更新的周期就長，可能一兩個月才更新一次。

---- 一般來說，網路蜘蛛在更新網站內容的時候，不用把網站網頁重新抓取一遍，對於大部分的網頁，只需要判斷網頁的屬性（主要是日期），把得到的屬性和上次抓取的屬性相比較，如果一樣則不用更新。

---- 現在大家對網路蜘蛛的工作原理有了初步的了解了吧，了解後就要在以後的網站製作中考慮蜘蛛的爬行規律，比如製作網站地圖就很重要，好了，如果你有更好的見解，請到這里發表，火鳥非常願意與你交流，共同研究網站製作技巧，盡量將自己的網站製作的符合標准，符合用戶的習慣！

C. 華爾街是什麼,為什麼很多股票大師都在那裡

華爾街(wall street)是紐約市曼哈頓區南部一條大街的名字，長不超過一英里，寬僅11米,是英文「牆街」的音譯。荷蘭統治時，在這里築過一道防衛牆。英國人趕走荷蘭人後，拆牆建街，因而得名。 這里是美國大壟斷組織和金融機構的所在地，集中了紐約證券交易所、美國證券交易所、投資銀行、政府和市辦的證券交易商、信託公司、聯邦儲備銀行、各公用事業和保險公司的總部以及美國洛克菲勒、摩根等大財團開設的銀行、保險、鐵路、航運、采礦、製造業等大公司的總管理處。壟斷資本從這里支配著美國的政治、經濟。華爾街成了美國壟斷資本，金融和投資高度集中的象徵。

我去過兩次華爾街，第一次是以遊客的身份。那是傍晚時分，天上下著瓢潑大雨，雨水不停地倒灌進華爾街地鐵站，連鐵道上都滿是積水。所幸大雨不久就停了，我就小心翼翼地繞過積水，慢慢走上百老匯與華爾街的交界處，抬頭就看到了著名的三位一體教堂(Trinity Church)；早在華爾街還是一堵破爛不堪的城牆的時候，它就已經是這附近的標志性建築了。

現在，三位一體教堂的正前方是紐約證券交易所(NYSE)，背後是美國證券交易所(AMEX)，左右兩側都是高聳的寫字樓，只有周圍的一小塊地方還保存著17世紀的花園和墓地。從教堂門前穿越百老匯，就算正式進入了華爾街——這條街又短又窄，街口設下了重重路障，街心正在進行翻修，到處都是坑坑窪窪的積水。幾個荷槍實彈的警察如臨大敵地站在紐約證券交易所門前，他們的頭頂是一幅巨大的美國國旗。除此之外，這條街上的人似乎都是遊客，從他們的著裝和神態就看的出來。路邊的櫥窗並沒有寫著高盛、摩根士丹利或美林等如雷貫耳的名字，反而貼著咖啡館和健身俱樂部的廣告。除了德意志銀行，我在這里沒有發現任何一家投資銀行的名字，更不用說共同基金或對沖基金了。

總而言之，現在的華爾街只是一個旅遊勝地，經常有成群結隊的外國人帶著敬畏的表情到此一游，希望看看「全世界的金融中心」是什麼樣子；然而他們看到的只是一個荒廢的商業區，幾棟陳舊的摩天大樓，以及許多露天茶座或咖啡館。紐約證券交易所現在已經不允許遊客進入了，所以華爾街的旅遊價值也殘存無幾了。

後來我又去了一次華爾街，這次不是去觀光，而是到三位一體教堂聽牧師講道。這個教堂的建築非常獨特，一磚一石都值得仔細觀賞，外面的花園里還有著名的美國第一任財政部長漢密爾頓的墓。幾步之外就是喧鬧的街道，各種車輛日夜不息的經過，反而更加襯托出教堂本身的神聖與靜謐。據說，在華爾街還沒有淪落為旅遊勝地的時候，銀行家和基金經理們經常利用中午休息時間來這里做禱告，然後再回到證券市場的血腥絞殺中去。

早在二十年前，許多金融機構就已經離開地理意義上的華爾街，搬遷到交通方便、視野開闊的曼哈頓中城區去了。華爾街附近擠滿了古舊建築和歷史文化街區，道路也像蜘蛛網一樣難以辨認，實在不太符合金融機構擴張業務的需求。「911」事件更是從根本上改變了華爾街周圍的格局，有些機構乾脆離開了紐約這座危險的城市，搬到了清靜安全的新澤西。現在，除了紐約聯邦儲備銀行之外，沒有任何一家銀行或基金把總部設在華爾街。在著名的「華爾街巨人」中，只有高盛和美林還堅守在離華爾街不遠的地方，其他巨人都已經搬遷到洛克菲勒中心、時代廣場或大中央火車站周圍的繁華商業區；即使是高盛和美林，也已經在曼哈頓中城區購置了新的豪華辦公室，不久就要徹底離開舊「華爾街」了。

但是，人們寧願把這一切稱為「華爾街」。在洛克菲勒中心的辦公室里，人們閱讀的仍然是「華爾街日報」；在國會聽證會上，美聯儲主席仍然關心著「華爾街的態度」；在大洋的另一側，企業家們的最高夢想仍然是「在華爾街融資」。無論地理位置相隔多遠，人們在精神上仍然屬於同一條街道——在這條街道上，所羅門兄弟曾經提著籃子向證券經紀人推銷債券，摩根曾經召開拯救美國金融危機的秘密會議，年輕的文伯格曾經戰戰兢兢地敲響高盛公司的大門（日後他成為高盛歷史上的傳奇總裁），米爾肯曾經向整個世界散發他的垃圾債券；在這些神話人物死去幾十年之後，他們的靈魂仍然君臨紐約上空，附身在任何一個年輕的銀行家、分析師、交易員、經紀人或基金經理的身上，隨時製造出最新的金融神話。這就是華爾街。

昨天晚上，我和一位共同基金主管共進晚餐。他已經在華爾街工作近三十年，兩鬢卻沒有一根白頭發，話語里還透著年輕人一樣的熱情與自信。他一邊喝著白葡萄酒，一邊興致勃勃地回憶自己在中國的經歷——「當我第一次到上海的時候，浦東還沒有一座高樓，現在它已經變成這個樣子了!」接著，他提到自己曾在台北出差的時候與紐約的證券分析師召開電話會議，當時台灣時間還是凌晨4點，窗外台風大作，整個酒店似乎都要倒塌下來，「那滋味可真令人永遠難忘!」他大笑著總結道。

在談到許多工作話題和政治話題之後，我問他：「你是一個華爾街癮君子(The Street Addicted)嗎?」我這樣問是有所指，CNBC有一個著名的證券分析節目，主持人是一位非常成功的對沖基金經理，他寫了一本非常自大的書，名字就叫「華爾街癮君子」，也就是對華爾街上癮的人。每次我看到他的電視節目，就覺得他像個野人，拿著一隻香蕉跳上跳下地怒吼著，用尖銳甚至粗俗的語言喊出他對證券市場的看法，那種表情簡直可以讓好萊塢的所有喜劇明星黯然失色。許多人告訴我，這傢伙是個徹底的瘋子——不過大家還是喜歡看他的節目，分析師尤其愛看，他們覺得這個華爾街癮君子真是個了不起的超級智者。在這里，癮君子究竟是褒義詞還是貶義詞?我不知道。

出人意料的是，我面前的這位基金主管非常愉快地說：「是的，我就是一個華爾街癮君子。華爾街真夠勁。你知道，在這里，這么多富有才華的人在處理這樣巨大的財富，他們創造著效率，也賺取著金錢；但是最重要的是，我感到這一切都很有樂趣。」他喝完杯中酒，用激動的語氣繼續說道：「每天早晨，是什麼在支撐人們起床投入工作，去管理那些無窮無盡的資產，去為那些企業融資呢?如果你不熱愛華爾街，你根本不可能堅持下來!所以唯一能夠做出偉大事業的是對華爾街上癮的人，華爾街從事的一切工作，對這種人來講都如此有趣，以至於無論多麼繁重的工作，都不覺得累了。我不知道別人怎麼看，反正我願意做華爾街癮君子。我以此為榮。」

這是我聽過的對華爾街最崇高的贊頌。從前，我曾經聽許多人講過他們對華爾街的態度：贊許的態度，憧憬的態度，不屑的態度，乃至仇恨的態度。我曾經聽一個長輩這樣描述他心目中的華爾街：「在華爾街，即使資歷最淺的金融專業人員，都可以拿到6萬美元以上的年薪，這就是它令人仰慕之所在。」噢，或許是這樣的，在許多人看來，薪水是唯一令人仰慕的因素。我還記得在回答某家投資銀行的招聘試題的時候，一個朋友毫不猶豫地寫下：「我願意加入貴銀行，主要原因是我想賺一大筆錢。」她當然不是在開玩笑!那時，誰聽說過「華爾街癮君子」這個褒義詞呢?誰能想像有人竟然會如此發自內心地熱愛華爾街?

在華爾街，我看到年過六旬的投資經理仍然懷著飽滿的精神研究新的行業、新的市場；我看到資深分析師一邊吃著簡單的午餐，一邊讀著像磚頭一樣厚的報告，甚至忘記了吞咽；我看到年輕的交易員在下班之後的Party上仍然在熱烈地討論交易策略，他們的臉上的笑容如此自然。國內的金融界並不是這樣的。整個亞洲的金融界都不是這樣的。我最好的朋友曾告訴我說，他最大的願望是在金融界苦熬幾年，賺到足夠的錢，然後「去做自己喜歡的事情」。「難道金融不是你喜歡的事情嗎?」我困惑不解地問他。「當然不是!」他毫不猶豫地回答，「和所有人一樣，我學習金融，並且希望從事金融，只是為了賺許多許多的錢。難道你不是這樣嗎?」

難怪華爾街能夠一直統治著世界的金融界。難怪華爾街的銀行家、分析師、交易員和基金經理們一直代表著金融創新的最高水平。因為在這里，銀行家每天工作14個小時不僅是因為完成任務的壓力，也是因為熱情；分析師每天閱讀幾百頁研究報告不僅是為了拿到自己的薪水，也是因為興趣；交易員每天打幾十個電話、輸入上百個交易指令不僅是為了應付老闆，也是因為他們喜歡交易。總之，這里的人們對華爾街上了癮。我還記得自己的老師，一位曾經擔任某家著名投資銀行董事總經理的紐約人的話：「當我剛開始做債券交易員的時候，每天12個小時盯著屏幕，追隨著債券利率變動的軌跡。我知道對於一個不喜歡債券的人來說，這份工作有多麼枯燥；但是我喜歡。所以我根本不覺得這是一種折磨!」毫無疑問，他也是一個華爾街的癮君子。

從早晨7點到晚上12點，在華爾街（當然，這是一個廣義稱謂）的每一個金融機構辦公樓里，燈光都不會熄滅，電腦都不會關閉。在所有人都已安然入睡的時候，外匯交易員在聚精會神地做著某個遙遠市場的大宗交易；在所有人還沒有起床的時候，分析師已經喝著濃濃的咖啡，開始舉行例行晨會；在所有人都在與家人歡度周末的時候，投資銀行家正在三萬英尺高空的機艙里奔赴某一個新興國家，准備星期一和他們洽談IPO問題——對他們來說，這不僅是工作，也是生活和愛好。華爾街的王牌對沖基金經理會對著CNBC的鏡頭大叫：「我對這一切都上了癮!」

附帶說一句，當我喝完最後一杯酒，准備回家睡覺的時候，那位基金主管告訴了我一個他最喜歡的告別的方式（同時也可以用在見面的時候）：兩個人的右手各自握成拳頭，堅定不移地互相撞擊，如此反復幾次，再揮手離去。「早先，這個動作代表『成交』；現在，它的含義是『我同意你的看法，我們堅定不移』!」在臨別之前，他微笑著說。

我同意他對華爾街的看法，也希望在若干年之後，我們的看法一樣堅定不移。無數對華爾街上癮的人組成了金融界——無數的財富在這里融合溝通，無數的資產在這里配置交易，無數人在這里辛勤勞動，從事他們為之上癮的世界。無論如何，願華爾街能夠使這個世界變得更加美好，而不是恰恰相反。

D. 股票中的死蜘蛛k線是什麼意思

就是五日均線、10日均線、20日均線、60日均線方向發生轉向的那個點也就是12月23日那跟大陰線所致。大家可以注意看均線空頭倒向排列也就是一個死結均線可以視為蜘蛛腿，這個點是最致命的點，所有的均線（成本）都在這兒發生共振，5日、10日、20日、60日、買進的人在這一天都是相同成本，那麼多人在這一天都是這個價格買進，如果這跟K線一旦往下跌，就是把這些人統統套牢，是不是這個意思？比如說，前面也有一些陰線，它跌下來只是把5日、10日、20日買進的人套牢，但對於60日買進的人來說，在這點它是沒有危機感的，因為他並沒有套牢，他還是很開心，沒有恐慌；而在【死蜘蛛】這一點下面，這些5日、10日、20日、60日同時發生恐慌，他們懷疑是不是走壞了，要考慮要不要割肉走了？因此，這個【死蜘蛛】對市場的震力是相當強的，他震撼了一批人，讓他們感覺到大盤走壞了，准備要逃跑。因此，這一帶形成了很大的壓力，以至於抑制了後面大盤的上行。一個【死蜘蛛】輻射出來，5日、10日、20日、60日所有人開始恐慌，他們的解套壓力就在這一帶股價以後就節節敗退了。

E. 誰發明了什麼

可以說：
根據蒼蠅發明照相機
根據海豚發明船
根據蒼蠅發明了照相機
根據魚鰾的特點，發明了潛水艇
還可以說：
小草的觀察：發明了鋸
蜻蜓的觀察：改進了機翼
鳥類的觀察：發明了飛機
海豚的觀察：發明了潛水艇
蒼蠅等復眼的觀察：發明了尋像儀
眼鏡蛇的觀察：發明了紅外夜視儀
蝙蝠的觀察：發明了聲納
蜜蜂的觀察：產生了蜂窩結構
蛋的觀察：產生了拱梁結構
斑馬的觀察：發明了迷彩服
青蛙的觀察：產生了蛙泳
還可以說：
蝙蝠--聲納和雷達，還有蝙蝠衫
魚類的尾鰭--船舵
魚類的胸鰭--船槳
蜘蛛網--魚網和新型纖維
動物的巢穴--房屋
食肉動物捕獵--狩獵術
鯊魚--「鯊魚皮」連體游泳衣
鳥類--滑翔機和飛機
動物的偽裝色--迷彩服
烏龜--坦克和龜息等氣功吐納養生手段
動物的蹼--潛水裝備中的蹼腳
豬--防毒面具
蛙類--蛙泳
蝴蝶--蝶泳和時裝
狗--狗刨
蛇、猴、鷹等-蛇拳、猴拳、鷹爪拳等拳術武功
........
太多了，數不勝數，不勝枚舉。

F. 爬蟲都可以干什麼

python是一種計算機的編程語言，是這么多計算機編程語言中比較容易學的一種，而且應用也廣，這python爬蟲是什麼意思呢？和IPIDEA全球http去了解一下python爬蟲的一些基礎知識。

一、python爬蟲是什麼意思

爬蟲：是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。

即：打開一個網頁，有個工具，可以把網頁上的內容獲取下來，存到你想要的地方，這個工具就是爬蟲。

Python爬蟲架構組成：

1.網頁解析器，將一個網頁字元串進行解析，可以按照我們的要求來提取出我們有用的信息，也可以根據DOM樹的解析方式來解析。

2.URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重復抓取URL和循環抓取URL，實現URL管理器主要用三種方式，通過內存、資料庫、緩存資料庫來實現。

3.網頁下載器：通過傳入一個URL地址來下載網頁，將網頁轉換成一個字元串，網頁下載器有urllib2（Python官方基礎模塊）包括需要登錄、代理、和cookie，requests(第三方包)

4.調度器：相當於一台電腦的CPU，主要負責調度URL管理器、下載器、解析器之間的協調工作。

5.應用程序：就是從網頁中提取的有用數據組成的一個應用。

二、爬蟲怎麼抓取數據

1.抓取網頁

抓取網頁有時候需要模擬瀏覽器的行為，很多網站對於生硬的爬蟲抓取都是封殺的。這是我們需要模擬user agent的行為構造合適的請求，比如模擬用戶登陸、模擬session/cookie的存儲和設置。

2.抓取後處理

抓取的網頁通常需要處理，比如過濾html標簽，提取文本等。python的beautifulsoap提供了簡潔的文檔處理功能，能用極短的代碼完成大部分文檔的處理。

其實以上功能很多語言和工具都能做，但是用python能夠幹得最快，最干凈。上文介紹了python爬蟲的一些基礎知識，相信大家對於「python爬蟲是什麼意思」與「爬蟲怎麼抓取數據」有一定的的認識了。現在大數據時代，很多學python的時候都是以爬蟲入手，學習網路爬蟲的人越來越多。通常使用爬蟲抓取數據都會遇到IP限制問題，使用高匿代理，可以突破IP限制，幫助爬蟲突破網站限制次數。

G. 什麼是股票均線蜘蛛形態

許多股民朋友在炒股的時候，可能更在乎股價的情況，導致會錯過一些重要的技術指標，同時炒股也是有技術指標的，而均線則是技術指標里的重要指標之一。均線的含義是什麼，是什麼意思么以及怎麼運用呢？緊接著下來我就為大家簡單說一下，學姐也是希望可以幫助到大家。在講之前，學姐先給大家分享一波福利--機構精選的牛股榜單新鮮出爐，趕緊看過來大福利，不要錯過：【絕密】機構推薦的牛股名單泄露，限時速領！！！
一、均線的定義
1、均線是什麼
均線簡單的來說就是一種重要的技術指標，投資者經常用的，它是將某一段時間的收盤價之和除以該周期所得到的一根平均線。假如一個星期內有5個交易日，也就是5天的收盤價加在一起除5便可得到這幾天的平均收盤價，同樣，10日、20日等的均線也可用此法算出。
2、均線有哪些、不同顏色
均線依據的參數不同，其作用和反應情況也有區別。常用的參數有5日、10日、20日、30日、60日、120日、250日。常用的顏色有白色（5日線）、黃色（10日線）、紫色（20日線）、綠色（30日線）、灰色（60日線）、藍色（120日線）、橙色（250日），當然顏色是可以變動的，股民可以看自己喜歡的顏色來設定。
二、均線的簡單應用
1、如何在走勢圖看均線
（1）添加均線：比如在股票軟體界面按MA鍵出現如下圖再按回車鍵就可以添加了

（2）查看均線：

2、分析時用哪條
均線是一個時間區間內平均價格和趨勢的反映，均線可以將過去一個時段內價格總體運行情況直觀地呈現給我們。每一根線都有單獨的作用和意義，關於它們之間的聯系，我接下來就給大家講講吧
（1）5日均線（攻擊線）：股價上漲突破了攻擊線，並且還呈現上升趨勢，短期內將看漲。同樣的道理，假如5日均線向下股價跌破均線則短期看空。
（2）10日均線（行情線）：當盤中的操盤線持續上升的時候，操盤線被股價突破的話，則意味著波段性中線上漲，否則會下降。
（3）20日均線（輔助線）：主要用來協助10日均線，不僅對價格運行力度和價格趨勢角度進行推進，而且能對二者進行修正，穩定價格趨勢運行方向。若在盤中輔助線呈持續向上的攻擊狀態之時，當價格突破輔助線，這個意思就是波段性中線行情開始看多，反則就是清空了
（4）30日均線（生命線）：指明股價中期運動的趨勢就是它的作用，生命線能起到的主要作用就是較強的壓力和支撐。在盤中也相似的，要是得到的生命線趨勢是向上的，而股價突破或高於線則看多，否則看空。
（5）60日均線（決策線）：可以根據這看到價格的中期反轉趨勢，指導價格大波段級別運行於提前預定好得趨勢之中。基本主力其實都會很重視這根均線的，股價在中期的運動趨勢它可以起一個至關重要的作用。
（6）120日均線（趨勢線）：作用同樣如此，也就是指明價格中長期的反轉趨勢，指點價格在既定的趨勢中，大波段大級別的運行。當股價突破趨勢線時，短時間內基本不會有反轉趨勢，一般至少也要10天以上反轉。
（7）250日均線（年線）：這條均線是判斷是否要長期投資的重要依據。公司的大體情況和業績它都能夠有所反應。
這些線主要有什麼用都已經在上面提到過了，統籌多條均線進行分析，才能給我們更好更准確的效果。不懂哪只股票比較好？會不會存在一些風險？戳這個鏈接就可以，看到這個診股報告就是你的專屬！【免費】測一測你的股票當前估值位置？
3、均線一些常見形態有哪些？
（1）多頭排列：表示多條均線維持著股價上漲的狀態，則看多。

（2）空頭排列：表示多條均線反壓股價，則看空。

（3）銀山谷：表示的是短中線都穿過長線的時候所形成的圖形，下邊有一個三角，或者是四邊形，一個類似於山谷的形狀就會出現，在長期跌落後首次出現的山谷稱為銀山谷。
（4）金山谷：在銀山谷後面又映現出一個山谷，一般會比銀山谷的買入點更加靠譜。

大家買股票，通常都是買的龍頭股，因為此類的股票一向是行業中的最為厲害的，在股市中也能發動一波好的局勢。我這里也列舉了A股各行業的龍頭股名單，免費讓大家使用~吐血整理！各大行業龍頭股票一覽表，建議收藏！

應答時間：2021-09-24，最新業務變化以文中鏈接內展示的數據為准，請點擊查看

H. 股票中，什麼是金蜘蛛

金蜘蛛後，你跑的不及時 3個跌停

買股票不能憑借這些所謂的形態戰法或者指標

指標跟價格來，價格跟成交量來，成交量跟結構來

你看這些東西是很滯後的

I. 哪個網站對股市消息最靈通，政策消息准確

金融界http://www.jrj.com/證券之星http://www.stockstar.com/home.htm東方財富網http://www.eastmoney.com/360股訊http://www.guxun360.com/index.aspx中金在線http://www.cnfol.com/股市在線http://www.secon.cn/頂點財經http://www.topcj.com/操盤手紅蜘蛛http://hi..com/%B2%D9%C5%CC%CA%D6%BA%EC%D6%A9%D6%EB

J. 什麼是網路蜘蛛

[摘要]當「蜘蛛」程序出現時，現代意義上的搜索引擎才初露端倪。它實際上是一種電腦「機器人」（Computer Robot），電腦「機器人」是指某個能以人類無法達到的速度不間斷地執行某項任務的軟體程序。由於專門用於檢索信息的「機器人」程序就象蜘蛛一樣在網路間爬來爬去，反反復復，不知疲倦。所以，搜索引擎的「機器人」程序就被稱為「蜘蛛」程序。

關鍵詞：網路蜘蛛 起源 原理 優化

目錄

什麼是網路蜘蛛

網路蜘蛛的起源

網路蜘蛛的工作原理

正文開始 【網路蜘蛛】

1、什麼是網路蜘蛛

----什麼是網路蜘蛛呢？網路蜘蛛即Web Spider，是一個很形象的名字。把互聯網比喻成一個蜘蛛網，那麼Spider就是在網上爬來爬去的蜘蛛。網路蜘蛛是通過網頁的鏈接地址來尋找網頁，從 網站某一個頁面（通常是首頁）開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，然後通過這些鏈接地址尋找下一個網頁，這樣一直循環下去，直到把這個網 站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站，那麼網路蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。

----這樣看來，網路蜘蛛就是一個爬行程序，一個抓取網頁的程序。

2、網路蜘蛛的起源

----要說網路蜘蛛的起源，我們還得從搜索引擎說起，什麼是搜索引擎呢？搜索引擎的起源是什麼，這和網路蜘蛛的起源密切相關。

----搜索引擎指自動從英特網搜集信息，經過一定整理以後，提供給用戶進行查詢的系統。英特網上的信息浩瀚萬千，而且毫無秩序，所有的信息象汪洋上的一個個小島，網頁鏈接是這些小島之間縱橫交錯的橋梁，而搜索引擎，則為你繪制一幅一目瞭然的信息地圖，供你隨時查閱。

----搜索引擎從1990年原型初顯，到現在成為人們生活中必不可少的一部分，它經歷了太多技術和觀念的變革。
----十四年前1994年的一月份，第一個既可搜索又可瀏覽的分類目錄EINetGalaxy上線了。在它之後才出現了雅虎，直至我們現在熟知的Google、網路。但是他們都不是第一個吃搜索引擎這個螃蟹的第一人。從搜索FTP上的文件開始，搜索引擎的原型就出現了，那時還未有萬維網，當時人們先用手工後用蜘蛛程序搜索網頁，但隨著互聯網的不斷壯大，怎樣能夠搜集到的網頁數量更多、時間更短成為了當時的難點和重點，成為人們研究的重點。

----搜索引擎原型初顯

----如果要追溯的話，搜索引擎的歷史比WorldWideWeb 還要長。早在Web出現之前，互聯網上就已經存在許多旨在讓人們共享的信息資源了。這些資源當時主要存在於各種允許匿名訪問的FTP 站點。為了便於人們在分散的FTP資源中找到所需的東西，1990年，加拿大麥吉爾大學（McGillUniversity）的幾個大學生開發了一個軟體Archie。它是一個可搜索的FTP文件名列表，用戶必須輸入精確的文件名搜索，然後Archie會告訴用戶哪一個FTP地址可以下載這個文件。Archie實際上是一個大型的資料庫，再加上與這個大型資料庫相關聯的一套檢索方法。Archie雖然還不是搜索引擎,但是從它的工作原理上看，它是所有搜索引擎的祖先。

----當萬維網（WorldWideWeb）出現後，人們可以通過 html傳播網頁信息，網路上的信息開始成倍增長。人們紛紛使用各種方法將網路上的信息搜集來，進行分類、整理，以方便查找。現在人們很熟悉的網站雅虎（Yahoo）就是在這個環境下誕生的。還在Stanford大學讀書的美籍華人楊致遠和他的同學迷上了互聯網。他們將互聯網上有趣的網頁搜集過來，與同學一起分享。後來，1994年4月，他們倆共同辦了雅虎。隨著訪問量和收錄鏈接數的增長，雅虎目錄開始支持簡單的資料庫搜索。但是因為雅虎的數據是手工輸入的，所以不能真正被歸為搜索引擎，事實上只是一個可搜索的目錄。

----當「蜘蛛」程序出現時，現代意義上的搜索引擎才初露端倪。它實際上是一種電腦「機器人」（Computer Robot），電腦「機器人」是指某個能以人類無法達到的速度不間斷地執行某項任務的軟體程序。由於專門用於檢索信息的「機器人」程序就象蜘蛛一樣在網路間爬來爬去，反反復復，不知疲倦。所以，搜索引擎的「機器人」程序就被稱為「蜘蛛」程序。

----這種程序實際是利用html文檔之間的鏈接關系，在Web上一個網頁一個網頁的爬取（crawl），將這些網頁抓到系統來進行分析，並放入資料庫中。第一個開發出「蜘蛛」程序的是Matthew Gray，他於1993年開發了World Wide Web Wanderer，它最初建立時是為了統計互聯網上的伺服器數量，到後來發展到能夠捕獲網址。現代搜索引擎的思路就來源於Wanderer，後來很多人在此基礎上對蜘蛛程序進行了改進。

----1994年7月20日發布的Lycos網站第一個將 「蜘蛛」程序接入到其索引程序中。引入「蜘蛛」後給其帶來的最大優勢就在於其遠勝於其它搜索引擎的數據量。自此之後幾乎所有占據主導地位的搜索引擎中，都靠「蜘蛛」來搜集網頁信息。Infoseek是另一個重要的搜索引擎，於1994年年底才與公眾見面。起初，Infoseek只是一個不起眼的搜索引擎，它沿襲Yahoo!和Lycos的概念，並沒有什麼獨特的革新。但是它友善的用戶界面、大量附加服務使它在用戶中贏得了口碑。1995年12月，它與Netscape的戰略性協議，使它成為一個強勢搜索引擎：當用戶點擊Netscape瀏覽器上的搜索按鈕時，彈出Infoseek的搜索服務，而此前由Yahoo!提供該服務。 1995年12月15日，Alta Vista正式上線。它是第一個支持高級搜索語法的搜索引擎，成功地整合了此前人類所有的信息檢索技術，解決了包括字根處理、關鍵詞檢索、布爾邏輯，以及通過向量空間模型的查詢排名等關鍵問題。正式公開之前，Alta Vista就已經擁有20萬訪問用戶，在短短三個星期之內，到訪人數由每天30萬次增加到200萬次。它的成功在於滿足了用戶三個方面的需求：網上索引范圍超過了此前任何一家搜索引擎；短短幾秒鍾內便可從龐大的資料庫中為用戶返回搜索結果；Alta Vista小組從一開始就採用了一種模塊設計技術，能夠跟蹤網站的流行趨勢，同時不斷擴大處理能力。在當時許多搜索引擎之中，Alta Vista脫穎而出，成為網路搜索的代名詞。Google就是站在這樣的巨人的肩膀上顛覆並創造著。「上網即搜索」 改變了人們上網方式的，就是現在鼎鼎大名的Google。Google並不是搜索引擎的發明者，甚至有點落後，但是它卻讓人們愛上了搜索。

----1998年9月，在佩奇和布林創建Google之時，業界對互聯網搜索功能的理解是：某個關鍵詞在一個文檔中出現的頻率越高，該文檔在搜索結果中的排列位置就要越顯著。這就引出了這樣一個問題，如果一個頁面充斥著某一個關鍵字的話，那麼它將排在很顯著的位置，但這樣一個頁面對於用戶來說，卻沒有任何意義。佩奇和布林發明了「網頁級別」（PageRank）技術，來排列搜索結果。即考察該頁面在網上被鏈接的頻率和重要性來排列，互聯網上指向這一頁面的重要網站越多，該頁面的位次也就越高。當從網頁A鏈接到網頁B時，Google 就認為「網頁A投了網頁B一票」。Google根據網頁的得票數評定其重要性。然而，除了考慮網頁得票數的純數量之外，Google還要分析投票的網頁，「重要」的網頁所投出的票就會有更高的權重，並且有助於提高其他網頁的「重要性」。 Google以其復雜而全自動的搜索方法排除了任何人為因素對搜索結果的影響。沒人能花錢買到更高的網頁級別，從而保證了網頁排名的客觀公正。除此之外，動態摘要、網頁快照、多文檔格式支持、地圖股票詞典尋人等集成搜索也都深得網民的喜愛。其他眾多搜索引擎也都緊跟Google，推出這些服務。Fast（Alltheweb）公司發布的搜索引擎AllTheWeb，總部位於挪威，其在海外的風頭直逼Google。Alltheweb的網頁搜索支持Flash和pdf搜索，支持多語言搜索，還提供新聞搜索、圖像搜索、視頻、MP3、和FTP搜索，擁有極其強大的高級搜索功能。而中國的網路更是憑借「更懂中文」而吸引著中國的網路受眾，它擁有超過10億的中文網頁資料庫，並且，這些網頁的數量每天正以千萬級的速度在增長。

----搜索引擎越來越成為人們生活中重要的一部分，找資料、查地圖、聽音樂，只有想不到的，沒有搜索不到的。
----搜索引擎的三個基本原理

----1．利用蜘蛛系統程序，自動訪問互聯網，並沿著任何網頁中的所有URL爬到其它網頁，重復這過程，並把爬過的所有網頁收集回來。

----2.由分析索引系統程序對收集回來的網頁進行分析，提取相關網頁信息，根據一定的相關度演算法進行大量復雜計算，得到每一個網頁針對頁面內容中及超鏈中每一個關鍵詞的相關度（或重要性），然後用這些相關信息建立網頁索引資料庫。

----3.當用戶輸入關鍵詞搜索後，由搜索系統程序從網頁索引資料庫中找到符合該關鍵詞的所有相關網頁。相關度數值排序，相關度越高，排名越靠前。最後，由頁面生成系統將搜索結果的鏈接地址和頁面內容摘要等內容組織起來返回給用戶。

----說到這里，你可能對搜索引擎和網路蜘蛛有了一個初步的了解了吧！
3、網路蜘蛛的工作原理

----對於搜索引擎來說，要抓取互聯網上所有的網頁幾乎是不可能的，從目前公布的數據來看，容量最大的搜索引擎也不過是抓取了整個網頁數量的百分之四十左右。這 其中的原因一方面是抓取技術的瓶頸，無法遍歷所有的網頁，有許多網頁無法從其它網頁的鏈接中找到；另一個原因是存儲技術和處理技術的問題，如果按照每個頁 面的平均大小為20K計算（包含圖片），100億網頁的容量是100×2000G位元組，即使能夠存儲，下載也存在問題（按照一台機器每秒下載20K計算， 需要340台機器不停的下載一年時間，才能把所有網頁下載完畢）。同時，由於數據量太大，在提供搜索時也會有效率方面的影響。因此，許多搜索引擎的網路蜘 蛛只是抓取那些重要的網頁，而在抓取的時候評價重要性主要的依據是某個網頁的鏈接深度。

----在抓取網頁的時候，網路蜘蛛一般有兩種策略：廣度優先和深度優先（如下圖所示）。

----廣度優先是指網路蜘蛛會先抓取起始網頁中鏈接的所有網頁，然後再選擇其中 的一個鏈接網頁，繼續抓取在此網頁中鏈接的所有網頁。這是最常用的方式，因為這個方法可以讓網路蜘蛛並行處理，提高其抓取速度。深度優先是指網路蜘蛛會從 起始頁開始，一個鏈接一個鏈接跟蹤下去，處理完這條線路之後再轉入下一個起始頁，繼續跟蹤鏈接。這個方法有個優點是網路蜘蛛在設計的時候比較容易。兩種策 略的區別，下圖的說明會更加明確。

----由於不可能抓取所有的網頁，有些網路蜘蛛對一些不太重要的網站，設置了訪問的層數。例如，在上圖中，A為起始網頁，屬於0層，B、C、D、E、F屬於第1 層，G、H屬於第2層，I屬於第3層。如果網路蜘蛛設置的訪問層數為2的話，網頁I是不會被訪問到的。這也讓有些網站上一部分網頁能夠在搜索引擎上搜索 到，另外一部分不能被搜索到。對於網站設計者來說，扁平化的網站結構設計有助於搜索引擎抓取其更多的網頁。
----網路蜘蛛在訪問網站網頁的時候，經常會遇到加密數據和網頁許可權的問題，有些網頁是需要會員許可權才能訪問。當然，網站的所有者可以通過協議讓網路蜘蛛不去抓 取（下小節會介紹），但對於一些出售報告的網站，他們希望搜索引擎能搜索到他們的報告，但又不能完全免費的讓搜索者查看，這樣就需要給網路蜘蛛提供相應的 用戶名和密碼。網路蜘蛛可以通過所給的許可權對這些網頁進行網頁抓取，從而提供搜索。而當搜索者點擊查看該網頁的時候，同樣需要搜索者提供相應的許可權驗證。

----每個網路蜘蛛都有自己的名字，在抓取網頁的時候，都會向網站標明自己的身份。網路蜘蛛在抓取網頁的時候會發送一個請求，這個請求中就有一個欄位為User －agent，用於標識此網路蜘蛛的身份。例如Google網路蜘蛛的標識為GoogleBot，Bai網路蜘蛛的標識為BaiDuSpider， Yahoo網路蜘蛛的標識為Inktomi Slurp。如果在網站上有訪問日誌記錄，網站管理員就能知道，哪些搜索引擎的網路蜘蛛過來過，什麼時候過來的，以及讀了多少數據等等。如果網站管理員發 現某個蜘蛛有問題，就通過其標識來和其所有者聯系。

----網路蜘蛛進入一個網站，一般會訪問一個特殊的文本文件Robots.txt，這個文件一般放在網站伺服器的根目錄下，如：[url]http://www.blogchina.com/robots.txt[/url]。 網站管理員可以通過robots.txt來定義哪些目錄網路蜘蛛不能訪問，或者哪些目錄對於某些特定的網路蜘蛛不能訪問。例如有些網站的可執行文件目錄和 臨時文件目錄不希望被搜索引擎搜索到，那麼網站管理員就可以把這些目錄定義為拒絕訪問目錄。Robots.txt語法很簡單，例如如果對目錄沒有任何限 制，可以用以下兩行來描述： User-agent: *
Disallow:

----當然，Robots.txt只是一個協議，如果網路蜘蛛的設計者不遵循這個協議，網站管理員也無法阻止網路蜘蛛對於某些頁面的訪問，但一般的網路蜘蛛都會遵循這些協議，而且網站管理員還可以通過其它方式來拒絕網路蜘蛛對某些網頁的抓取。

---- 網路蜘蛛在下載網頁的時候，會去識別網頁的HTML代碼，在其代碼的部分，會有META標識。通過這些標識，可以告訴網路蜘蛛本網頁是否需要被抓取，還可 以告訴網路蜘蛛本網頁中的鏈接是否需要被繼續跟蹤。例如：表示本網頁不需要被抓取，但是網頁內的鏈接需要被跟蹤。

---- 搜索引擎建立網頁索引，處理的對象是文本文件。對於網路蜘蛛來說，抓取下來網頁包括各種格式，包括html、圖片、doc、pdf、多媒體、動態網頁及其 它格式等。這些文件抓取下來後，需要把這些文件中的文本信息提取出來。准確提取這些文檔的信息，一方面對搜索引擎的搜索准確性有重要作用，另一方面對於網 絡蜘蛛正確跟蹤其它鏈接有一定影響。對於doc、pdf等文檔，這種由專業廠商提供的軟體生成的文檔，廠商都會提供相應的文本提取介面。網路蜘蛛只需要調用這些插件的介面，就可以輕松的提取文檔中的文本信息和文件其它相關的信息。但HTML等文檔不一樣，HTML有一套自己的語法，通過不同的命令標識符來表示不同的字體、顏色、位置等版式，如：、、等， 提取文本信息時需要把這些標識符都過濾掉。過濾標識符並非難事，因為這些標識符都有一定的規則，只要按照不同的標識符取得相應的信息即可。但在識別這些信 息的時候，需要同步記錄許多版式信息，例如文字的字體大小、是否是標題、是否是加粗顯示、是否是頁面的關鍵詞等，這些信息有助於計算單詞在網頁中的重要程 度。同時，對於HTML網頁來說，除了標題和正文以外，會有許多廣告鏈接以及公共的頻道鏈接，這些鏈接和文本正文一點關系也沒有，在提取網頁內容的時候， 也需要過濾這些無用的鏈接。例如某個網站有「產品介紹」頻道，因為導航條在網站內每個網頁都有，若不過濾導航條鏈接，在搜索「產品介紹」的時候，則網站內 每個網頁都會搜索到，無疑會帶來大量垃圾信息。過濾這些無效鏈接需要統計大量的網頁結構規律，抽取一些共性，統一過濾；對於一些重要而結果特殊的網站，還 需要個別處理。這就需要網路蜘蛛的設計有一定的擴展性。

---- 對於多媒體、圖片等文件，一般是通過鏈接的錨文本（即，鏈接文本）和相關的文件注釋來判斷這些文件的內容。例如有一個鏈接文字為「張曼玉照片」，其鏈接指 向一張bmp格式的圖片，那麼網路蜘蛛就知道這張圖片的內容是「張曼玉的照片」。這樣，在搜索「張曼玉」和「照片」的時候都能讓搜索引擎找到這張圖片。另 外，許多多媒體文件中有文件屬性，考慮這些屬性也可以更好的了解文件的內容。

---- 動態網頁一直是網路蜘蛛面臨的難題。所謂動態網頁，是相對於靜態網頁而言，是由程序自動生成的頁面，這樣的好處是可以快速統一更改網頁風格，也可以減少網 頁所佔伺服器的空間，但同樣給網路蜘蛛的抓取帶來一些麻煩。由於開發語言不斷的增多，動態網頁的類型也越來越多，如：asp、jsp、php等。這些類型 的網頁對於網路蜘蛛來說，可能還稍微容易一些。網路蜘蛛比較難於處理的是一些腳本語言（如VBScript和JavaScript）生成的網頁，如果要完 善的處理好這些網頁，網路蜘蛛需要有自己的腳本解釋程序。對於許多數據是放在資料庫的網站，需要通過本網站的資料庫搜索才能獲得信息，這些給網路蜘蛛的抓 取帶來很大的困難。對於這類網站，如果網站設計者希望這些數據能被搜索引擎搜索，則需要提供一種可以遍歷整個資料庫內容的方法。

對於網頁內容的提取，一直是網路蜘蛛中重要的技術。整個系統一般採用插件的形式，通過一個插件管理服務程序，遇到不同格式的網頁採用不同的插件處理。這種 方式的好處在於擴充性好，以後每發現一種新的類型，就可以把其處理方式做成一個插件補充到插件管理服務程序之中。

---- 由於網站的內容經常在變化，因此網路蜘蛛也需不斷的更新其抓取網頁的內容，這就需要網路蜘蛛按照一定的周期去掃描網站，查看哪些頁面是需要更新的頁面，哪些頁面是新增頁面，哪些頁面是已經過期的死鏈接。

---- 搜索引擎的更新周期對搜索引擎搜索的查全率有很大影響。如果更新周期太長，則總會有一部分新生成的網頁搜索不到；周期過短，技術實現會有一定難度，而且會 對帶寬、伺服器的資源都有浪費。搜索引擎的網路蜘蛛並不是所有的網站都採用同一個周期進行更新，對於一些重要的更新量大的網站，更新的周期短，如有些新聞 網站，幾個小時就更新一次；相反對於一些不重要的網站，更新的周期就長，可能一兩個月才更新一次。

---- 一般來說，網路蜘蛛在更新網站內容的時候，不用把網站網頁重新抓取一遍，對於大部分的網頁，只需要判斷網頁的屬性（主要是日期），把得到的屬性和上次抓取的屬性相比較，如果一樣則不用更新。

---- 現在大家對網路蜘蛛的工作原理有了初步的了解了吧，了解後就要在以後的網站製作中考慮蜘蛛的爬行規律，比如製作網站地圖就很重要，好了，如果你有更好的見解，請到這里發表，火鳥非常願意與你交流，共同研究網站製作技巧，盡量將自己的網站製作的符合標准，符合用戶的習慣！