python持倉數據

⑴ python數據分析使用的數據

1、對數據進行排序df.sort_values()
#讀取數據
titanic_survival=pd.read_csv(r"C:Userspythonwandata_minepython_pandas itanic_train.csv")
#用sort_values()函數對指定列排序，默認升序排序，inplace=True表示在原來的df上排序titanic_survival.sort_values(("Age"),inplace=Tru
2、缺失值判斷及統計pandas.isnull()、pandas.isnull
空值統計方法一：df.isnull().sum()：
#當不指定具體列時，統計整個df的缺失值個數
titanic_survival['Age'].isnull().sum()
通過len()函數統計缺失值
3、缺失值處理
處理缺失值可以分為兩類：刪除缺失值和缺失值插補。而缺失值插補又分為以下幾種：
均值/中位數/眾數插補
使用固定值（將缺失值的屬性用一個常量代替）
最近鄰插補（在記錄中找到與缺失值樣本最接近的樣本的該屬性插補）
回歸方法（對帶有缺失值的變數，根據已有數據和與其有關的其他變數建立擬合模型來預測缺失值）
插值法（利用已知點建立合適的插值函數f(x),未知值由對應點xi求出來近似代替）
下面，我們主要討論刪除缺失值，學習一些pandas缺失值刪除的操作。
1）df.dropna(),舍棄含有任意缺失值的行
#等價於titanic_survival.dropna(axis=0) axis=0表示刪除行，axis=1表示刪除列
dropall=titanic_survival.dropna()
刪除含任意空值的行
2）df.dropna()函數刪除某個列中含有空值的行
現在這個數據中age、cabin、embarked都有缺失值，如果我們直接使用df.dropna()會刪除掉這三列中都有空值的所有行，但是我們希望只刪除age列中有空值的數據，那該如何處理呢？
直接使用df.dropna(subset=['column_list'])
drop_age_null=titanic_survival.dropna(subset=["Age"])
刪除指定列中含有缺失值的行
pandas自定義函數

⑵ 如何使用python 抓取雪球網頁

現在關注一個組合，就會有持倉變動的提示了。不過我覺得這事情挺有意思的。比如可以把很多持倉的數據都抓下來，做一些綜合的分析，看看現在網站上被持有最多的股票是哪一支，某一天被調入最多的又是哪一支之類。
於是我決定來抓抓看，順便藉此說說我通常用程序做自動抓取的過程。
Step.1 分析頁面
要抓一個網頁，首先自然是要「研究」這個網頁。通常我會用兩種方式：
一個是 Chrome 的 Developer Tools。通過它裡面的 Network 功能可以看到頁面發出的所有網路請求，而大多數數據請求都會在 XHR 標簽下。點擊某一個請求，可以看到其具體信息，以及伺服器的返回結果。很多網站在對於某些數據會有專門的請求介面，返回一組 json 或者 XML 格式的數據，供前台處理後顯示。

另一個就是直接查看網頁源代碼。通常瀏覽器的右鍵菜單里都有這個功能。從頁面的 HTML 源碼里直接尋找你要的數據，分析它格式，為抓取做准備。
對於雪球上的一個組合頁面 粗略地看了一下它發出的請求，並沒有如預想那樣直接找到某個數據介面。看源代碼，發現有這樣一段：
SNB.cubeInfo = {"id":10289,"name":"誓把老刀挑下位","symbol":"ZH010389" ...此處略過三千字... "created_date":"2014.11.25"}
SNB.cubePieData = [{"name":"汽車","weight":100,"color":"#537299"}];

cubeInfo 是一個 json 格式的數據，看上去就是我們需要的內容。一般我會找個格式化 json 的網站把數據復制進去方便查看。

這應該就是組合的持倉數據。那麼接下來，一切似乎都簡單了。只要直接發送網頁請求，然後把其中 cubeInfo 這段文字取出，按 json 讀出數據，就完成了抓取。甚至不用動用什麼 BeautifulSoup、正則表達式。
Step.2 獲取頁面
分析完畢，開抓。
直接 urllib.urlopen 向目標網頁發送請求，讀出網頁。結果，失敗了……
看了下返回結果：
403 Forbidden
You don't have permission to access the URL on this server. Sorry for the inconvenience.

被拒了，所以這種赤裸裸地請求是不行的。沒關系，那就稍微包裝一下：
send_headers = {
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.81 Safari/537.36',
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Connection':'keep-alive',
'Host':'xueqiu.com',
'Cookie':r'xxxxxx',
}
req = urllib2.Request(url, headers=send_headers)
resp = urllib2.urlopen(req)
html = resp.read()

header 數據都可以從 Developer Tools 里拿到。這次順利抓到頁面內容。
一般網站或多或少都會對請求來源做一些阻攔，通過加 header 可以搞定大部分情況。
Step.3 提取數據
因為這個數據比較明顯，直接用通過一些字元串查找和截取操作就可以取出來。
pos_start = html.find('SNB.cubeInfo = ') + len('SNB.cubeInfo = ')
pos_end = html.find('SNB.cubePieData')
data = html[pos_start:pos_end]
dic = json.loads(data)

dic 就是一個包含數據的字典對象。之後想干什麼就隨便你了。
對於復雜一點的情況，可以通過 BeautifulSoup 來定位 html 標簽。再不好辦的，就用正則表達式，基本都可以解決掉。
Step.4 處理數據
因為我想對數據進行持久化存儲，並且做展示和分析，所以我用了 django 里的 ORM 來處理抓下來的數據。
# add Portfolio
portfolio, c = models.Portfolio.objects.get_or_create(code=dic['symbol'])
portfolio.name = dic['name']
portfolio.earnings = dic['total_gain']
portfolio.save()
# add Stock
stocks = dic['view_rebalancing']['holdings']
for s in stocks:
stock, c = models.Stock.objects.get_or_create(code=s['stock_symbol'])
stock.name = s['stock_name']
stock.count += 1
stock.weight += s['weight']
stock.save()

Portfolio 記錄下組合及其收益，Stock則記錄每支股票的被收錄數和總收錄份額。
對於抓取到的，一般也可以存在文件中，或者直接通過 SQL 存入資料庫，視不同情況和個人喜好而定。
Step.5 批量抓取
前面的一套做下來，就完整地抓取了一組數據。要達到目的，還要設計一下批量抓取的程序。
一個要解決的問題就是如何獲得組合列表。這個可以再通過另一個抓取程序來實現。然後根據這些列表來循環抓取就可以了。
若要細究，還要考慮列表如何保存和使用，如何處理抓取失敗和重復抓取，如何控制抓取頻率防止被封，可否並行抓取等等。
Step.6 數據分析
數據有了，你要怎麼用它，這是個很大的問題。可以簡單的統計現象，也可以想辦法深入分析背後隱藏的邏輯。不多說，我也還只是在摸索之中。

⑶ Python 如何爬股票數據

現在都不用爬數據拉，很多量化平台能提供數據介面的服務。像比如基礎金融數據，包括滬深A股行情數據，上市公司財務數據，場內基金數據，指數數據，期貨數據以及宏觀經濟數據；或者Alpha特色因子，技術分析指標因子，股票tick數據以及網路因子數據這些數據都可以在JQData這種數據服務中找到的。
有的供應商還能提供level2的行情數據，不過這種比較貴，幾萬塊一年吧

⑷ 如何使用python抓取炒股軟體中資金數據

這個說來有點復雜，用fiddle監控軟體跟伺服器間的通訊，找到數據源地址，然後用excel或python抓這個源地址數據，可能還要加上反扒代碼，構造時間戳等等，你網上找python網抓視頻教程看看就知道了。

⑸ python 如何存貯千萬之上的數據

存為csv格式或是寫入資料庫都可以啊

⑹ 如何用python抓取股票數據

很多伺服器通過瀏覽器發給它的報頭來確認是否是人類用戶，所以我們可以通過模仿瀏覽器的行為構造請求報頭給伺服器發送請求。伺服器會識別其中的一些參數來識別你是否是人類用戶，很多網站都會識別User-Agent這個參數，所以請求頭最好帶上。
有一些警覺性比較高的網站可能還會通過其他參數識別，比如通過Accept-Language來辨別你是否是人類用戶，一些有防盜鏈功能的網站還得帶上referer這個參數等等。

⑺ 如何利用python抓取美股數據

一 准備環境

1 安裝tushare模塊包。

pip install tushare

二 注冊tushare賬號，獲取token（目前tushare pro版本必須有token值才能正常訪問）

訪問https://tushare.pro/register?reg=380388 tushare官網進行注冊，然後記錄token值備用。

三 開始python編程

Python代碼：

import tushare as ts

#設置token

token='你自己的token'

pro = ts.pro_api(token)

#獲取002242.SZ日行數據

pa=pro.daily(ts_code='002242.SZ', start_date='20200701',end_date='20200716')

# 列印獲取數據

print(pa)

運行程序，可見如下列印，002242.SZ最近兩周的數據都在這里了。

⑻ 如何用python 取所有股票一段時間歷史數據

各種股票軟體，例如通達信、同花順、大智慧，都可以實時查看股票價格和走勢，做一些簡單的選股和定量分析，但是如果你想做更復雜的分析，例如回歸分析、關聯分析等就有點捉襟見肘，所以最好能夠獲取股票歷史及實時數據並存儲到資料庫，然後再通過其他工具，例如SPSS、SAS、EXCEL或者其他高級編程語言連接資料庫獲取股票數據進行定量分析，這樣就能實現更多目的了。

⑼ 怎麼用python處理數據

把數據存為Excel合適，用pandas這個庫處理，非常方便。

⑽ python怎們循環取（數據 1， 數據 2，數據 3）

你好的！
你這個是要使用正則表達式來提取字元串的內容呢
還是要通過python sselunim來獲取類似於網頁的某個屬性信息啊！
這兩個玩法是完全不同的！