『壹』 量化投資—策略與技術的作品目錄
《量化投資—策略與技術》
策略篇
第 1章 量化投資概念
1.1 什麼是量化投資 2
1.1.1 量化投資定義 2
1.1.2 量化投資理解誤區 3
1.2 量化投資與傳統投資比較 6
1.2.1 傳統投資策略的缺點 6
1.2.2 量化投資策略的優勢 7
1.2.3 量化投資與傳統投資策略的比較 8
1.3 量化投資歷史 10
1.3.1 量化投資理論發展 10
1.3.2 海外量化基金的發展 12
1.3.3 量化投資在中國 15
1.4 量化投資主要內容 16
1.5 量化投資主要方法 21
.第 2章 量化選股 25
2.1 多因子 26
2.1.1 基本概念 27
2.1.2 策略模型 27
2.1.3 實證案例:多因子選股模型 30
2.2 風格輪動 35
2.2.1 基本概念 35
2.2.2 盈利預期生命周期模型 38
2.2.3 策略模型 40
2.2.4 實證案例:中信標普風格 41
2.2.5 實證案例:大小盤風格 44
2.3 行業輪動 47
2.3.1 基本概念 47
2.3.2 m2行業輪動策略 50
2.3.3 市場情緒輪動策略 52
2.4 資金流 56
2.4.1 基本概念 56
2.4.2 策略模型 59
2.4.3 實證案例:資金流選股策略 60
2.5 動量反轉 63
2.5.1 基本概念 63
2.5.2 策略模型 67
2.5.3 實證案例:動量選股策略和反轉選股策略 70
2.6 一致預期 73
2.6.1 基本概念 74
2.6.2 策略模型 76
2.6.3 實證案例:一致預期模型案例 78
2.7 趨勢追蹤 84
2.7.1 基本概念 84
2.7.2 策略模型 86
2.7.3 實證案例:趨勢追蹤選股模型 92
2.8 籌碼選股 94
2.8.1 基本概念 95
2.8.2 策略模型 97
2.8.3 實證案例:籌碼選股模型 99
2.9 業績評價 104
2.9.1 收益率指標 104
2.9.2 風險度指標 105
第 3章 量化擇時 111
3.1 趨勢追蹤 112
3.1.1 基本概念 112
3.1.2 傳統趨勢指標 113
3.1.3 自適應均線 121
3.2 市場情緒 125
3.2.1 基本概念 126
3.2.2 情緒指數 128
3.2.3 實證案例:情緒指標擇時策略 129
3.3 有效資金 133
3.3.1 基本概念 133
3.3.2 策略模型 134
3.3.3 實證案例:有效資金擇時模型 137
3.4 牛熊線 141
3.4.1 基本概念 141
3.4.2 策略模型 143
3.4.3 實證案例:牛熊線擇時模型 144
3.5 husrt指數 146
3.5.1 基本概念 146
3.5.2 策略模型 148
3.5.3 實證案例 149
3.6 支持向量機 152
3.6.1 基本概念 152
3.6.2 策略模型 153
3.6.3 實證案例:svm擇時模型 155
3.7 swarch模型 160
3.7.1 基本概念 160
3.7.2 策略模型 161
3.7.3 實證案例:swarch模型 164
3.8 異常指標 168
3.8.1 市場雜訊 168
3.8.2 行業集中度 170
3.8.3 興登堡凶兆 172
第 4章 股指期貨套利 180
4.1 基本概念 181
4.1.1 套利介紹 181
4.1.2 套利策略 183
4.2 期現套利 185
4.2.1 定價模型 185
4.2.2 現貨指數復制 186
4.2.3 正向套利案例 190
4.2.4 結算日套利 192
4.3 跨期套利 195
4.3.1 跨期套利原理 195
4.3.2 無套利區間 196
4.3.3 跨期套利觸發和終止 197
4.3.4 實證案例:跨期套利策略 199
4.3.5 主要套利機會 200
4.4 沖擊成本 203
4.4.1 主要指標 204
4.4.2 實證案例:沖擊成本 205
4.5 保證金管理 208
4.5.1 var方法 208
4.5.2 var計算方法 209
4.5.3 實證案例 211
第 5章 商品期貨套利 214
5.1 基本概念 215
5.1.1 套利的條件 216
5.1.2 套利基本模式 217
5.1.3 套利准備工作 219
5.1.4 常見套利組合 221
5.2 期現套利 225
5.2.1 基本原理 225
5.2.2 操作流程 226
5.2.3 增值稅風險 230
5.3 跨期套利 231
5.3.1 套利策略 231
5.3.2 實證案例:pvc跨期套利策略 233
5.4 跨市場套利 234
5.4.1 套利策略 234
5.4.2 實證案例:倫銅—滬銅跨市場套利 235
5.5 跨品種套利 236
5.5.1 套利策略 237
5.5.2 實證案例 238
5.6 非常狀態處理 240
第 6章 統計套利 242
6.1 基本概念 243
6.1.1 統計套利定義 243
6.1.2 配對交易 244
6.2 配對交易 247
6.2.1 協整策略 247
6.2.2 主成分策略 254
6.2.3 績效評估 256
6.2.4 實證案例:配對交易 258
6.3 股指套利 261
6.3.1 行業指數套利 261
6.3.2 國家指數套利 263
6.3.3 洲域指數套利 264
6.3.4 全球指數套利 266
6.4 融券套利 267
6.4.1 股票—融券套利 267
6.4.2 可轉債—融券套利 268
6.4.3 股指期貨—融券套利 269
6.4.4 封閉式基金—融券套利 271
6.5 外匯套利 272
6.5.1 利差套利 273
6.5.2 貨幣對套利 275
第 7章 期權套利 277
7.1 基本概念 278
7.1.1 期權介紹 278
7.1.2 期權交易 279
7.1.3 牛熊證 280
7.2 股票/期權套利 283
7.2.1 股票—股票期權套利 283
7.2.2 股票—指數期權套利 284
7.3 轉換套利 285
7.3.1 轉換套利 285
7.3.2 反向轉換套利 287
7.4 跨式套利 288
7.4.1 買入跨式套利 289
7.4.2 賣出跨式套利 291
7.5 寬跨式套利 293
7.5.1 買入寬跨式套利 293
7.5.2 賣出寬跨式套利 294
7.6 蝶式套利 296
7.6.1 買入蝶式套利 296
7.6.2 賣出蝶式套利 298
7.7 飛鷹式套利 299
7.7.1 買入飛鷹式套利 300
7.7.2 賣出飛鷹式套利 301
第 8章 演算法交易 304
8.1 基本概念 305
8.1.1 演算法交易定義 305
8.1.2 演算法交易分類 306
8.1.3 演算法交易設計 308
8.2 被動交易演算法 309
8.2.1 沖擊成本 310
8.2.2 等待風險 312
8.2.3 常用被動型交易策略 314
8.3 vwap演算法 316
8.3.1 標准vwap演算法 316
8.3.2 改進型vwap演算法 319
第 9章 其他策略 323
9.1 事件套利 324
9.1.1 並購套利策略 324
9.1.2 定向增發套利 325
9.1.3 套利重倉停牌股票的投資組合 326
9.1.4 封閉式投資組合套利 327
9.2 etf套利 328
9.2.1 基本概念 328
9.2.2 無風險套利 330
9.2.3 其他套利 334
9.3 lof套利 335
9.3.1 基本概念 335
9.3.2 模型策略 336
9.3.3 實證案例:lof 套利 337
9.4 高頻交易 341
9.4.1 流動性回扣交易 341
9.4.2 獵物演算法交易 342
9.4.3 自動做市商策略 343
9.4.4 程序化交易 343
理論篇
第 10章 人工智慧 346
10.1 主要內容 347
10.1.1 機器學習 347
10.1.2 自動推理 350
10.1.3 專家系統 353
10.1.4 模式識別 356
10.1.5 人工神經網路 358
10.1.6 遺傳演算法 362
10.2 人工智慧在量化投資中的應用 366
10.2.1 模式識別短線擇時 366
10.2.2 rbf神經網路股價預測 370
10.2.3 基於遺傳演算法的新股預測 375
第 11章 數據挖掘 381
11.1 基本概念 382
11.1.1 主要模型 382
11.1.2 典型方法 384
11.2 主要內容 385
11.2.1 分類與預測 385
11.2.2 關聯規則 391
11.2.3 聚類分析 397
11.3 數據挖掘在量化投資中的應用 400
11.3.1 基於som 網路的股票聚類分析方法 400
11.3.2 基於關聯規則的板塊輪動 403
第 12章 小波分析 407
12.1 基本概念 408
12.2 小波變換主要內容 409
12.2.1 連續小波變換 409
12.2.2 連續小波變換的離散化 410
12.2.3 多分辨分析與mallat演算法 411
12.3小波分析在量化投資中的應用 414
12.3.1 k線小波去噪 414
12.3.2 金融時序數據預測 420
第 13章 支持向量機 429
13.1 基本概念 430
13.1.1 線性svm 430
13.1.2 非線性svm 433
13.1.3 svm分類器參數選擇 435
13.1.4 svm分類器從二類到多類的推廣 436
13.2 模糊支持向量機 437
13.2.1 增加模糊後處理的svm 437
13.2.2 引入模糊因子的svm訓練演算法 439
13.3 svm在量化投資中的應用 440
13.3.1 復雜金融時序數據預測 440
13.3.2 趨勢拐點預測 445
第 14章 分形理論 452
14.1 基本概念 453
14.1.1 分形定義 453
14.1.2 幾種典型的分形 454
14.1.3 分形理論的應用 456
14.2 主要內容 457
14.2.1 分形維數 457
14.2.2 l系統 458
14.2.3 ifs系統 460
14.3 分形理論在量化投資中的應用 461
14.3.1 大趨勢預測 461
14.3.2 匯率預測 466
第 15章 隨機過程 473
15.1 基本概念 473
15.2 主要內容 476
15.2.1 隨機過程的分布函數 476
15.2.2 隨機過程的數字特徵 476
15.2.3 幾種常見的隨機過程 477
15.2.4 平穩隨機過程 479
15.3 灰色馬爾可夫鏈股市預測 480
第 16章 it技術 486
16.1 數據倉庫技術 486
16.1.1 從資料庫到數據倉庫 487
16.1.2 數據倉庫中的數據組織 489
16.1.3 數據倉庫的關鍵技術 491
16.2 編程語言 493
16.2.1 GPU演算法交易 493
16.2.2 MATLAB 語言 497
16.2.3 c#語言 504
第 17章 主要數據與工具 509
17.1 名策多因子分析系統 509
17.2 MultiCharts:程序化交易平台 511
17.3 交易開拓者:期貨自動交易平台 514
17.4 大連交易所套利指令 518
17.5 mt5:外匯自動交易平台 522
第 18章 量化對沖交易系統:D-alpha 528
18.1 系統構架 528
18.2 策略分析流程 530
18.3 核心演算法 532
18.4 驗證結果 534
表目錄
表1 1 不同投資策略對比 7
表2 1 多因子選股模型候選因子 30
表2 2 多因子模型候選因子初步檢驗 31
表2 3 多因子模型中通過檢驗的有效因子 32
表2 4 多因子模型中剔除冗餘後的因子 33
表2 5 多因子模型組合分段收益率 33
表2 6 晨星市場風格判別法 36
表2 7 夏普收益率基礎投資風格鑒別 37
表2 8 中信標普風格指數 41
表2 9 風格動量策略組合月均收益率 43
表2 10 大小盤風格輪動策略月收益率均值 46
表2 11 中國貨幣周期分段(2000—2009年) 49
表2 12 滬深300行業指數統計 50
表2 13 不同貨幣階段不同行業的收益率 51
表2 14 招商資金流模型(cmsmf)計算方法 58
表2 15 招商資金流模型(cmsmf)選股指標定義 59
表2 16 資金流模型策略——滬深300 61
表2 17 資金流模型策略——全市場 62
表2 18 動量組合相對基準的平均年化超額收益(部分) 68
表2 19 反轉組合相對基準的平均年化超額收益(部分) 69
表2 20 動量策略風險收益分析 71
表2 21 反轉策略風險收益分析 73
表2 22 趨勢追蹤技術收益率 93
表2 23 籌碼選股模型中單個指標的收益率情況對比 99
表3 1 ma指標擇時測試最好的20 組參數及其表現 117
表3 2 4個趨勢型指標最優參數下的獨立擇時交易表現比較 120
表3 3 有交易成本情況下不同信號個數下的綜合擇時策略 120
表3 4 自適應均線擇時策略收益率分析 124
表3 5 市場情緒類別 126
表3 6 滬深300指數在不同情緒區域的當月收益率比較 128
表3 7 滬深300指數在不同情緒變化區域的當月收益率比較 129
表3 8 滬深300指數在不同情緒區域的次月收益率比較 130
表3 9 滬深300指數在不同情緒變化區域的次月收益率比較 130
表3 10 情緒指數擇時收益率統計 132
表3 11 svm擇時模型的指標 156
表3 12 svm對滬深300指數預測結果指標匯總 156
表3 13 svm擇時模型在整體市場的表現 156
表3 14 svm擇時模型在單邊上漲市的表現 157
表3 15 svm擇時模型在單邊下跌市的表現 158
表3 16 svm擇時模型在震盪市的表現 159
表3 17 雜訊交易在熊市擇時的收益率 170
表4 1 各種方法在不同股票數量下的跟蹤誤差(年化) 190
表4-2 股指期貨多頭跨期套利過程分析 199
表4 3 不同開倉比例下的不同保證金水平能夠覆蓋的市場波動及其概率 211
表4 4 不同倉單持有期下的保證金覆蓋比例 212
表6 1 融券標的股票中在樣本期內最相關的50 對組合(部分) 248
表6 2 殘差的平穩性、自相關等檢驗 249
表6 3 在不同的閾值下建倉、平倉所能獲得的平均收益 251
表6 4 採用不同的模型在樣本內獲取的收益率及最優閾值 252
表6 5 採用不同的模型、不同的外推方法在樣本外獲取的收益率(%) 253
表6 6 主成分配對交易在樣本內取得的收益率及最優閾值 255
表6 7 主成分配對交易在樣本外的效果 255
表6-8 各種模型下統計套利的結果 256
表6 9 延後開倉+提前平倉策略實證結果 260
表6 10 各行業的配對交易結果 261
表7 1 多頭股票-期權套利綜合分析表 283
表7 2 多頭股票—股票期權套利案例損益分析表 284
表7 3 多頭股票-指數期權套利案例損益分析表 285
表7 4 轉換套利分析過程 286
表7 5 買入跨式套利綜合分析表 289
表7 6 買入跨式套利交易細節 289
表7 7 賣出跨式套利綜合分析表 291
表7 8 賣出跨式套利交易細節 292
表7 9 買入寬跨式套利綜合分析表 293
表7 10 賣出寬跨式套利綜合分析表 294
表7 11 買入蝶式套利綜合分析表 296
表7 12 賣出蝶式套利綜合分析表 298
表7 13 買入飛鷹套利分析表 300
表7 14 賣出飛鷹式套利綜合分析表 301
表9 1 主要並購方式 324
表9 2 並購套利流程 325
表9 3 鵬華300 lof兩次正向套利的情況 339
表9 4 鵬華300 lof兩次反向套利的情況 340
表10 1 自動推理中連詞系統 352
表10 2 模式識別短線擇時樣本數據分類 369
表10 3 rbf神經網路股價預測結果 375
表10 4 遺傳演算法新股預測參數設置 379
表10 5 遺傳演算法新股預測結果 380
表11 1 決策樹數據表 389
表11 2 關聯規則案例數據表 392
表11 3 som股票聚類分析結果 403
表11 4 21種股票板塊指數布爾關系表數據片斷 404
表12 1 深發展a日收盤價小波分析方法預測值與實際值比較 427
表12 2 不同分解層數的誤差均方根值 428
表13 1 svm滬深300指數預測誤差情況 445
表13 2 svm指數預測和神經網路預測的比較 445
表13 3 技術反轉點定義與圖型 448
表13 4 svm趨勢拐點預測結果 450
表14 1 持續大漲前後分形各主要參數值 463
表14 2 持續大跌前後分形個主要參數值 465
表14 3 外匯r/ s 分析的各項指標 469
表14 4 v(r/s)曲線回歸檢驗 470
表15 1 灰色馬爾可夫鏈預測深證成指樣本內(2005/1—2006/8) 484
表15 2 灰色馬爾可夫鏈預測深證成指樣本外(2006/9—2006/12) 484
表16-1 vba的12種數據類型 499
表18-1 d-alpha系統在全球市場收益率分析 534
『貳』 量化投資—策略與技術的本書特色
第一,實戰性。書中的案例絕大多數來自於實際的市場數據,只有很少一部分是純理論的分析。尤其是策略篇中的內容大部分來自於專業投資機構的研究報告,具有極強的實戰價值。
第二,基於中國市場。與量化投資最接近的書籍當屬「金融工程」,但金融工程中絕大多數的案例都來自於國外市場,很多策略在國內市場還不具備投資條件。本書中的案例基本上都是對國內市場(股票、期貨等)中的實際交易數據的分析,特別適合國內的投資者。
第三,理論性。量化投資離不開最新的數學和計算機理論的支持,本書用了將近一半的篇幅來闡述與量化投資有關的基礎理論,並用了很多案例來說明這些理論的應用方法。避免了一般投資策略書籍重技術而忽視理論的缺點,從而使量化投資更加科學化。
本書主要內容
本書的內容分為:策略篇和理論篇。策略篇中闡述了各種量化投資的策略與方法,理論篇則詳細介紹了支持量化投資的各種數學工具。
策略篇一共介紹了8個方面的投資策略,分別是量化選股、量化擇時、股指期貨套利、商品期貨套利、統計套利、期權套利、演算法交易及其他策略。
投資策略 概述
量化選股 量化投資最重要的策略,主要是研究如何利用各種方法選出最佳的股票組合,使得該股票組合的收益率盡可能高的同時,保持盡可能的穩定性。量化選股一章闡述了8種不同角度的策略,分別為多因子模型、風格輪動模型、行業輪動模型、資金流模型、動量反轉模型、一致預期模型、趨勢追蹤模型和籌碼選股模型
量化擇時 量化投資中最難的,也是收益率最高的一種策略,主要研究大盤及個股走勢,並進行相應的高拋低吸操作。如果能夠正確判斷大盤,則收益率會比單純的買入-持有策略收益要高很多。這一章主要闡述了8種擇時模型,分別是趨勢擇時、市場情緒擇時、有效資金模型、牛熊線模型、Hurst指數模型、SVM模型、SWARCH模型和異常指標擇時
『叄』 外行人的大數據五問 帶你了解大數據
外行人的大數據五問 帶你了解大數據
大數據是什麼?是一種運營模式,是一種能力,還是一種技術,或是一種數據集合的統稱?今天我們所說的「大數據」和過去傳統意義上的「數據」的區別又在哪裡?大數據有什麼特點?來源有哪些?又應用於哪些方面等等。接下來小編帶您一起了解大數據。
>>>>>大數據概念
"大數據"是一個體量特別大,數據類別特別大的數據集,並且這樣的數據集無法用傳統資料庫工具對其內容進行抓取、管理和處理。 "大數據"首先是指數據體量(volumes)?大,指代大型數據集,一般在10TB?規模左右,但在實際應用中,很多企業用戶把多個數據集放在一起,已經形成了PB級的數據量;其次是指數據類別(variety)大,數據來自多種數據源,數據種類和格式日漸豐富,已沖破了以前所限定的結構化數據范疇,囊括了半結構化和非結構化數據。接著是數據處理速度(Velocity)快,在數據量非常龐大的情況下,也能夠做到數據的實時處理。最後一個特點是指數據真實性(Veracity)高,隨著社交數據、企業內容、交易與應用數據等新數據源的興趣,傳統數據源的局限被打破,企業愈發需要有效的信息之力以確保其真實性及安全性。
網路知道—大數據概念
大數據(bigdata),或稱巨量資料,指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具,在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。大數據的4V特點:Volume、Velocity、Variety、Veracity。
互聯網周刊—大數據概念
"大數據"的概念遠不止大量的數據(TB)和處理大量數據的技術,或者所謂的"4個V"之類的簡單概念,而是涵蓋了人們在大規模數據的基礎上可以做的事情,而這些事情在小規模數據的基礎上是無法實現的。換句話說,大數據讓我們以一種前所未有的方式,通過對海量數據進行分析,獲得有巨大價值的產品和服務,或深刻的洞見,最終形成變革之力
研究機構Gartner—大數據概念
"大數據"是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。從數據的類別上看,"大數據"指的是無法使用傳統流程或工具處理或分析的信息。它定義了那些超出正常處理范圍和大小、迫使用戶採用非傳統處理方法的數據集。 亞馬遜網路服務(AWS)、大數據科學家JohnRauser提到一個簡單的定義:大數據就是任何超過了一台計算機處理能力的龐大數據量。 研發小組對大數據的定義:"大數據是最大的宣傳技術、是最時髦的技術,當這種現象出現時,定義就變得很混亂。" Kelly說:"大數據是可能不包含所有的信息,但我覺得大部分是正確的。對大數據的一部分認知在於,它是如此之大,分析它需要多個工作負載,這是AWS的定義。當你的技術達到極限時,也就是數據的極限"。 大數據不是關於如何定義,最重要的是如何使用。最大的挑戰在於哪些技術能更好的使用數據以及大數據的應用情況如何。這與傳統的資料庫相比,開源的大數據分析工具的如Hadoop的崛起,這些非結構化的數據服務的價值在哪裡。
>>>>>大數據分析
眾所周知,大數據已經不簡簡單單是數據大的事實了,而最重要的現實是對大數據進行分析,只有通過分析才能獲取很多智能的,深入的,有價值的信息。那麼越來越多的應用涉及到大數據,而這些大數據的屬性,包括數量,速度,多樣性等等都是呈現了大數據不斷增長的復雜性,所以大數據的分析方法在大數據領域就顯得尤為重要,可以說是決定最終信息是否有價值的決定性因素。基於如此的認識,大數據分析普遍存在的方法理論有哪些呢?
>>>>>大數據技術
數據採集:ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成,最後載入到數據倉庫或數據集市中,成為聯機分析處理、數據挖掘的基礎。
數據存取:關系資料庫、NOSQL、SQL等。
基礎架構:雲存儲、分布式文件存儲等。
數據處理:自然語言處理(NLP,NaturalLanguageProcessing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機"理解"自然語言,所以自然語言處理又叫做自然語言理解(NLU,NaturalLanguage Understanding),也稱為計算語言學(Computational Linguistics。一方面它是語言信息處理的一個分支,另一方面它是人工智慧(AI, Artificial Intelligence)的核心課題之一。
統計分析:假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析(最優尺度分析)、bootstrap技術等等。
數據挖掘:分類 (Classification)、估計(Estimation)、預測(Prediction)、相關性分組或關聯規則(Affinity grouping or association rules)、聚類(Clustering)、描述和可視化、Description and Visualization)、復雜數據類型挖掘(Text, Web ,圖形圖像,視頻,音頻等)
模型預測:預測模型、機器學習、建模模擬。
結果呈現:雲計算、標簽雲、關系圖等。
>>>>>大數據特點
要理解大數據這一概念,首先要從"大"入手,"大"是指數據規模,大數據一般指在10TB(1TB=1024GB)規模以上的數據量。大數據同過去的海量數據有所區別,其基本特徵可以用4個V來總結(Vol-ume、Variety、Value和Veloc-ity),即體量大、多樣性、價值密度低、速度快。
第一,數據體量巨大。從TB級別,躍升到PB級別。
第二,數據類型繁多,如前文提到的網路日誌、視頻、圖片、地理位置信息,等等。
第三,價值密度低。以視頻為例,連續不間斷監控過程中,可能有用的數據僅僅有一兩秒。
第四,處理速度快。1秒定律。最後這一點也是和傳統的數據挖掘技術有著本質的不同。物聯網、雲計算、移動互聯網、車聯網、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的感測器,無一不是數據來源或者承載的方式。
大數據技術是指從各種各樣類型的巨量數據中,快速獲得有價值信息的技術。解決大數據問題的核心是大數據技術。目前所說的"大數據"不僅指數據本身的規模,也包括採集數據的工具、平台和數據分析系統。大數據研發目的是發展大數據技術並將其應用到相關領域,通過解決巨量數據處理問題促進其突破性發展。因此,大數據時代帶來的挑戰不僅體現在如何處理巨量數據從中獲取有價值的信息,也體現在如何加強大數據技術研發,搶占時代發展的前沿。
當下我國大數據研發建設應在以下四個方面著力
一是建立一套運行機制。大數據建設是一項有序的、動態的、可持續發展的系統工程,必須建立良好的運行機制,以促進建設過程中各個環節的正規有序,實現統合,搞好頂層設計。
二是規范一套建設標准。沒有標准就沒有系統。應建立面向不同主題、覆蓋各個領域、不斷動態更新的大數據建設標准,為實現各級各類信息系統的網路互連、信息互通、資源共享奠定基礎。
三是搭建一個共享平台。數據只有不斷流動和充分共享,才有生命力。應在各專用資料庫建設的基礎上,通過數據集成,實現各級各類指揮信息系統的數據交換和數據共享。
四是培養一支專業隊伍。大數據建設的每個環節都需要依靠專業人員完成,因此,必須培養和造就一支懂指揮、懂技術、懂管理的大數據建設專業隊伍。
>>>>>大數據作用
大數據時代到來,認同這一判斷的人越來越多。那麼大數據意味著什麼,他到底會改變什麼?僅僅從技術角度回答,已不足以解惑。大數據只是賓語,離開了人這個主語,它再大也沒有意義。我們需要把大數據放在人的背景中加以透視,理解它作為時代變革力量的所以然。
變革價值的力量
未來十年,決定中國是不是有大智慧的核心意義標准(那個"思想者"),就是國民幸福。一體現在民生上,通過大數據讓有意義的事變得澄明,看我們在人與人關繫上,做得是否比以前更有意義;二體現在生態上,通過大數據讓有意義的事變得澄明,看我們在天與人關繫上,做得是否比以前更有意義。總之,讓我們從前10年的意義混沌時代,進入未來10年意義澄明時代。
變革經濟的力量
生產者是有價值的,消費者是價值的意義所在。有意義的才有價值,消費者不認同的,就賣不出去,就實現不了價值;只有消費者認同的,才賣得出去,才實現得了價值。大數據幫助我們從消費者這個源頭識別意義,從而幫助生產者實現價值。這就是啟動內需的原理。
變革組織的力量
隨著具有語義網特徵的數據基礎設施和數據資源發展起來,組織的變革就越來越顯得不可避免。大數據將推動網路結構產生無組織的組織力量。最先反映這種結構特點的,是各種各樣去中心化的WEB2.0應用,如RSS、維基、博客等。
大數據之所以成為時代變革力量,在於它通過追隨意義而獲得智慧。
>>>>>大數據處理
大數據處理數據時代理念的三大轉變:要全體不要抽樣,要效率不要絕對精確,要相關不要因果。
大數據處理的流程
具體的大數據處理方法確實有很多,但是根據筆者長時間的實踐,總結了一個普遍適用的大數據處理流程,並且這個流程應該能夠對大家理順大數據的處理有所幫助。整個處理流程可以概括為四步,分別是採集、導入和預處理、統計和分析,最後是數據挖掘。
大數據處理之一:採集
大數據的採集是指利用多個資料庫來接收發自客戶端(Web、App或者感測器形式等)的數據,並且用戶可以通過這些資料庫來進行簡單的查詢和處理工作。比如,電商會使用傳統的關系型資料庫MySQL和Oracle等來存儲每一筆事務數據,除此之外,Redis和MongoDB這樣的NoSQL資料庫也常用於數據的採集。
在大數據的採集過程中,其主要特點和挑戰是並發數高,因為同時有可能會有成千上萬的用戶來進行訪問和操作,比如火車票售票網站和淘寶,它們並發的訪問量在峰值時達到上百萬,所以需要在採集端部署大量資料庫才能支撐。並且如何在這些資料庫之間進行負載均衡和分片的確是需要深入的思考和設計。
大數據處理之二:導入/預處理
雖然採集端本身會有很多資料庫,但是如果要對這些海量數據進行有效的分析,還是應該將這些來自前端的數據導入到一個集中的大型分布式資料庫,或者分布式存儲集群,並且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算,來滿足部分業務的實時計算需求。
導入與預處理過程的特點和挑戰主要是導入的數據量大,每秒鍾的導入量經常會達到百兆,甚至千兆級別。
大數據處理之三:統計/分析
統計與分析主要利用分布式資料庫,或者分布式計算集群來對存儲於其內的海量數據進行普通的分析和分類匯總等,以滿足大多數常見的分析需求,在這方面,一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata,以及基於MySQL的列式存儲Infobright等,而一些批處理,或者基於半結構化數據的需求可以使用Hadoop。
統計與分析這部分的主要特點和挑戰是分析涉及的數據量大,其對系統資源,特別是I/O會有極大的佔用。
大數據處理之四:挖掘
與前面統計和分析過程不同的是,數據挖掘一般沒有什麼預先設定好的主題,主要是在現有數據上面進行基於各種演算法的計算,從而起到預測(Predict)的效果,從而實現一些高級別數據分析的需求。比較典型演算法有用於聚類的Kmeans、用於統計學習的SVM和用於分類的NaiveBayes,主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用於挖掘的演算法很復雜,並且計算涉及的數據量和計算量都很大,常用數據挖掘演算法都以單線程為主。
整個大數據處理的普遍流程至少應該滿足這四個方面的步驟,才能算得上是一個比較完整的大數據處理。
>>>>>大數據應用與案例分析
大數據應用的關鍵,也是其必要條件,就在於"IT"與"經營"的融合,當然,這里的經營的內涵可以非常廣泛,小至一個零售門店的經營,大至一個城市的經營。以下是我整理的關於各行各業,不同的組織機構在大數據方面的應用的案例,在此申明,以下案例均來源於網路,本文僅作引用,並在此基礎上作簡單的梳理和分類。
大數據應用案例之:醫療行業
[1] Seton Healthcare是採用IBM最新沃森技術醫療保健內容分析預測的首個客戶。該技術允許企業找到大量病人相關的臨床醫療信息,通過大數據處理,更好地分析病人的信息。
[2] 在加拿大多倫多的一家醫院,針對早產嬰兒,每秒鍾有超過3000次的數據讀取。通過這些數據分析,醫院能夠提前知道哪些早產兒出現問題並且有針對性地採取措施,避免早產嬰兒夭折。
[3] 它讓更多的創業者更方便地開發產品,比如通過社交網路來收集數據的健康類App。也許未來數年後,它們搜集的數據能讓醫生給你的診斷變得更為精確,比方說不是通用的成人每日三次一次一片,而是檢測到你的血液中葯劑已經代謝完成會自動提醒你再次服葯。
大數據應用案例之:能源行業
[1] 智能電網現在歐洲已經做到了終端,也就是所謂的智能電表。在德國,為了鼓勵利用太陽能,會在家庭安裝太陽能,除了賣電給你,當你的太陽能有多餘電的時候還可以買回來。通過電網收集每隔五分鍾或十分鍾收集一次數據,收集來的這些數據可以用來預測客戶的用電習慣等,從而推斷出在未來2~3個月時間里,整個電網大概需要多少電。有了這個預測後,就可以向發電或者供電企業購買一定數量的電。因為電有點像期貨一樣,如果提前買就會比較便宜,買現貨就比較貴。通過這個預測後,可以降低采購成本。
[2] 維斯塔斯風力系統,依靠的是BigInsights軟體和IBM超級計算機,然後對氣象數據進行分析,找出安裝風力渦輪機和整個風電場最佳的地點。利用大數據,以往需要數周的分析工作,現在僅需要不足1小時便可完成。
大數據應用案例之:通信行業
[1] XO Communications通過使用IBM SPSS預測分析軟體,減少了將近一半的客戶流失率。XO現在可以預測客戶的行為,發現行為趨勢,並找出存在缺陷的環節,從而幫助公司及時採取措施,保留客戶。此外,IBM新的Netezza網路分析加速器,將通過提供單個端到端網路、服務、客戶分析視圖的可擴展平台,幫助通信企業制定更科學、合理決策。
[2] 電信業者透過數以千萬計的客戶資料,能分析出多種使用者行為和趨勢,賣給需要的企業,這是全新的資料經濟。
[3] 中國移動通過大數據分析,對企業運營的全業務進行針對性的監控、預警、跟蹤。系統在第一時間自動捕捉市場變化,再以最快捷的方式推送給指定負責人,使他在最短時間內獲知市場行情。
[4] NTT docomo把手機位置信息和互聯網上的信息結合起來,為顧客提供附近的餐飲店信息,接近末班車時間時,提供末班車信息服務。
大數據應用案例之:零售業
[1] "我們的某個客戶,是一家領先的專業時裝零售商,通過當地的百貨商店、網路及其郵購目錄業務為客戶提供服務。公司希望向客戶提供差異化服務,如何定位公司的差異化,他們通過從 Twitter 和 Facebook 上收集社交信息,更深入的理解化妝品的營銷模式,隨後他們認識到必須保留兩類有價值的客戶:高消費者和高影響者。希望通過接受免費化妝服務,讓用戶進行口碑宣傳,這是交易數據與交互數據的完美結合,為業務挑戰提供了解決方案。"Informatica的技術幫助這家零售商用社交平台上的數據充實了客戶主數據,使他的業務服務更具有目標性。
[2] 零售企業也監控客戶的店內走動情況以及與商品的互動。它們將這些數據與交易記錄相結合來展開分析,從而在銷售哪些商品、如何擺放貨品以及何時調整售價上給出意見,此類方法已經幫助某領先零售企業減少了17%的存貨,同時在保持市場份額的前提下,增加了高利潤率自有品牌商品的比例
『肆』 請問有誰會汽車svm-2系統如何操作,請詳細謝謝
公交車太麻煩,但是打的很方便,大約8元錢左右!在一個,一中分校叫做一佳。我們對那裡的簡稱!是一佳嗎, 但那我也要告訴你打工交車的方案!方法如下!
第1種方案(約22站)
在 火車站 坐 14路 到 華瑞 換乘 5路 到 三角花園/冷藏廠 換乘 13路 到 大屯
第2種方案(約28站)
在 火車站 坐 14路 到 種子公司 換乘 12路/19路/3路 到 三角花園/汽車站 換乘 13路 到 大屯
第3種方案(約28站)
在 火車站 坐 14路 到 建材市場 換乘 19路/3路 到 三角花園/汽車站 換乘 13路 到 大屯
第4種方案(約28站)
在 火車站 坐 14路 到 小商品城 換乘 12路/19路/3路/4路 到 三角花園/汽車站 換乘 13路 到 大屯
到大屯過了橋就是一佳
『伍』 深圳黑格爾資產管理有限公司怎麼樣
簡介:深圳黑格爾資產管理有限公司隸屬於黑格爾資本集團有限公司是一家由國內量化投資團隊和研究機構聯合創辦的高科技資產管理公司。公司運用前沿的金融理論和科學理論進行研究,依託先進計算機金融技術,實現科學投資決策,為機構客戶及個人客戶提供資產管理服務。公司目前已推出了管理型和結構化兩大類對沖基金產品,根據不同的投資人需求和風險承受能力,並結合市場波動率進行產品多個維度的細化。公司的高素質研控團隊以及科學投資理念已獲得越來越多的專業投資機構的認可,並受到國內大型金融機構的邀請,研發國內金融衍生品市場的高質量的量化對沖產品。公司產品主要涉及阿爾法策略為:多因子選股模型及股指期貨對沖1.策略產品.團隊研發人員利用人工神經網路(RBF)、貝葉斯(Bayesian)、支持向量機(SVM)、遺傳演算法(GA)以及隨機森林(RF)等前沿演算法進行大數據挖掘。對股票價格影響的上千因子進行量化分析通過大量案例數據的訓練,模型自動做出正確決策的規律,從而在未來的投資過程中做出正確的選擇,確立可行模型後研發人員繼續維護優化,保證策略的長期有效性。2.次高頻策略產品。投資於金融衍生品期貨及商品期貨,做到全品種多周期覆蓋,通過對不同品種的波動率分析進行趨勢追蹤、多周期震盪混合策略,通過多空對沖,以達到分散風險的目的。
法定代表人:李金岺
成立時間:2015-03-02
注冊資本:10000萬人民幣
工商注冊號:440301112291586
企業類型:有限責任公司(自然人投資或控股的法人獨資)
公司地址:深圳市前海深港合作區前灣一路1號A棟201室(入駐深圳市前海商務秘書有限公司)
『陸』 在中國,做量化交易一天的工作是怎樣的
做量化交易一天的工作:
8:00~9:00: 打開交易策略,設置一些運營參數
9:00~9:30: 觀察策略運轉,確保沒有問題
9:30~15:30: 解決已有策略的問題並研究新策略,測試新想法
15:30~17:00: 分析交易記錄, 確定第二天的交易計劃
17:00~18:00: 運動
崗位職責:
分析金融市場(期貨、股票等)數據,尋找可利用的機會;開發與維護量化交易策略;提供機器學習/數據挖掘相應的技術支持;
崗位要求:
1.熟練計算機編程能力,熟練掌握至少一門編程語言,python優先;
理工科背景,具有良好的數理統計、數據挖掘等相關知識儲備,熟悉機器學習方法(分析科學問題和相應數據,建立模型和方法,驗證模型和方法,應用模型和方法並分析結果,改進模型和方法);
有處理分析大量數據的經驗,並能熟練選擇和應用數據挖掘和機器學習方法解決科研和工作中的實際問題;良好的自我學習和快速 學習能力,有工作激情,喜歡金融行業;兩年及以上實驗室研究經驗或研發類工作經驗優先;
(6)商品期貨svm擴展閱讀
量化交易是指以先進的數學模型替代人為的主觀判斷,利用計算機技術從龐大的歷史數據中海選能帶來超額收益的多種「大概率」事件以制定策略,
極大地減少了投資者情緒波動的影響,避免在市場極度狂熱或悲觀的情況下作出非理性的投資決策。
『柒』 金融學研究生,如何零基礎學量化
簡介篇
數量金融,或者叫金融工程,目前在國內主要有三大發展方向:交易策略研究、衍生品定價、風險管理。
交易策略研究,包括選股,擇時,套利。選股以α與β策略為主,擇時方面,目前國內流行機器學習的手段進行擇時建模,諸如SVM、神經網路等,目前該工作多見於券商與期貨公司的研究部(金融工程組)、自營部(量化交易)、資產管理部等。有關交易策略研究,可以多看看券商的金工專題研報,某些大券商的金工專題研報還是很有含金量的,具體可以參考新財富金工組的排名。
衍生品定價,指的是場外(內)期權的定價以及套利,多見於券商的櫃台市場部(OTC產品)、資產管理部,某些一線券商的機構銷售部也配有交易組,負責場外期權的定價。衍生品定價大多數被海歸名校生佔領。沒辦法,國外的期權理論較為成熟,這是不可避免的。而且個人認為,如果希望做衍生品定價的話,最好刷一個phd的學位……
風險管理,多數是圍繞對沖做文章,通常需要較好的資產組合管理知識以及衍生品對沖的知識,delta hedge, gamma hedge等自然必不可少。多見於券商的風控部門。
『捌』 手機SVM78是什麼意思
說的不具體,無法回答