回溯測試 和數據挖掘

+

斯科特·珀西瓦爾 介紹 在這篇文章中，我們就來看看這個被廣泛使用的商人叫回測和數據挖掘兩個相關的實踐。 這些都是如果我們正確地使用它們是強大的，有價值的技巧，但是商販常常濫用它們。 因此，我們也將探討這些技術，被稱為多重假設問題，過擬合，以及如何克服這些缺陷兩個常見的陷阱。 回溯測試 回溯測試是利用歷史數據來檢驗一些交易策略的表現只是過程。 回溯測試通常開始於一個，我們想測試，比如買英鎊/美元，當它穿過20日均線和銷售，當它穿過低於平均水平的策略。 現在，我們可以測試這種戰略通過觀察市場並前進著，但這需要很長的時間。 這就是為什麼我們用歷史數據已經可用。 但等待，等待！ 我聽你說。 你們能不能作弊，或者至少有偏差，因為你已經知道發生了什麼過去？ 這絕對是一個問題，所以一個有效的後台測試將是一種我們所不熟悉的歷史數據。 我們可以通過選擇隨機的時間段或通過選擇在其中進行測試的許多不同的時間段實現此目的。 現在，我可以聽到另一組你說，但所有的歷史數據，只是坐在那裡等待分析很誘人，不是嗎？ 也許有該數據奧妙只是在等待我們一樣愛好者發現它。 難道是真的錯了，為我們首先檢查了歷史數據，來分析一下，看看我們是否能夠找到模式隱藏在它？ 這種說法也是有效的，但它帶領我們進入一個地區充滿了危險。 數據挖掘的世界 數據挖掘 數據挖掘包括通過數據搜索，以找到模式和找到的變量之間的可能的相關性。 在上述涉及的20日均線策略的例子中，我們只是想出了特定的指示出藍色的，但假設我們不知道我們想要什麼類型的策略來測試？ 這時候，數據挖掘技術就派上用場了。 我們可以通過我們對英鎊/美元的歷史數據搜索，看看價格如何表現後，越過許多不同的移動平均線。 我們可以檢查價格變動對許多其他類型的指標，以及看看哪些對應大的價格變動。 數據挖掘的對象可以是有爭議的，因為正如我上面討論似乎有點像欺騙或放眼望去數據。 是數據挖掘一個有效的科學技術？ 一方面，科學的方法說我們應該做個假設，然後再對我們的數據進行測試，但在另一方面，它似乎是適當的做一些數據的第一次探索，以提出一個假說。 因此，這是正確的？ 我們可以看一下，在科學方法的步驟為線索混亂的根源。 一般的流程是這樣的： 觀察（數據）＆GT;＆GT;＆GT; 假設＆GT;＆GT;＆GT; 預測＆GT;＆GT;＆GT; 實驗（數據） 請注意，我們可以在這兩個觀察和實驗階段的數據處理。 因此，這兩種觀點都是正確的。 我們必須要建立一個合理的假設使用的數據，但我們也用數據檢驗這一假設。 訣竅是簡單地確保了兩組數據是不一樣的！ 我們必須使用同一組數據，我們使用的建議我們的假設，從來沒有測試我們的假設。 換句話說，如果你使用的數據挖掘，才能拿出戰略思想，一定要使用不同的數據集，以回測這些想法。 現在我們把注意力轉向利用數據挖掘和回測不正確的主要缺陷。 一般問題被稱為過度優化，我更喜歡打破這一問題分解成兩種不同的類型。 這些是多假設問題和過度擬合。 從某種意義上說，他們是犯同樣的錯誤相反的方式。 在多個假設的問題涉及到選擇很多簡單的假設，而過度擬合涉及創建一個非常複雜的假設。 在多假設問題 要了解這個問題出現的時候，讓我們回到我們的例子中，我們測試有效的20日均線策略。 讓我們假設我們回測該戰略對十多年的歷史市場數據和你瞧你猜怎麼著？ 結果都不是很令人鼓舞的。 然而，作為混戰的交易，因為我們是，我們決定不輕言放棄。 那麼十日均線？ 這可能會制定出更好一點，讓我們回測吧！ 我們運行另一個回測，我們發現結果依然是不是恆星，但它們比20天的結果會好一點。 我們決定探索一點，5日和30日均線進行類似的測試。 最後，它發生於我們，我們實際上只是測試每一個移動平均達到某一點，看看它們是如何執行。 因此，我們的2天，3天，4天的測試，等等，一路攀升到了50日均線。 現在肯定有的，這些均線將表現不佳和其他人將執行得相當好，但必須是其中之一是絕對最好的。 例如，我們可能會發現，在32日均線竟然是表現最好的在這個特殊的十年內。 這是否意味著有一些特別之處的32日均線，我們應該有信心，這將在未來表現出色？ 不幸的是許多交易商認為這是事實，他們只是停止他們的分析，在這一點上，以為他們已經發現了一些深刻的。 他們已經陷入了多假設問題的陷阱。 問題是，有沒有在所有不尋常或顯著的事實，一些普通竟然是最好的。 畢竟，我們幾乎他們五十測試對相同的數據，所以我們希望找到一些好的表現，只是偶然。 這並不意味著有什麼特別之處特定的移動平均值，在這種情況下取得了勝利。 這個問題的產生是因為我們測試，而不是選擇一個單一的假設，並對其進行測試多種假設，直到我們找到一個工作。 這裡有一個很好的典型的比喻。 我們可以拿出一個假設，比如斯科特是偉大的，在上一個硬幣翻轉頭。 從這一點，我們可以創建一個預言說，如果該假設成立，斯科特將能夠翻轉10頭成一排。 然後，我們可以進行一個簡單的實驗來檢驗這一假設。 如果我可以翻轉10頭一排它實際上並不能證明這一假設。 但是，如果我不能完成這一壯舉它肯定反駁的假設。 正如我們反复做實驗，而不能推翻的假說，那麼我們相信它的真實性的增長。 這是正確的方式來做到這一點。 但是，如果我們想出了1000的假設，而不是只是一個對我是一個很好的硬幣鰭狀肢？ 我們可以做同樣的假設，1000不同的人。 我，埃德，辛迪，比爾，山姆，等好了，現在讓我們來測試我們的多個假設。 我們要求所有1000人，以拋硬幣。 有可能是約500誰翻轉頭。 其他人就可以回家了。 現在我們要問的500人再次翻轉，而這一次約250將翻轉頭。 在第三翻轉約125人翻轉頭，在第四約63人被留下，並在第五翻蓋大約有32這32人都是相當驚人的，不是嗎？ 他們都翻轉五個頭一排！ 如果我們翻五次，平均每次消除一半的人，我們將結束與16​​，則8，然後4，然後2和最後一個人離開了誰已經翻10個頭部成一排。 這是比爾！ 比爾是硬幣的fantabulous鰭狀肢！ 抑或是他？ 好了，我們真的不知道，這是一點。 比爾可能已經贏得了我們的比賽純粹出於偶然的機會，否則他很可能是團長仙女座星系的這邊最好的鰭狀肢。 出於同樣的原因，我們不或者如果真的是有什麼特殊的地方知道，如果32日均線，從我們上面的例子只是表現良好，在我們的測試純屬偶然。 但是，所有我們迄今所做的是找到一個假設，即32天移動平均線策略是盈利的（或者說比爾是一個偉大的硬幣鰭狀肢）。 我們還沒有實際測試過這一假設還沒有。 所以，現在我們知道，我們還沒有真正發現任何顯著還對32日均線或將翻轉硬幣比爾的能力，自然要問的問題是，我們應該怎樣做？ 正如我上面提到的，許多交易商從來沒有意識到有需要在所有下一個步驟。 那麼，在條例草案的情況下，你可能會問，啊哈，但他翻轉10個頭部在一排一次？ 在32日均線的情況下，我們要再次測試，但肯定不是針對我們用來選擇設定相同的數據樣本。 我們會選擇其他的十年期間，看看這一戰略奏效一樣好。 我們可以繼續做這個實驗多次，我們希望到我們的供應的新的10年期跑了出去。 我們將此作為了抽樣檢測，這是為了避免這一缺陷的方法。 有這樣的測試，其中之一是交叉驗證的各種方法，但我們不會進入該多的細節在這裡。 過擬合 過擬合真是一種逆轉的上述問題。 在上面的多假設的例子中，我們看到許多簡單的假設，選擇了在過去表現最好的之一。 在過度擬合我們先來看一下過去，然後構造一個複雜的假設正好符合了什麼事。 例如，如果我看美元/日元利率在過去10天裡，我可能會看到每天關閉這樣做： 向上，向上，向下，向上，向上，向上，向下，向下，向下，向上。 得到它了？ 看到這個模式？ 是啊，我也不實際。 但是，如果我想用這個數據來提出一個假設，我可能會拿出。 我的驚人假設： 如果收盤價格上漲連續兩次再下一天，或者如果它的股價下跌了三天一排，我們應該買， 但如果收盤價上漲三天一排，我們應該賣， 但是，如果它在一個連續三天，然後倒在連續三年日子裡，我們應該買。 咦？ 聽起來像一個怪誕的假設嗎？ 但是，如果我們使用這種策略在過去10天裡，我們會一直正確的，我們做的每一筆交易！ 該overfitter採用回溯測試和數據挖掘不同於多重假設廠商做的。 該overfitter不拿出400個不同的戰略，以回測。 不可能！ 該overfitter使用數據挖掘工具找出只是一個策略，無論多麼複雜，那將不得不在回測期間達到最佳性能。 它是否會在今後的工作？ 不太可能，但我們可以始終保持調整模型和測試策略不同的樣品（樣品進行測試，再一次），看看我們的性能提高。 當我們停止得到的性能提升，而不斷上升的唯一的事情就是我們的模型的複雜性，那麼我們就知道我們已經越過球門線成過度擬合。 結論 因此，在總結中，我們已經看到了數據挖掘的方式使用我們的歷史價格數據提出一個可行的交易策略，但我們必須認識到多重假設問題，過擬合的陷阱。 以確保我們不會落入這些缺陷的方法是使用不同的數據集，比我們我們的數據挖掘勘探時使用的一個回測我們的戰略。 我們通常把這種現象稱為了抽樣檢測。