과거 주식 데이터 소스 [닫기]

주식 시장 시뮬레이터를 만들려고하는데 (아마도 예측 AI로 성장하고 있지만) 사용할 데이터를 찾는 데 어려움을 겪고 있습니다. 역사적인 주식 시장 데이터의 (원하는 무료) 소스를 찾고 있습니다.

이상적으로는 NASDAQ 및 NYSE의 모든 기호에 대한 가격과 볼륨이 포함 된 매우 세밀한 (두 번째 또는 분 간격) 데이터 세트 일 것입니다. 누구든지 그러한 정보의 출처를 알고 있습니까?

Yahoo가 과거 데이터를 CSV 형식으로 제공한다는 것을 나타내는 이 질문 을 찾았 지만 연결된 사이트의 커서 검사에서 데이터를 얻는 방법을 찾을 수 없었습니다.

또한 CSV 파일로 데이터 단편을 다운로드한다는 아이디어가 마음에 들지 않습니다. 야후가 처음 수천 건의 요청 후에 화를 내고 종료 될 것이라고 생각합니다.

나는 또한 내가 대박을 쳤다고 생각하게하는 또 다른 질문 을 발견 했지만 불행히도 OpenTick 사이트가 문을 닫은 것 같습니다 ... 정말 나쁘게 생각합니다.

또한 매일 모든 기호의 개설 및 마감 가격과 거래량의 데이터를 사용할 수 있었지만, 얻을 수 있다면 모든 데이터를 선호합니다. 다른 제안?

2 ¢를 추가하겠습니다. 헤지 펀드를 위해 좋고 깨끗한 데이터를 얻는 것이 저의 임무입니다. 나는 많은 데이터 피드와 기록 데이터 공급자를 보았습니다. 이것은 주로 미국 주식 데이터에 관한 것입니다.

우선, Yahoo에서 데이터를 다운로드하는 데 돈이 들지 않는다면 CSI data 에서 하루 종일 데이터를 바로 얻으십시오 . Yahoo는 EOD 데이터와 AFAIK를 가져옵니다. 여기에는 원하는 형식으로 데이터를 추출 할 수있는 API가 있습니다. 매년 데이터 구독료는 100 달러입니다.

무료 서비스에서 데이터를 다운로드 할 때의 주요 문제는 여전히 존재하는 주식 만 얻는다는 것인데 , 이를 생존 바이어스 라고하며, 많은 주식을 보면 잘못된 결과를 줄 수 있습니다. 목록에없는 것은 아닙니다.

IQFeed 에서 살펴볼 일부 일상적인 데이터를 가지고 놀기 위해, 그들은 주로 실시간 피드에 적합하지만 역사적 데이터를 추출하는 여러 API를 제공합니다. 그러나 여기에는 몇 가지 옵션이 있으며 일부 브로커는 API를 통해 기록 데이터 다운로드를 제공하기 때문에 독을 선택하십시오.

그러나 일반적으로이 모든 데이터는 매우 깨끗하지 않습니다. 실제로 테스트를 다시 시작하면 특정 주식이 누락되었거나 두 개의 다른 기호로 표시되거나 주식 분할이 제대로 설명되지 않는 등을 볼 수 있습니다. 배당 데이터도 필요하므로 100 개의 서로 다른 데이터 소스에서 데이터를 패치하는 등 원에서 실행하기 시작합니다. 따라서 "할인"데이터 피드로 시작하려면보다 포괄적 인 백 테스트를 실행하자마자 수행 한 작업에 따라 문제가 발생할 수 있습니다. S & P 500 종목을 살펴보면 별 문제가되지 않을 것이고 "저렴한"일일 피드가 가능할 것입니다.

당신이 찾을 수없는 것은 무료 일중 데이터입니다. 몇 가지 예를 찾을 수 있습니다 .5 년 동안 MSFT 틱 데이터가 어딘가에 떠있을 것이라고 확신하지만 그다지 멀지 않습니다.

그런 다음 실제 물건 (레벨 II 주문서, 모든 거래소에서 발생한 모든 진드기)이 필요하다면 하나의 "적합한"이지만 ​​탁월한 옵션은 Nanex 입니다. 실제로 테라 바이트 단위의 데이터가있는 드라이브를 제공합니다. 내가 매년 약 3k-4K의 데이터를 기억한다면. 그러나 좋은 하루 동안의 데이터를 얻는 것이 얼마나 어려운지 이해하면, 이것이 전혀 돈이 아니라고 생각할 것입니다.

당신을 실망시키지 말고 좋은 데이터를 얻는 것은 어렵습니다. 사실 많은 헤지 펀드와 은행들이 신뢰할 수있는 데이터를 얻기 위해 한 달 에 수십만 달러를 소비하기가 어렵습니다 . 다시, 당신은 어딘가에서 시작한 다음 거기에서 갈 수 있지만 상황에 따라 조금 보는 것이 좋습니다.

편집 : 위의 대답은 내 자신의 경험에서 온 것입니다. 사용 가능한 데이터 피드에 대한 Caltech의이 글 은 더 많은 통찰력을 제공하며 특히 QuantQuote를 권장 합니다 .

이 답변은 기존의 YAHOO 피드가 중단되었으므로 더 이상 정확하지 않습니다.

야후의 CSV 접근 방식을 사용하면 과거 데이터도 얻을 수 있습니다! 다음 예제를 리버스 엔지니어링 할 수 있습니다.

http://ichart.finance.yahoo.com/table.csv?s=YHOO&d=0&e=28&f=2010&g=d&a=3&b=12&c=1996&ignore=.csv

본질적으로 :

sn = TICKER
a = fromMonth-1
b = fromDay (two digits)
c = fromYear
d = toMonth-1
e = toDay (two digits)
f = toYear
g = d for day, m for month, y for yearly

전체 매개 변수 목록 :

a   Ask
a2  Average Daily Volume
a5  Ask Size
b   Bid
b2  Ask (Real-time)
b3  Bid (Real-time)
b4  Book Value
b6  Bid Size
c   Change & Percent Change
c1  Change
c3  Commission
c6  Change (Real-time)
c8  After Hours Change (Real-time)
d   Dividend/Share
d1  Last Trade Date
d2  Trade Date
e   Earnings/Share
e1  Error Indication (returned for symbol changed / invalid)
e7  EPS Estimate Current Year
e8  EPS Estimate Next Year
e9  EPS Estimate Next Quarter
f6  Float Shares
g   Day's Low
h   Day's High
j   52-week Low
k   52-week High
g1  Holdings Gain Percent
g3  Annualized Gain
g4  Holdings Gain
g5  Holdings Gain Percent (Real-time)
g6  Holdings Gain (Real-time)
i   More Info
i5  Order Book (Real-time)
j1  Market Capitalization
j3  Market Cap (Real-time)
j4  EBITDA
j5  Change From 52-week Low
j6  Percent Change From 52-week Low
k1  Last Trade (Real-time) With Time
k2  Change Percent (Real-time)
k3  Last Trade Size
k4  Change From 52-week High
k5  Percent Change From 52-week High
l   Last Trade (With Time)
l1  Last Trade (Price Only)
l2  High Limit
l3  Low Limit
m   Day's Range
m2  Day's Range (Real-time)
m3  50-day Moving Average
m4  200-day Moving Average
m5  Change From 200-day Moving Average
m6  Percent Change From 200-day Moving Average
m7  Change From 50-day Moving Average
m8  Percent Change From 50-day Moving Average
n   Name
n4  Notes
o   Open
p   Previous Close
p1  Price Paid
p2  Change in Percent
p5  Price/Sales
p6  Price/Book
q   Ex-Dividend Date
r   P/E Ratio
r1  Dividend Pay Date
r2  P/E Ratio (Real-time)
r5  PEG Ratio
r6  Price/EPS Estimate Current Year
r7  Price/EPS Estimate Next Year
s   Symbol
s1  Shares Owned
s7  Short Ratio
t1  Last Trade Time
t6  Trade Links
t7  Ticker Trend
t8  1 yr Target Price
v   Volume
v1  Holdings Value
v7  Holdings Value (Real-time)
w   52-week Range
w1  Day's Value Change
w4  Day's Value Change (Real-time)
x   Stock Exchange
y   Dividend Yield

나는 당신이 "무료"를 원한다는 것을 알고 있지만 , 만약 당신이라면 csidata.com 에서 연간 $ 300 정도 의 데이터를받는 것을 진지하게 고려하고 있습니다.

야후가 데이터를 제공하기 위해 사용하는 것입니다.

괜찮은 API가 제공되며 데이터는 (내가 알 수있는 한) 매우 깨끗합니다.

구독하면 10 년의 역사를 얻은 다음 야간 업데이트를받습니다.

그들은 또한 당신을 위해 스플릿과 배당과 같은 모든 종류의 불쾌한 것들을 돌 봅니다. 데이터 정리의 즐거움을 아직 발견하지 못했다면 ATS (Automated Trading System)가 처음으로 일부 주식이 실제로 저렴하다고 생각할 때까지 얼마나 필요한지 알지 못할 것입니다. : 1 당신은 눈치 채지 못했습니다.

NASDAQ 및 NYSE의 모든 심볼의 데이터 세트는 1 초 또는 1 분 간격으로 방대 합니다.

두 거래소에 총 4000 개의 회사가 있다고 가정 해 봅시다 ( NASDAQ에 3200 개가 넘는 회사 가 있기 때문에 아마도 매우 낮은 편입니다 ). 하루에 6.5 거래 시간이 있다고 가정하면 두 번째 간격으로 데이터를 사용할 경우 회사 당 하루 23400 개의 데이터 포인트 또는 하루에 총 93,600,000 개의 데이터 포인트가 제공됩니다. 1 년에 200 일의 거래일을 가정하면 1 년 동안 약 18,720,000,000 개의 데이터 포인트가됩니다.

아마도 더 작은 세트로 시작하고 싶습니까?

소개 :
야후에서 EOD (종료) 과거 가격 또는 실시간 가격을 얻을 수 있습니다. EOD 가격은 놀랍도록 간단하게 다운로드 할 수 있습니다. 데이터를 얻는 방법과 C # 코드 예제에 대한 설명 은 내 블로그 를 참조하십시오 .

데이터베이스에 실시간 가격을 다운로드하여 저장하는 실시간 데이터 피드 "엔진"을 작성하는 중입니다. 엔진은 처음에 Yahoo 및 Interactive Brokers에서 과거 가격을 다운로드 할 수 있으며 MS SQL, MySQL, SQLite 등 선택한 데이터베이스에 데이터를 저장할 수 있습니다. 오픈 소스이지만 더 게시 할 예정입니다. 내 블로그에 정보를 공개 할 때 (2 일 이내) 정보를 얻을 수 있습니다.

또 다른 옵션은 일식 상인입니다 ... 이력 데이터를 1 분 정도의 작은 단위로 기록하고 가격을 텍스트 파일에 로컬로 저장할 수 있습니다. 기본적으로 15 분 지연으로 Yahoo에서 실시간 데이터를 다운로드합니다. 더 강력한 솔루션을 원했고 데이터가 필요한 대규모 학교 프로젝트를 진행하고 있으므로 데이터 피드 엔진 (위에서 언급 한)을 직접 작성하기로 결정했습니다.

샘플 코드 :
실시간 데이터를 다운로드하는 방법을 보여주는 샘플 C # 코드는 다음과 같습니다.

public void Start()
{
    string url = "http://finance.yahoo.com/d/quotes.csv?s=MSFT+GOOG&f=snl1d1t1ohgdr";
    //Get page showing the table with the chosen indices
    HttpWebRequest request = null;
    IDatabase database =
        DatabaseFactory.CreateDatabase(
        DatabaseFactory.DatabaseType.SQLite);

    //csv content
    try
    {
        while (true)
        {
            using (Stream file = File.Create("quotes.csv"))
            {
                request = (HttpWebRequest)WebRequest.CreateDefault(new Uri(url));
                request.Timeout = 30000;
                using (var response = (HttpWebResponse)request.GetResponse())
                using (Stream input = response.GetResponseStream())
                {
                    CopyStream(input, file);
                }
            }
            Console.WriteLine("------------------------------------------------");
            database.InsertData(Directory.GetCurrentDirectory() + "/quotes.csv");

            File.Delete("quotes.csv");
            Thread.Sleep(10000); // 10 seconds
        }
    }
    catch (Exception exc)
    {
        Console.WriteLine(exc.ToString());
        Console.ReadKey();
    }
}

데이터베이스 :
데이터베이스 측 OleDb에서 CSV 파일에 연결하여을 채우고 DataSet를 통해 실제 데이터베이스를 업데이트 DataSet하면 기본적으로 Yahoo에서 반환 된 CSV 파일의 모든 열을 데이터베이스에 직접 일치시킬 수 있습니다 ( 데이터베이스가 SQLite와 같은 CSV 데이터의 일괄 삽입을 지원하지 않는 경우). 그렇지 않으면 데이터를 삽입하는 것이 하나의 라이너입니다. CSV를 데이터베이스에 일괄 삽입하십시오.

URL 형식에 대한 자세한 내용은 여기를 참조 하십시오. http://www.gummy-stuff.org/Yahoo-data.htm

NASDAQ은 각 기호에 대해 10 년의 과거 EOD 데이터를 제공합니다

http://www.nasdaq.com/aspx/historical_quotes.aspx?symbol=AAPL&selected=AAPL

이 데이터 다운로드 프로세스를 자동화 할 수 있습니다.

생존 바이어스 무료 데이터의 경우 내가 찾은 신뢰할 수있는 유일한 출처는 QuantQuote ( http://quantquote.com )입니다.

데이터는 분 단위, 초 단위 또는 틱 단위로 기록되어 과거 주식 데이터에 연결됩니다 .

위의 키봇에 대한 제안이있었습니다. 나는 그들로부터 구입하기 전에, 당신은 많은 게시물 찾을 수 있습니다 빠른 구글 검색을 할 것 같은 kibot 데이터 품질 문제에 대한 경고와 함께합니다. 또한 생존자 편향이없는 sp500은 14 년 동안 570 개의 기호 만 가지고 있다고합니다. sp500은 한 달 에 1-2 개의 기호로 바뀝니다 .

불행히도 무료로 제공되는 시세 티커 데이터는 찾기가 어렵습니다. 이제 opentick가 죽었으므로 다른 공급자를 알지 못합니다.

전 생애에서 저는 자동화 된 거래 시스템을 갖춘 헤지 펀드에서 근무했으며, 과거 데이터를 풍부하게 사용했습니다.

소스에 TickData를 사용했습니다. 그들의 가격은 합리적이며 데이터는 2 초 미만의 해상도를 가졌습니다.

Kibot.com 에서 12 년 간의 일일 데이터를 구매 했으며 품질에 매우 만족합니다.

스토리지 요구 사항 : 모든 미국 주식 (8000 개 이상의 기호)에 대한 12 년의 1 분 데이터는 약 100GB입니다.

틱별 데이터의 상황은 조금 다릅니다. 시간과 판매 만 기록하면 모든 미국 주식에 대해 한 달에 약 30GB의 데이터가됩니다. 거래를 함께 입찰 / 변경 요청을 저장하려면 매월 약 150GB를 기대할 수 있습니다.

이게 도움이 되길 바란다. 다른 도움이 필요하면 알려주십시오.

제가 방금 발견 된 소스를 추가하자 발견 여기에 .

csv 형식의 많은 역사적 재고 데이터를 보유하고 있으며 그의 홈페이지에 따르면 "Carnegie Mellon University의 컴퓨터 과학 부서의 조교수"인 Andy Pavlo가 수집했습니다.

Mathematica는 현재 현재 및 과거의 주가 모두에 대한 액세스를 제공 합니다 (사본이있는 경우 http://reference.wolfram.com/mathematica/ref/FinancialData.html 참조) .

yahoo를 사용하여 일일 데이터 (보다 관리하기 쉬운 데이터 세트)를 얻을 수 있지만 URL을 구성해야합니다. 이 링크를 참조하십시오 . 작은 요청을 많이하지 않고 큰 요청을 줄입니다. 많은 무료 소프트웨어가 이것을 사용하므로 종료하지 않아야합니다.

편집 : 이 사람이 할 수 있습니다. 아마도 그의 소프트웨어가 호출하는 것을 볼 수 있습니다.

Yahoo는 예비 무료 데이터를 얻는 가장 간단한 옵션입니다. eckesicle의 답변에 설명 된 링크는 파이썬 코드에서 쉽게 사용할 수 있지만 먼저 모든 시세가 필요합니다. 이 예에서는 NYSE를 사용하지만 다른 교환에도 사용할 수 있습니다.

이 위키 페이지 를 사용 하여 다음과 같은 스크립트로 모든 회사 시세를 다운로드했습니다 (유능한 Pythonist는 아닙니다.이 코드가 효율적이지 않으면 죄송합니다).

import string
import urllib2
from bs4 import BeautifulSoup

global f

def download_page(url):
    aurl = urllib2.urlopen(url)
    soup = BeautifulSoup(aurl.read())

    print url

    for row in soup('table')[1]('tr'):
        tds = row('td')
        if (len(tds) > 0):
            f.write(tds[1].string + '\n')


f = open('stock_names.txt', 'w')

url_part1 = 'http://en.wikipedia.org/wiki/Companies_listed_on_the_New_York_Stock_Exchange_'
url = url_part1 + '(0-9)'
download_page(url)

for letter in string.uppercase[:26]:
    url_part2 = letter
    url = url_part1 + '(' + letter + ')'

    download_page(url)

f.close()

각 티커를 다운로드하기 위해 비슷한 스크립트를 사용했습니다.

import string
import urllib2
from bs4 import BeautifulSoup


global f

url_part1 = 'http://ichart.finance.yahoo.com/table.csv?s='
url_part2 = '&d=0&e=28&f=2010&g=d&a=3&b=12&c=1996&ignore=.csv'

print "Starting"

f = open('stock_names.txt', 'r')
file_content = f.readlines()
count = 1;
print "About %d tickers will be downloaded" % len(file_content)

for ticker in file_content:
    ticker = ticker.strip()
    url = url_part1 + ticker + url_part2
    
    try:
        # This will cause exception on a 404
        response = urllib2.urlopen(url)

        print "Downloading ticker %s (%d out of %d)" % (ticker, count, len(file_content))

        count = count + 1
        history_file = open('C:\\Users\\Nitay\\Desktop\\Historical Data\\' + ticker + '.csv', 'w')
        history_file.write(response.read())
        history_file.close()

    except Exception, e:
        pass

f.close()

이 방법의 주요 단점은 회사마다 다른 데이터를 사용할 수 있다는 것입니다. 요청한 날짜에 데이터가없는 회사 (새로 나열)는 404 페이지를 제공합니다.

또한이 방법은 예비 데이터에만 유용합니다. 알고리즘을 실제로 테스트하려면 약간의 비용을 지불하고 CSIData 또는 기타와 같은 신뢰할 수있는 데이터 공급 업체를 사용해야합니다.

Brownian Motion으로 가짜 주식 시장을 모델링하지 않겠습니까?

이를위한 많은 자원. 구현하기 쉽습니다.

http://introcs.cs.princeton.edu/java/98simulation/

eodData.com을 사용합니다. 꽤 괜찮은 가격입니다. 한 달에 30 달러로 모든 미국 거래소에 대해 30 일 1,5, 60 분 막대를, 대부분의 다른 거래소에 대해서는 1 년의 EOD 데이터를받습니다.

finance.google.com (따옴표) 또는 finance.yahoo.com을 크롤링했습니다.

둘 다 기록을 포함하여 전 세계 대부분의 교환에 대해 html 페이지를 반환합니다. 그런 다음 HTML을 구문 분석하여 필요한 것을 추출하면됩니다.

나는 과거에 이것을 성공적으로 해냈습니다. 또는 Perl을 사용하는 것이 마음에 들지 않으면 CPAN에는이 작업을 수행 한 여러 모듈이 있습니다 (예 : Google / Yahoo에서 따옴표 추출).

자세한 내용은 견적 내역을 참조하십시오.

이전의 내 프로젝트는 EODData 에서 무료로 다운로드 가능한 데이터를 사용하려고했습니다 .

Mergent Historical Securities Data API를 살펴보십시오-http: //www.mergent.com/servius