Я хочу сделать свою собственную биткойновую диаграмму.
Вы знаете какой-либо надежный способ получить исторические данные о ценах биткойнов? Есть ли способ получить его с помощью REST? Я видел Bitfloor, который поддерживает REST, но он не возвращает никакого полезного значения, он имеет "внутреннюю ошибку сервера".
Я видел также биткойн-чарты, но я думаю, что он ограничивается 2000 значениями данных.
Не могли бы вы предложить мне какие-либо рамки или систему для работы над этим?
На самом деле, вы можете получить всю историю биткойнских торгов с Bitcoincharts в формате CSV здесь: http://api.bitcoincharts.com/v1/csv/
он обновляется два раза в день для активных обменов, а также существует несколько мертвых обменов.
EDIT: поскольку в CSV нет заголовков столбцов, вот что они: столбец 1) торговая метка, столбец 2) цена, столбец 3) объем сделки
Здесь вы можете найти множество исторических данных: https://www.quandl.com/data/BCHARTS-Bitcoin-Charts-Exchange-Rate-Data
В случае, если вы хотите получить данные торговли битстопом с их websocket в более высоком разрешении в течение более длительного периода времени, вы можете использовать script log_bitstamp_trades.py ниже.
script использует библиотеки python websocket-client и pusher_client_python, поэтому установите их.
#!/usr/bin/python
import pusherclient
import time
import logging
import sys
import datetime
import signal
import os
logging.basicConfig()
log_file_fd = None
def sigint_and_sigterm_handler(signal, frame):
global log_file_fd
log_file_fd.close()
sys.exit(0)
class BitstampLogger:
def __init__(self, log_file_path, log_file_reload_path, pusher_key, channel, event):
self.channel = channel
self.event = event
self.log_file_fd = open(log_file_path, "a")
self.log_file_reload_path = log_file_reload_path
self.pusher = pusherclient.Pusher(pusher_key)
self.pusher.connection.logger.setLevel(logging.WARNING)
self.pusher.connection.bind('pusher:connection_established', self.connect_handler)
self.pusher.connect()
def callback(self, data):
utc_timestamp = time.mktime(datetime.datetime.utcnow().timetuple())
line = str(utc_timestamp) + " " + data + "\n"
if os.path.exists(self.log_file_reload_path):
os.remove(self.log_file_reload_path)
self.log_file_fd.close()
self.log_file_fd = open(log_file_path, "a")
self.log_file_fd.write(line)
def connect_handler(self, data):
channel = self.pusher.subscribe(self.channel)
channel.bind(self.event, self.callback)
def main(log_file_path, log_file_reload_path):
global log_file_fd
bitstamp_logger = BitstampLogger(
log_file_path,
log_file_reload_path,
"de504dc5763aeef9ff52",
"live_trades",
"trade")
log_file_fd = bitstamp_logger.log_file_fd
signal.signal(signal.SIGINT, sigint_and_sigterm_handler)
signal.signal(signal.SIGTERM, sigint_and_sigterm_handler)
while True:
time.sleep(1)
if __name__ == '__main__':
log_file_path = sys.argv[1]
log_file_reload_path = sys.argv[2]
main(log_file_path, log_file_reload_path
и конфигурацию файла logrotate
/mnt/data/bitstamp_logs/bitstamp-trade.log
{
rotate 10000000000
minsize 10M
copytruncate
missingok
compress
postrotate
touch /mnt/data/bitstamp_logs/reload_log > /dev/null
endscript
}
то вы можете запустить его на фоне
nohup ./log_bitstamp_trades.py /mnt/data/bitstamp_logs/bitstamp-trade.log /mnt/data/bitstamp_logs/reload_log &
Битстап содержит данные о биткойнах в реальном времени, которые доступны в JSON этой ссылке. Не пытайтесь получить доступ к нему более чем 600 раз за десять минут, иначе они заблокируют ваш IP-адрес (плюс, в любом случае это необязательно; читайте больше здесь). Ниже приведен подход C# для получения данных в реальном времени:
using (var WebClient = new System.Net.WebClient())
{
var json = WebClient.DownloadString("https://www.bitstamp.net/api/ticker/");
string value = Convert.ToString(json);
// Parse/use from here
}
Здесь вы можете проанализировать JSON и сохранить его в базе данных (или с помощью MongoDB вставить его напрямую), а затем получить к нему доступ.
Для исторических данных (в зависимости от базы данных - если вы ее подходите), сделайте вставку из плоского файла, который позволяет использовать большинство баз данных (например, с помощью SQL Server вы можете сделать BULK INSERT из файла CSV).
Я написал пример java для этого случая:
Используйте библиотеку json.org для извлечения JSONObjects и JSONArrays. В приведенном ниже примере используются данные blockchain.info, которые могут быть получены как JSONObject.
public class main
{
public static void main(String[] args) throws MalformedURLException, IOException
{
JSONObject data = getJSONfromURL("https://blockchain.info/charts/market-price?format=json");
JSONArray data_array = data.getJSONArray("values");
for (int i = 0; i < data_array.length(); i++)
{
JSONObject price_point = data_array.getJSONObject(i);
// Unix time
int x = price_point.getInt("x");
// Bitcoin price at that time
double y = price_point.getDouble("y");
// Do something with x and y.
}
}
public static JSONObject getJSONfromURL(String URL)
{
try
{
URLConnection uc;
URL url = new URL(URL);
uc = url.openConnection();
uc.setConnectTimeout(10000);
uc.addRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)");
uc.connect();
BufferedReader rd = new BufferedReader(
new InputStreamReader(uc.getInputStream(),
Charset.forName("UTF-8")));
StringBuilder sb = new StringBuilder();
int cp;
while ((cp = rd.read()) != -1)
{
sb.append((char)cp);
}
String jsonText = (sb.toString());
return new JSONObject(jsonText.toString());
} catch (IOException ex)
{
return null;
}
}
}
Скремблирование его в JSON с помощью Node.js будет забавным:)
https://github.com/f1lt3r/bitcoin-scraper
[
[
1419033600, // Timestamp (1 for each minute of entire history)
318.58, // Open
318.58, // High
318.58, // Low
318.58, // Close
0.01719605, // Volume (BTC)
5.478317609, // Volume (Currency)
318.58 // Weighted Price (USD)
]
]
Coinbase имеет REST API, который дает вам доступ к историческим ценам с их сайта. Похоже, что данные показывают ценовую цену Coinbase (в долларах США) каждые десять минут.
Результаты возвращаются в формате CSV. Вы должны запросить номер страницы, который вы хотите использовать через API. На странице 1000 результатов (или ценовых точек). Это около 7 дней данных на страницу.