基于多重索引的时序数据检索方案

在股票量化交易系统中,包括股票交易,行情监控,和回测系统,通常对股票行情数据的获取时间要求和数据压缩率非常高,特别是细化到分钟级,秒级,毫秒级的数据查询上,在数据量大的情况下,通常的检索方式会非常耗时,占用内存也非常大。基于这种情况下,本文提出了一种基于底层数据结构numpy建立多重索引的内存占用率低,查询效率高的时序数据检索方案。

1 minute read

基于用户行为的视频防盗链方案

随着防盗链业务发展,公司的防盗链代码分布在客户端,CDN,调度等各个业务线,导致系统变得越来越复杂,排查问题、升级等都变得难以。我们需要一个系统,将防盗链策略跟各个系统解耦,只提供服务接口。而且只有在系统化服务的情况下,我们才能做出对数据实时性,一致性高的策略方案。如行为策略方案

1 minute read

程序化交易广告

由于金融这边计算搭建一套自己的广告系统,恰好我之前参与过商城精准通从0到1的搭建,和后期到数十亿的流量发展,对各个环节都比较熟悉。顺便趁此机会也记录下来。要讲的东西太多,这次就先列个提纲,后期有时间再逐个完善。

1 minute read

如何发布与订阅RSS

对于信息的过滤,我喜欢关注那些我认可的人,他们发的信息都是他们对各方面信息过滤后的比较有价值信息,既保证了信息质量内容又不会单一,这是我目前觉得最好的过滤方式。

1 minute read

股票回测中的动态复权机制

复权就是对股价和成交量进行权息修复,股票的实际价值没有变,只是数量与价格变化了而已。

1 minute read

如何安全的实现代码发布

很多互联网公司每一次代码发布像是如临大敌。熬夜,值班,凌晨上线。每次上线都弄得疲惫不堪。其实代码发布并不是将代码发布到线上这一个操作,而是需要一系列的系统和规范构成的。

1 minute read

用C编写自定义的redis命令- part-2

不久前,我们发现自己在需要一个ZDIFF 的Redis命令。我们可以像我们其他的代码一样在Lua中实现,但为什么不直接在Redis中实现呢? Redis的伟大的事情之一是有一个干净的代码库,即使对于像我这样的一个非常生疏的C程序员来说。

2 minute read

用C编写自定义的redis命令- part-1

不久前,我们发现自己在需要一个ZDIFF 的Redis命令。我们可以像我们其他的代码一样在Lua中实现,但为什么不直接在Redis中实现呢? Redis的伟大的事情之一是有一个干净的代码库,即使对于像我这样的一个非常生疏的C程序员来说。

3 minute read

一致性哈希(Consistent Hash)简介

consistent hashing 是一种分布式系统中常用的算法。简单的说,在移除或添加一个 cache 时,它能够尽可能小的改变已存在 key 映射关系,尽可能的满足单调性的要求。

1 minute read