基于多重索引的时序数据检索方案
在股票量化交易系统中,包括股票交易,行情监控,和回测系统,通常对股票行情数据的获取时间要求和数据压缩率非常高,特别是细化到分钟级,秒级,毫秒级的数据查询上,在数据量大的情况下,通常的检索方式会非常耗时,占用内存也非常大。基于这种情况下,本文提出了一种基于底层数据结构numpy建立多重索引的内存占用率低,查询效率高的时序数据检索方案。
2019, Jul 21 — 1 minute read在股票量化交易系统中,包括股票交易,行情监控,和回测系统,通常对股票行情数据的获取时间要求和数据压缩率非常高,特别是细化到分钟级,秒级,毫秒级的数据查询上,在数据量大的情况下,通常的检索方式会非常耗时,占用内存也非常大。基于这种情况下,本文提出了一种基于底层数据结构numpy建立多重索引的内存占用率低,查询效率高的时序数据检索方案。
2019, Jul 21 — 1 minute read随着防盗链业务发展,公司的防盗链代码分布在客户端,CDN,调度等各个业务线,导致系统变得越来越复杂,排查问题、升级等都变得难以。我们需要一个系统,将防盗链策略跟各个系统解耦,只提供服务接口。而且只有在系统化服务的情况下,我们才能做出对数据实时性,一致性高的策略方案。如行为策略方案
2019, Jul 21 — 1 minute read由于金融这边计算搭建一套自己的广告系统,恰好我之前参与过商城精准通从0到1的搭建,和后期到数十亿的流量发展,对各个环节都比较熟悉。顺便趁此机会也记录下来。要讲的东西太多,这次就先列个提纲,后期有时间再逐个完善。
2019, Apr 07 — 1 minute read对于信息的过滤,我喜欢关注那些我认可的人,他们发的信息都是他们对各方面信息过滤后的比较有价值信息,既保证了信息质量内容又不会单一,这是我目前觉得最好的过滤方式。
2019, Apr 06 — 1 minute read很多互联网公司每一次代码发布像是如临大敌。熬夜,值班,凌晨上线。每次上线都弄得疲惫不堪。其实代码发布并不是将代码发布到线上这一个操作,而是需要一系列的系统和规范构成的。
2016, Oct 06 — 1 minute read不久前,我们发现自己在需要一个ZDIFF 的Redis命令。我们可以像我们其他的代码一样在Lua中实现,但为什么不直接在Redis中实现呢? Redis的伟大的事情之一是有一个干净的代码库,即使对于像我这样的一个非常生疏的C程序员来说。
2013, Jul 16 — 2 minute read不久前,我们发现自己在需要一个ZDIFF 的Redis命令。我们可以像我们其他的代码一样在Lua中实现,但为什么不直接在Redis中实现呢? Redis的伟大的事情之一是有一个干净的代码库,即使对于像我这样的一个非常生疏的C程序员来说。
2013, Jul 10 — 3 minute readconsistent hashing 是一种分布式系统中常用的算法。简单的说,在移除或添加一个 cache 时,它能够尽可能小的改变已存在 key 映射关系,尽可能的满足单调性的要求。
2012, Oct 26 — 1 minute read