毕业五年
按大学毕业计算，转眼间已经有五个年头。看着公司不断加入年轻的充满活力的新同事，感叹自己真的老了。突然想写点什么，总结自己的技术成长经历。
大学迷迷糊糊报了一个高分子材料的专业，感觉完全提不起兴趣。时间回退到2007年左右，那时我还跟计算机还完全沾不上边，但是理工类的专业都会开设一门高级语言程序设计的课程，也就是教一点点C++的东西。当时就觉得这门课程学的东西很有意思，记得这门课程我的成绩是班级第一名。大概也是这个时候我已经在看《Unix环境高级编程》了，其实当时对计算机知识是完全没有基础的，但这本书似乎真的写得深入浅出。当时应该看懂了一些东西，以至于让我感到至今都是受益匪浅。那时已经在使用linux系统了，我记得自己安装的第一个linux系统应该是Ubuntu7.04，刻了光盘还保留着，直到研究生毕业搬东西时才丢失了。
时间回到2009年，这是我毕业前一年。知道自己喜欢的是编程，应该跟着内心走。于是，先跨考计算机的研究生混得文凭！考研这一年是我进步速度最快的一年，可谓一日千里。前面用了半年的时间，我去旁听了计算机系考研的四门课程：数据结构/计算机组成原理/操作系统/计算机网络。真正觉得自己入门，是学完数据结构这门课程。因为那时我开始可以写一点点代码了！能写500行代码规模的东西，我觉得是入门第一道坎。把各种排序算法，图的深入优先广度优先遍历，最小生成树，拓扑排序，Dijkstra算法和Floyd算法，不看书能够写出来就过了这道坎。那个时候每学习一种数据结构，回家就会认认真真地把书上的代码自己实现一遍，绝不偷懒。一切都在潜移默化中，直到复试上机我才发现自己coding能力早已完暴当时绝大部分所谓科班的同学了。因为上机的优势，复试成绩也是拿到了实验室第一名。
同样是在这一年里，读了非常多的计算机专业方面的书籍。因为后半年里在图书馆自习，累了我就会走到书架边拿计算机专业相关的图书看，对我来说是作为一种休息。不知不觉，几乎当时所有的计算机的书都看过一些，只不过有的看得深一些，有的囫囵吞枣罢了。这段经历，确实为自己的知识面打下了非常重要的基础，而不仅仅再局限于考研要考的那少数课程。也不纯粹是技术方面，像人月神话，unix编程艺术之类的涉及软件开发和管理，黑客文化和哲学等。如果说学数据结构会课后练习写每一段代码，使我动手能力提升，那么广泛阅读的这段经历，正像把所有课后参考资料链接都读一遍那样让我视野开阔。学数据结构时，我会把指定教材之外的书也翻一翻，对比更好的实现，比如说李春葆版的那个树的非递归后序遍历就比严蔚敏版的精简。学操作系统时，虽然用的汤子瀛版的教材，但课堂之外，我会去读minux设计与实现那本书，会去读一点linux源代码。之后就再也没有这一年这样进步神速的时期了。反而觉得考完研时的自己应该是最颠峰的时期，如果当时是找工作做面试题，肯定是完暴自己研究生毕业时的水平。
计算机喜欢从零开始计数，考研应该算第零年。研一算毕业第一年，也是我正式的进入程序员行业的第一年。这时的科研任务不算重，还会去上研究生的一些课程。课程作业中所有以团队为单位的要求动手实现的，其实都是我一个人做了，其它组员打酱油就行。研究生阶段最喜欢的一门课是嵌入式系统设计，当时的课程设计写了一个简单的操作系统内核。基于ARM7硬件的，最终效果是做了两个用户级的进程，一个不停地输出A，另一个不停输出B，因为进程切换的缘故，最终会看到类似ABABBBAABAA这种不规则的交替输出。操作系统内核听起来很高端，其实没有想象中难。首先会上电后bootstrap，这时会设置好各个寄存器状态，去读手册，就知道该怎么弄了。文件系统我省略了，进程调度用的一个基于多级队列的时间片轮询算法。内存管理方面，因为ARM7其实没有MMU(内存管理单元，负责虚拟地址到物理地址的映射)，所以相当于一直是x86的实地址模式。甚至都没有做分段，做一个简单的固定页大小的内存分配器就可以了，其实跟写个用户级的内存分配器差不多的。这段经历真的很不错，我更了解底层了。以前是没有汇编基础的，做这个东西确确实实地写了一些汇编，准确地说ARM7汇编跟X86汇编语法是有一些差别，但也大同小异。bootstrap以及中断处理相关的代码写得最痛苦，因为必须全部用汇编写才能操作那些寄存器！booterloader需要设置那些寄存器状态，中断现场的上下文保存也是，后面写其它部分就能用C写了。当时能够写C那种感觉，激动得只能够用这句话表达：极大的解放和提高了生产力！
研一时比较自由，有一段时间对lisp语言着迷了。编程语言方面，C和lisp是两种极端。一个是代表图灵，走的是冯诺依曼这套体系的路子；另一个是丘奇，走的是lambda演算。很多人都听过所谓的图灵等价，但其实没多少人真正明白图灵等价是什么意思。也没有明白当时他们到底在解决什么问题。好像很玄乎，简单地说，当时还是计算机这种东西还处于正在发明中的阶段。可计算理论研究的是，假设给你一台计算能力无限的机器，那么什么样的问题是可以通过这台机器求解的。这么一说又提到了人工智能，机器能够自我思考吗？到底什么样算智能？哦，扯远了。
继续说回lisp，准确地说我指的是scheme。把scheme的语言标准r5rs打印出来也就六七十页的样子，语言本身不复杂。慢慢的就研究到了编译器，因为scheme大多资料都是跟它的解释器编译器相关的，《计算机程序的解释与构造》就是其中之一。后面就自己写起编译器来，虽然没有正统地学过编译原理，但是这份经历弥补了一部分。如果说，编译器实现要经历词法分析，语法分析，得到AST(抽象语法树)，然后中间代码生成和代码优化这些阶段，可能很多人都懂。但是具体说LL分析LR分析，上下文无关文法转左递归文法好多细节，没几个人说得上来。因为正统的编译器课程让很多人在AST之前就阵亡了，只有极少数一部分人能活下来，能理解精髓的更是凤毛鳞角。以至于说到图着色的寄存器分配算法，可能很多人都没听过了。于是在大多人觉得，编译器是一种很高深很神秘的古老黑魔法，有一种敬畏之心。lisp的语法的简单可以把研究精力从这些细节的地方解放出来，学习曲线平滑很多。其实写编译器是很好玩的经历，因为有这种经历之后，一切不再是黑魔法。写一个基本的demo其实不难，无非高层的分支，顺序，赋值，以及函数调用协议对应到底层操作。实现if begin set! lambda几个scheme的关键字就可以了。循环可以递归实现，不是必须的，做尾递归消除后，都一样了。难的地方是完全去符合r5rs的规范，就有很多细节需要处理了。卫生宏是很难的一块，实现和理解continuation也是很难的一块。另外，函数式语言，有闭包，CPS变换，Y combinator等等好多概念，确实门槛比较高。有次看到知乎上面提问：到底什么是函数式编程可以解决，而面向对象编程解决不了的。其中一个答案是：“所谓的面向对象其实是解决了聪明的码农不多这个问题...而这也是FP唯一无法解决的问题”。看完会心一笑。
垃圾回收也是在写编译器过程中知道的，基本的三种垃圾回收算法，标记清扫/标记紧缩/引用计数。自己实现过标记清扫的垃圾回收算法。因为实现编译器配套的运行时，需要实现这项特征。垃圾回收的停顿影响挺大，优化的算法会做分代，并行的等等，这一块也是水很深。
许多年之后，我会半开玩笑半认真地说，自己是越来越菜了。想当年，那可是在写内核，写编译器呀！再看看现在写的算啥？只会写hello world了。
大概研一研二之间吧。实验室项目进行到一个文本系统，其实说白了就是一个搜索引擎的雏形，有文档入库分析、分词，建立索引，查询反馈等等。没有爬虫部分，也没有PageRank那种权重排序，只是简单的TF/IDF权重。我负责了索引模块以及最后各模块的系统集成工作。建立倒排索引是搜索引擎中一个重要的部分，这个索引其实本质上就是一个kv存储。key是一个词，value是一条链表，记录这个词所在的各个文档以及对应的权重。再往细化涉及一些倒排索引本身相关的东西，比如对海量的索引数据，那么压缩存储就很重要，涉及到了数据压缩。建索引的算法也可以做增量的merge，就像归并排序一样。也是初生牛犊不怕虎，连LSM都没听过，卷起袖子就开干了。直到后来读big table之类的论文，看leveldb资料的时候，才反应过来当时的自己是多么幼稚。懂得多了，反而变得谦逊。
做索引时接触到了存储。为什么这么说呢？其实跟数据库的索引是一个概念。不管是SQL或者NoSQL，索引无非是在内存中维护一个数据结构，存储key到一个文件加偏移的信息。外存则是用文件加偏移这种信息来维护记录。至于使用的是B树还是跳表或者哈希来组织，都可以。每种结构都有各自的优缺点，早期数据库喜欢用B树，随着NoSQL的崛起，LSM成了主流。单机存储引擎是分布式存储的基础，另一块则是分布式架构，暂时不提这个话题了。研一结束，实际地做了一点项目的东西，慢慢地过渡到了第二个阶段，这个阶段的代码量大概在单个项目5000行，能写一点点有意思的东西了。
研二，毕业第二年。开始真正的搞科研了。我的选题方向是图像标注，研究的是如何让机器给图像打上各种标签，比如标注图像中出现的物体。有点像模式识别的东西，涉及的内容就是底层特征提取和机器学习算法。底层特征提取比如图像中的形状颜色纹理等，这个没有作为重点。不过我喜欢说自己“假装”在搞机器学习，因为说实话我并不喜欢。机器学习对概率论和线性代数方面的数学基础要求挺高的，而我则更多是希望做一个工程师而不是科学家。直到研究生毕业，才觉得对机器学习可以算懂了一点皮毛了。往大的讲，无非就是分类，聚类，降维之类的。看懂一些精典算法，比如说K均值聚类，KNN，朴素贝叶斯，SVM，决策树，PCA等等。还有像混合高斯模型，梯度下降求解算法之类。当时好像用这本书《Machine Learning: A Probabilistic Perspective》，但是没有导师系统地教，自已看真是一个头大。什么偏方差分解，欠拟合过拟合，各种概率分布现在都只剩下一下模糊的印象了。随着科研的深入觉得自己的工程能力不断在下降。
研三一样是科研为主。不过中间插入了一段实习经历。被忽悠到百度打了一阵子酱油，在基础架构部(INF)的高性能计算(HPC)组。面试官以为我是真的搞机器学习的，居然同意了一个月的实习期，对此我倒有点歉意。一般百度实习都要求三个月以上，不然是不会通过的。对于我这种一个月实习生，不敢说后无来者，但是我猜测很可能前无古人。因为时间太短，期间的主要工作是做一个SVM的大规模求解的算法调研。我们部门会负责提供给其它部门基础设施，包括一些机器学习算法求解的接口。SVM最常用的求解算法是SMO，但这个算法没法处理海量样本的数据规模，数据量大到一定程度，就没法在可忍受的时间内计算出来了。为了寻找方案读了好多论文，找了一些开源库进行了性能测试和对比实验，最后是大致确定一个开源的库。也发现一些问题，求解过程中有一个计算中间结果是一个很大的矩阵，每个矩阵内的元素计算开销很大，如果不缓存就得每次都计算，但是硬件内存有限，缓存命中率很低，因为这个东西并不满足缓存的基础--局部性原理。做到那个时候实习期结束了。现在回想，其实如果用分布式缓存是有可能解决这个问题的，只是当时的视野还受限于单机内存。再回想那些公式推导，应该都没几个人看得懂的，反正现在我自己是看不懂了。这段经历中最大的收获是学习了好多百度内部的技术资料，能够一窥真实的大系统是怎么样的。我觉得自己是很适合做一些基础架构方面的工作的，对底层比较感兴趣。
当时云计算开始炒得很火。其实我觉得还是抛开概念炒作，还原本质比较好，分布式系统原理这个词就朴素得多。研究生课程学过一点，因为找工作缘故，这个时候便特意看一些。其实说分布式，无非是系统越来越大，单机的性能有限，摩尔定律又无法一直适用，所以现在必须要把许许多多的机器作为一个整体的系统去提供服务。单机提供的是哪些东西呢？存储能力，计算能力，连接存储和计算之间又需要消息通信。先说存储层面，传统的文件系统进化成了hadoop这类分布式的文件系统，数据库也从单机的数据库变成了各种NoSql的数据库。单机时代，因为硬盘速度有限，存储介质会需要磁盘和内存。对应到分布式时代，数据库速度不够，就需要分布式缓存。再说到计算，计算是建立在存储的基础之上的，因为计算需要使用数据。根据计算性质的不同，又有MPI这种并行计算模型，因为数据偶合性不便拆分，通过封装消息通信使上层看不到计算放在不同的机器上。还有MapReduce这种，通过将计算抽象成Map和Reduce几个过程，放到不同机器上计算后再将结果聚合起来。
要是当毕业当年能找到一份相关的工作，成长速度会快得多。因为按当时的情况，有一定的理论知识，缺乏的就是在大型的真实系统中去焠炼的机会。可惜皂滑弄人，进入了游戏行业，这时是毕业第四年。
老实说我应该是挺喜欢游戏的，但不是android小游戏。公司用的libgdx，一个很小众的Java的游戏引擎。这个引擎本身的代码还是挺不错的，就是周边的配套设施太差了。做游戏开发单有引擎是不够的，配套的工具都非常重要，像从合图，到界面编辑器，动画编辑器，关卡等等。自己动手丰衣足食，界面编辑器没有，就用gleed2d这类的开源编辑器做，生成xml文件了做解析，实现界面。游戏的界面跟App的界面不一样，主要是灵活性太高，不是用简单的控件和对齐方式就能描述的。动画工具没有，也是自己去写flash解析，让美术把flash资源导出了后解析成游戏内部的格式，在游戏中播放。libgdx学习起来很快，1个月就能上手了，3个月差不多比较熟练了。屏幕，场景，对象，各种层次组成一棵树形结构，然后就是点击事件的响应的消息路由。资源管理是比较操心的一块，大概无时无刻不在跟各种资源限制做斗争。使用的时候必须在那里了，而用不着的时候又要交换出去。所有会有各种loading过程，其实就是在切换资源。显存和包大小都是要控制的，我们要适配很低端的硬件，加载1024的素材大概最多7张的样子，超了就白屏，因为显存放不下了。老板的理论，包每增大1M就会减少多少用户量，小游戏必须限制包大小10M以内。再往后面走下去，就是接触OpenGL的东西了。像渲染流程，framebuffer，还有mesh，自己写shader什么的，接触到一点点。如果当时继续做这个方向，可能会深入一些。
不过还是觉得对后端更有兴趣一些，所以业余的都是看一些其它的资料。在Go语言1.0版本发布的时候，开始认真研究起这门语言。那个时候是研究这门语言本身，而不是工作中使用。主要是看源代码，学习Go的runtime的实现，还做了个开源项目把Go的这些内部实现相关的记录下来。核心的东西都是围绕着goroutine调度，内存管理，垃圾回收。其它的像channel实现，还有map，interface等等数据结构层面的东西。
这个阶段的代码量大概在单个项目3w行。最后统计自己项目的代码不算周边相关大概是3w多行。一年到头，平均每天其实写不到100行代码的。但是经过这个项目，真正的认识到了做工程跟做demo是不一样的，以前写的那些东西，都只能算是demo。目前我都还没有走这出个阶段，上次是一个人负责了整个游戏的开发工作，能写3w行代码的下一个项目还没出现。不过读代码倒是80w行代码的项目都有读过，并没有感觉到量变到质变般的差异。
离开游戏行业后做起了后端，这已经是第五个年头了。就拿游戏后端和web后端分开讲吧，其实还是有很大的区别的。游戏那边都是长连接，维护状态的，scalable困难得多。而web这边状态都在数据库层，上层无状态，所以更容易扩展。最终很多都是CURD的东西，但是并不表示问题没有了，而是从一个层面转移到另一个层面，压力都落到了数据库。游戏又有游戏别的特征，因为同时在线的人总是有限的，所以可以在登陆的时候把用户数据加载进来，下线时再写回去。对应于web，这是一个相当于缓存层命中率是100%的场景。web那边有太多开源的轮子，很多技术难点的地方，都有开源的轮子帮忙解决了，只需要自己根据场景组装。而游戏那边，则有更多需要定制自己的游戏框架机会，接触底层会更多，也更锻炼人。如果去看几个游戏源码，就会发现每个都有很不同的地方，因为游戏太灵活多变了。当然现在也开始有一些开源的构架，像skynet就写得蛮不错。
有一段时间去研究mmorpg，这应该是我比较喜欢的领域之一。其实很早的时候，大概刚读研那会儿，就有研究过曾经比较沉迷的一个游戏的源代码，只不过当时更多的放在封包和技能公式上面，原因大家懂的。还有，云风的博客绝对是非常好的学习资源，一遍一遍地读，每一次都会有新的收获。往上层架构讲，游戏会有分服分区设置。技术层面，登陆服务，网关，场景服务，数据库服务等等。往底层看，核心的都落到了场景服务中。多线程模型or多进程模型，io那边的封装，心跳的处理，有很多细节。看过一个比较渣的服务器代码，空着跑都占着七八十的CPU，为什么？我发现它完全没用epoll，而是将设置网络非阻塞，然后每次心跳对全部玩家连接做轮循！还有很多有意思有挑战的东西，像比较网络同步，aoi之类的。业务方面，寻路，战斗，AI，背包等等。总之，游戏后端是特别锻炼人的。
web这边，CURD会比较无聊，但是处理高流量大并发还是挺有意思的。写到现在的事情就不想再总结了。最后，放一张图吧，一图胜千言。
from http://www.zenlife.tk/5-years.md