这是写给内部同事的日志，也有部分概念有通用意义，就不加密了。

做技术开发的人知道，只要写代码就一定会出错，叫bug。
有的错误在上线之前没有检查出来，直到被用户使用了我们才知道。这种bug就是故障。
出现故障是再正常不过的事了，我认为处理过程，可以让故障成为宝贵的财富。

我设计的故障处理流程，分为三个阶段：反馈、处理、反思。
1 反馈阶段
说实话，大部分的故障是类似的。反馈阶段就是要把各种用户描述归一成为同一个技术问题。
这个阶段具体还要分成“用户反馈”，“已沟通”，“技术已确认”，三个状态。分别由“客服”和“技术经理”操作。
2 处理阶段
这个阶段就是写代码的阶段，把造成故障的bug修复。技术都懂得怎么做。
这个阶段具体还要分成“已分派”和“线上已修复”两个状态。这两个状态的执行者分别是“技术经理”和“测试经理”。
换句话说，一线的工程师编码的工作，是在“已分派”状态进行的。然后交给OP和QA。
3 反思阶段
这个阶段是最核心，同时是最欠缺的阶段。
这个阶段具体分成“已确认解决方案”和“已完成解决方案”两个状态。
所谓“解决方案”，一定是切中要害的解决，并且可以保证类似问题可以避免再次发生。
“解决方案”和“修复BUG”的区别在于有没有反思发生的根源。

整个流程的设计，核心目的是自我进化。只要持续犯错，再避免重复犯错，最终一定是伟大的团队。

结束了连续11天的假期，团队运转良好，没有发生技术故障，我很高兴。

作为一名工程师，我被遗忘了，很好！总出事别人才会记住你，总延期别人就会担心你，总更包别人就会关注你，可是我认为技术进步到一个阶段，就可以被别人忘记了。尽量早的做优化，尽量多的留余量，尽量高层次的设计接口，就可以做到。
作为一名管理者，我没有授权充分。对大家OA审批的不够及时，对新服务器资源的分配没有执行，对报警跟踪的推进没有坚持。回去第一天都要补上。

五月我想做一些改变，让工程师都和我一样解放出来，被别人遗忘。

Memcache协议在Web应用很广泛，为高效通信设计，简单而且美丽。
上个季度中间层组织开发了一套使用Memcached做后台的缓存系统，对服务器利用率和维护成本都有很大的改善。这个版本的review结束后，我打算开源以便可以得到更多的应用实践。
也就是在实现上面说到的系统的过程中，我发现各种版本的开源Memcache客户端，都有一些侧重。上周被java-memcached的客户端折腾了一周，虽然最后解决了，但是这类极限问题最近遇到的越来越多。我们现在需要一个侧重可靠性和性能的客户端，功能并不是这个阶段的核心问题。
这个季度的10%课外时间，我会尝试实现一个自己的客户端。

之前的问题篇和求解篇描述了人人网在发展过程中遇到的问题，并且介绍了我们采用中间层来提高性能的解决方案。今天的实践篇将通过一个例子来实现一个中间层服务。
这个服务要达到的目的是快速的查询用户是否有效，数据将要使用bitset保存在内存中，每个用户一位，仅保存正整数约21亿，占用内存256M。

开始编码

下面的代码都在这个位置保存：http://gitorious.org/renren/bitserver。

接口定义

定义接口如下：
[code lang=”c++”]#include
module renren {
     struct BitSegment {
         int begin;
         int end;
         Ice::ByteSeq data;
     };
    interface BitServer {
         bool get(int offset);
         Ice::BoolSeq gets(Ice::IntSeq offsets);
         BitSegment getSegment(int begin, int end);
     };
};[/code]
这个BitServer.ice文件，通过slice2cpp命令编译成为服务端的Skeleton文件：
[code lang=”bash”]slice2cpp -I/opt/Ice-3.3/slice BitServer.ice[/code]

服务端

有了上面生成的服务端文件后，就可以实现我们自己的业务功能了。
BitServerI.h和BitServerI.cpp，暂时只是实现了单个get的接口。
[code lang=”c++”]#ifndef __BitServerI_h__
#define __BitServerI_h__

#include

#define SIZE_OF_BIT 2147483647
#include

namespace renren
{

class BitServerI : virtual public BitServer
{
public:
void initialize();

virtual bool get(::Ice::Int,
const Ice::Current&);

virtual ::Ice::BoolSeq gets(const ::Ice::IntSeq&,
const Ice::Current&);

virtual ::renren::BitSegment getSegment(::Ice::Int,
::Ice::Int,
const Ice::Current&);
private:
std::bitset bits_;
};

}

#endif[/code]
[code lang=”c++”]
#include
#include

int main(int argc, char** argv) {
int status = 0;
Ice::CommunicatorPtr ic;
try{
ic = Ice::initialize(argc, argv);
Ice::ObjectAdapterPtr adapter = ic->createObjectAdapter(“BitServer”);
renren::BitServerI* obj = new renren::BitServerI;
obj->initialize();
adapter->add(obj, ic->stringToIdentity(“BitServer”));
adapter->activate();
ic->waitForShutdown();
} catch (const Ice::Exception& e) {
std::cerr << e << std::endl; status = 1; } catch (const std::exception& e) { std::cerr << e.what() << std::endl; status = 1; } catch (...) { std::cerr << "unknown exception" << std::endl; status = 1; } if (ic) { try { ic->destroy();
} catch (const Ice::Exception& e) {
std::cerr << e << std::endl; status = 1; } catch (const std::exception& e) { std::cerr << e.what() << std::endl; status = 1; } catch (...) { std::cerr << "unknown exception" << std::endl; status = 1; } } return status; } void renren::BitServerI::initialize() { for (int i=0; i<0xFFFFF;i=i+2) { bits_[i]=true; } } bool renren::BitServerI::get(::Ice::Int offset, const Ice::Current& current) { if(offset < 0) return false; return bits_[offset]; } ::Ice::BoolSeq renren::BitServerI::gets(const ::Ice::IntSeq& offsets, const Ice::Current& current) { return ::Ice::BoolSeq(); } ::renren::BitSegment renren::BitServerI::getSegment(::Ice::Int begin, ::Ice::Int end, const Ice::Current& current) { return ::renren::BitSegment(); }[/code]

客户端

我们使用Java作为客户端，首先用slice2java工具生成Java的Proxy类。
[code lang=”bash”]slice2java -I/opt/Ice-3.3/slice BitServer.ice[/code]
然后自己实现客户端代码：
[code lang=”java”]package renren;

class BitServerAdapter {
private final String endpoints_;
private Ice.Communicator ic_;
private renren.BitServerPrx prx_;

public BitServerAdapter(String endpoints) {
this.endpoints_ = endpoints;
}

public void initialize() {
ic_ = Ice.Util.initialize();
prx_ = renren.BitServerPrxHelper.uncheckedCast(ic_.stringToProxy(endpoints_));
}

public boolean get(int id) {
return prx_.get(id);
}

public static void main(String[] args) {
BitServerAdapter adapter = new BitServerAdapter(args[0]);
adapter.initialize();
boolean ret = adapter.get(Integer.valueOf(args[1]));
System.out.println(ret);
System.exit(0);
}
}[/code]

性能测试

完成了代码，来测试一下性能吧。
首先启动服务器
[code lang=”bash”]target/bitserver –Ice.Config=config[/code]
再启动客户端
[code lang=”bash”]java -cp /opt/Ice-3.3/lib/Ice.jar:target/bitclient.jar \
renren.BitServerAdapter “BitServer:default -p 10000” 1022[/code]
在客户端调用增加循环50000次，单线程平均每秒处理一万次。

在多线程的环境下，单个服务器每秒可处理的请求8万次左右，已经超过了目前的需要。