 |
 |
| "这几年,我都做了些啥?" |
"我在SOHU这几年做的一些门户级别的程序系统(C/C++开发)"
bserv:
用于高负载,高读写速度的单点和集合数据。
内核为BerkeleyDB,外壳为UDP线程池。
接口为读写单点数据或者集合数据。单点数据就是Key->Value数据。
集合数据就是有索引的数据,List->Keys->Values。 比如一个班级所有成员,一个主贴所有回帖等等。
DBDS性能很高,每秒读取>800个每秒,写>300个每秒(志强xeon:2G*2,72Gscsi,Ram:2G)
配合java接口,目前应用在ChinaRen所有项目中(ChinaRen校内,校友录,社区等等)。是整个ChinaRen的核心数据服务,大概配备了50台服务器。
特点:高速,高请求量。用于各种数据的低成本存储,解决数据库无法实现超高速读写的问题。门户级别的高速数据服务。
OnlineServer:
ChinaRen/SOHU小纸条系统核心
核心为3个小server系统:online2(在线系统业务逻辑),userv(用户资料系统),cserv(LRU缓存)
这三个子系统都是UDP+线程池结构,单进程+多线程。配备java接口,apache_mod的json和xml接口。
online2包括了大部分业务逻辑,包括,上线,好友系统,纸条系统。
userv包括设置用户各种属性,信息。
cserv是个大的lru缓存,用于减小磁盘IO。可以放各种信息块,包括用户信息,好友,留言等。
目前配备4台服务器(DL380,xeon:3G*2,SCSI:146G raid,Ram:2G),用户分布到4台服务器上,相互交互。服务器可以由1台到2台,到4台,到8台。
底层存储为文件存储(无数据库),用reiserfs。
配套系统:
mod_online,两个版本,apache和lighttpd版本,用于页面上显示蜡烛人。请求量巨大,目前用lighttpd版本的mod_online。
放在sohu的squid前端机器上,运行在8080,大概8台,每台请求量大概500-800个每秒。蜡烛人在所有ChinaRen页面有ID的地方
显示用户是否在线。
目前这套在线系统,作为SOHUIM的内核原型。准备开发WEBIM系统,用户所有SOHU矩阵用户的联络。
apache_mod系列:
基于apache2的服务有很多,用于高请求量,快速显示的地方。
1.mod_gen_verifyimg2:
用于显示验证码,使用GD2,freetype。直接在apache端返回gif流,显示随机的字体,角度,颜色等等。用于ChinaRen各个需要验证码的页面,请求量很大。
2.mod_ip2loc
用于apache端的IP->物理地址转换,高速,高效。
读取数据文件到内部数据树,高速检索,获得客户端ip的物理地址。用于需要IP自动定位的产品,还有就是数据统计等。比如ChinaRen校内,
每个客户端请求都能获得物理地址,用于应用的逻辑处理。
3.mod_pvserver2
ChinaRen社区帖子点击的记录和显示。
根据URL,得到帖子ID,通过UDP数据包,统计到bserv系统。并且把结果通过Cookie返回到客户端。html直接用javascript显示点击数在帖子上。
解决了点击数量高效记录,高效读取和非动态页面程序显示的问题。
4.mod_online
用于ChinaRen页面上的蜡烛人显示。和onlineserver通讯,得到用户在线状态和其他状态信息。请求量很大,每台前端大概500-800个请求。
5.其他mod
还有一些认证的,访问统计的,特种url过虑跳转的,页面key生成的,还有若干。
特点:高速,密集超高请求量。前端分担应用服务器压力,高效。
cserv:
高速LRU缓存系统。
内核是UDP+线程池+LRU结构(hash+PQueue)。
用于存放各种数据块,Key->Value结构。通过LRU方式提供给应用,可减小文件IO,磁盘IO等慢速操作。目前用于ChinaRen在线系统的用户资料缓存。
特点:高速读写,低成本。
ddap:
UDP+线程池,单进程,多线程的服务端程序原型,大部分程序由这个结构开始。
性能为8000-10000个请求每秒。
eserv:
访问统计系统
用于用户访问的次数和最后上线时间的存储和读写。
用于ChinaRen校友录每个班级的访问记录。存储为文件存储,并有同时写入后备的bserv,用于备份和检索。
目前性能,每台机器每秒50个记录,100个读每秒。能满足校友录巨大的用户登录记录的需要。
特点:无数据库,纯文件存储,高速读写。低成本
logserver:
用于各种事件的日志记录
核心为ddap,UDP+线程池
功能是分模块记录各种日志。ChinaRen所有用户服务,系统日志,都记录在logserver中。用于统计,查询。
写入性能很好,每秒100个单台机器。
特点:高速高效,低成本,海量。
SessionServ:
session系统
核心为ddap,UDP+线程池
用于在内存中存储临时数据。有get/put/del/inc等操作。广泛的用于固定时间窗口的小数据存储。比如过期,数据有效性检测,应用
同步等等。由于是全内存操作,所以速度很快,存取速度应该>1000个每秒。
目前广泛用与ChinaRen社区,校内,校友录等业务当中。
特点:高速高效,低成本,应用广泛。
其他server:
MO_dispatcher:
用于短信上行接口的的数据转发,使用TCP。能高速大流量根据业务号码分发到各个应用服务中。目前用于SOHU短信到ChinaRen各短信服务的转发。
sync:
用于静态前端同步,分客户端和服务端程序。客户端通过TCP链接和服务端获取需要同步的文件列表,并且通过TCP高速更新本地文件。
此同步程序用于多客户端,单服务端。比如一台服务器生成静态文件,同步这些文件到若干客户前端去。
特点:门户级静态内容服务器间同步,高效,高速,大流量。目前用于ChinaRen社区的静态帖子。
总结一下:
门户的核心服务,要求是高效率,高密度存取,海量数据,最好还是低成本。不要用数据库,不要用java,不要用mswin。用C,用内存,用文件,用linux就对了。
|
邹丹
2007年 |
|
| |
|
^_^********************************************************^_^
| "ChinaRen校友录/ChinaRen社区"招聘启事 |
"ChinaRen校友录/ChinaRen社区"是国内最大的校友录社区,拥有六千多万用户和每日几千万的页面访问量以及海量的数据资源,也是搜狐公司的核心产品.加入校友录小组将会为您提供一个难得的施展才能的舞台,并为你提供优厚的待遇. (工作地点:北京市海淀区)
技术工程师具体技能要求:
1.计算机专业本科以上学历,计算机理论基础扎实,有大量实际编程经验.
2.能熟练开发java应用程序和JSP页面程序,熟悉HTML.
3.熟悉网络/网站技术和各种常用网络协议.
4.熟悉Linux的操作和维护.
5.熟悉ORACLE基本知识,熟悉SQL操作.
6.熟悉Linux下GNU C语言开发者优先.
产品/商务专员具体技能要求:
1.有良好互联网产品感觉,热爱互联网事业.
2.有良好的人际关系,拥有良好的交流沟通和组织能力.
3.拥有良好的数据分析和产品设计能力.
4.有良好的文字能力,能独立完成文档/文案/方案/策划等.
5.有门户网站工作经验者优先..
请将简历发往alumnimaster@vip.sohu.com,并在邮件标题注明应聘校友录.
|
ChinaRen团队
2006年 |
|
| |
|
|
| ^_^********************************************************^_^
|
|
|
| q
2005.04.04 |
拍摄的木星:
|
|
|
|
| ^_^********************************************************^_^
|
|
|
| ^_^********************************************************^_^
|
|
|
| ^_^********************************************************^_^
|
|
|
| ^_^********************************************************^_^
|
|
|
| ^_^********************************************************^_^
|
|
|
| q
2003.02.07 |
嗨,大家好,很久不见了.春节回家修整,去了重庆南川金佛山度假. 看照片
|
|
|
|
| ^_^********************************************************^_^
|
|
|
| q
2002.10.09 |
国庆长假期间去了四川四姑娘山,并且登顶二峰成功,看看照片吧 景物
人物
|
|
|
|
| ^_^********************************************************^_^
|
|
|
| ^_^********************************************************^_^
|
|
|
| ^_^********************************************************^_^
|
|
|
| ^_^********************************************************^_^
|
|
|
| ^_^呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜^_^
|
|
|
| ^_^********************************************************^_^
|
|
|
| q
2002.06.21 |
由于不可抗拒的原因,暂停libqq 0.0.3版本的下载,非常抱歉,再次感谢大家的支持。。。。
QQ Plugin for Gaim 协议插件0.0.3版本,支持Socks5代理、完全本地化设计、完善好友信息界面、支持短信功能。
(注意:新近推出,可能会有BUG,请随时刷新好友窗口中的About标签得到最近更新消息)
有用户反应编译gaim patched版或者打Patch之后编译无法找到utf-8.h,原因是我的系统这个库已经装好了,就察觉不出来.解决方法如下.
tar -xzvf gaim-0.58_qq_patched.tgz
cd gaim-0.58
cd libutf-8-1.0/
#make libutf-8 first
make;make install
cp utf-8.h /usr/include
#make gaim
make;make install
QQ Plugin 0.0.3 for gaim-0.58
|
|
|
|
| ^_^********************************************************^_^
|
|
|
| ^_^********************************************************^_^
|
|
|
| q
2002.05.31 |
五一期间去了四川黑水县三奥雪山,之后在成都饱偿四川美食,相关照片和介绍将在不久后推出。
libqq 0.0.3版本也会在近期推出,支持Socks5代理,全面改善窗口布局设计和本地化支持,敬请留意!
|
|
|
|
| ^_^********************************************************^_^
|
|
|
| ^_^********************************************************^_^
|
|
|
| ^_^********************************************************^_^
|
|
|
| q
2002.03.15(消费者权益日) |
周末修好手机,特发问庆祝,《摩记L2000无显示自修攻略》(998/8088雷同,修坏了不要找我,呜呜^_^*..)
“以前是偶尔有乱码,倒显示,黑屏,断字,现在是彻底不显示了。
手机没有进水经历,偶有撞击,估计电路应该没有问题。
自己拆开手机,拆下屏幕,结构和儿童电子表差不多。清洗电路板和导电橡胶,
和屏幕玻璃片上的渡膜引脚。装上后情况依旧。逐怀疑屏幕中渡膜电路有断路。
在高人指点下,前往人大东门(当代对门)往北200米处的通讯配件市场够得
L2000液晶屏幕套间以及导电橡胶,共计50RMB
出门装上后一切搞定。
BTW:去摩托罗拉专修店去换屏幕是300RMB,手机装配结构简单,集成分离度
高,电路损坏得可能性底(同微机主板)。自行维修难度不大。配件市场
各种手机的配件丰富,价格低廉。完全可以DIY。”
|
|
|
|
| ^_^********************************************************^_^
|
|
|
| ^_^********************************************************^_^
|
|
|
| ^_^********************************************************^_^
|
|
|
| ^_^********************************************************^_^
|
|
|
| q
2002.1.18 |
|
大家知道我这段时间在忙什么了吧,linux下的好东东,Xwin系统下跑,截图是用Xwin32(在Win32平台下跑linux Xwin的东东)在XP下跑的。
截图一
截图二
|
|
|
|
| ^_^********************************************************^_^
|
|
|
| q
2002.1.17 |
|
很奇怪我会听这两首歌超过三个半月,今天突发奇想上传给大家一起听!周杰伦,目前我的最佳推荐(我从来都是听歌不看人,看人不关心八卦的,很难得,呵呵)
周杰伦-爱在西元前
周杰伦-简单爱
|
|
|
|
|
| ^_^********************************************************^_^
|
|
|
| q
2001.12.31 |
岁末去了海南,饱览美景无数。感叹人生不易,生命苦短,要开开心心作人,知足常乐才是。愿美丽而宽广的大海,包容我混浊和困顿的心。我将续芳待来年。。。
|
海南跟团双飞五日游照片一部分:
景物: http://zd.linux.com.cn/staff/hainan/j1.jpg到j17.jpg
个人: http://zd.linux.com.cn/staff/hainan/z1.jpg到z10.jpg
|
|
|
|
| ^_^********************************************************^_^
|
|
|
| ^_^********************************************************^_^
|
|
|
| ^_^ Happy BirthDay ^_^
|
|
|
| **************************************************************
|
|
|
| **************************************************************
|
|
|
| **************************************************************
|
|
|
| q
2001.10.29 |
请来之深圳IP:61.141.68.67的"路过的人"和"haha","jacky"不要在留言板上争论。
你们是否是一个人没人知道,但是你们自己良心最清楚。该干嘛干嘛去,觉得这里没劲、水平低就别来搅和,不就是看不惯这里嘛,这里不欢迎你们这些顾问!
谢谢你们的合作,好有好报,恶有恶报,上天自有公道。希望你们该干嘛干嘛,算为网友作贡献了。
|
|
|
|
| **************************************************************
|
|
|
| **************************************************************
|
|
|
| q
2001.10.17 |
最近出现不少QQ黑客工具(查隐身和密码穷举测试的),我也下载了几个来试用,并且分析了其实现原理。
它们都是利用了腾讯网站上的一些Web产品(CGI程序)的设计缺陷进行工作的,查隐身的软件是访问的有关移动QQ的链接"wap.tencent.com/cgi-bin/wap_handle?Pmode=3&Poicq_no=...."
远程密码穷举利用的是链接"bbs.tencent.com/cgi-bin/club_first&u=...."的CGI程序等等。腾讯很容易封闭或者改造一些这些CGI程序,这也是为什么这些软件一发布,基本就不能用了的原因。它们实际原理就是抓链接,所以速度很慢,穷举效率不高。
告诉大家如何获知这些软件的原理:其实很简单,用个听包的软件,检测这些软件发出去的包就知道了。
这些软件走的都是http,也就是web访问。如果某天你发现不是走80端口,而是8000,那这个软件就是真正有技术含量并且有一定威胁的了(QQ客户端都是和服务器的8000端口联系,其他的我不说了,呵呵)
|
|
|
|
| **************************************************************
|
|
|
| q
2001.10.09 |
由于工作很忙,所以很久没有更新主页了。我9月26到10月8号在重庆休假,事情很多,也没有机会回复大家的留言和信件,在这里给大家道歉了。
国庆期间去四川红原旅游了几天,照了很多相片。我想在结束这一阶段工作之后把他们放在网站上面,向大家仔细介绍川西大草原的迷人景色和人文景观,请大家留意。
|
|
|
|
|
**************************************************************
|
|
|
|
|