互联网好文搜藏

未处理的好友请求，请处理

2011-04-29T07:32:00.001+08:00

你好！

他们在人人网被推荐给你了：

叶正加为好友

人人网，最大的实名社区
免费注册

人人网怎样改变你的生活：: 全新沟通方式
找人？交友？只有实名制的这里，才能轻松搞定。; 丰富娱乐互动
视频音乐，游戏应用，玩在一起，心在一起。; 海量实时资讯
在1.8亿人实时更新的信息量前，神马报纸、联播都是浮云。

感谢阅读本邮件

Doug Bowman离职激起千层浪啊

2009-03-23T23:32:00.001+08:00

翻译到底考不靠谱？
#tag: google, English, translation
看看这篇文章，翻译得好像是很有趣，没有直译的那种僵硬，但感觉文章多少有点变成翻译者的了，掺杂了太多翻译者的喜好和理解，自然原文里的那种原味就淡了些。譬如"被称之为设计师的倒霉孩子"，原文是 none of them，这个"倒霉"感觉也许原作者想读者去体会，但翻译者体会到了就翻译出来，模糊的东西被翻译得清晰化； "daring designs"被译为"有价值的设计"更是如此，甚至歪曲，也许原作者还客观；"high-up, respected leadership positions"被翻译成"有实权的领导位置"，感觉具体变抽象。当然这些只是我的个人感觉，并非批评译者翻译得不好，其实还是挺有趣。只是想讨论下阅读翻译的文章到底考不靠谱，我感觉始终有Gap，甚至误解。

Sent to you by jeffye via Google Reader:

Doug Bowman离职激起千层浪啊

via Devil's Haircut by rg on 3/21/09

不知道有人关注这件事儿否，但是Doug Bowman上周辞去Google的Visual Design Lead，并在离职之后在自己Blog上面大发牢骚，引爆了各方面都开始唧唧歪歪。这篇题为《Goodbye Google》中间提到

< 以下翻译中加入某些词旨在帮助原文加强语气，方便阅读>

"When I joined Google as its first visual designer, the company was already seven years old. Seven years is a long time to run a company without a classically trained designer. Google had plenty of designers on staff then, but most of them had backgrounds in CS or HCI. And none of them were in high-up, respected leadership positions." （略译：遥想当年，老夫以视觉设计师身份加盟Google的时候，这家公司已经7岁了，都7岁了，老天爷，不敢相信这家公司竟然没有一个受过专业训练的设计师！Google倒是有不少挂设计师名牌的人，但是都是半路出家的学计算机或者人机交互背景的人，更搞笑的是，这些被称之为设计师的倒霉孩子中没有一个人是在有实权的领导位置！）

"When a company is filled with engineers, it turns to engineering to solve problems. Reduce each decision to a simple logic problem. Remove all subjectivity and just look at the data. Data in your favor? Ok, launch it. Data shows negative effects? Back to the drawing board. And that data eventually becomes a crutch for every decision, paralyzing the company and preventing it from making any daring design decisions." （略译：Google实际上完全是被工程师们占领了，最后导致只会用工程师的观点解决问题——把所有需要设计的复杂问题简化成一个逻辑问题——简化所有主观判断，只交给数据去说话。数据能说话就见活鬼了！数据能说明真正的问题么？但是这个思维却成了公司里一切决定的主宰，束缚起一切，所以完全没有办法做出有价值的设计！）

"Yes, it's true that a team at Google couldn't decide between two blues, so they're testing 41 shades between each blue to see which one performs better. I had a recent debate over whether a border should be 3, 4 or 5 pixels wide, and was asked to prove my case. I can't operate in an environment like that. I've grown tired of debating such minuscule design decisions. There are more exciting design problems in this world to tackle." （略译：是的，纽约时报报道的那件事是真的，Google的team确有一次竟然没办法决定用两种蓝色中的哪个，所以他们做出来41种阴影效果然后看哪个蓝色更顺眼。还有一次，我们竟然争辩边框是用3，4，还是5像素，那伙计竟然让我证明我的选择是最佳，靠。我没办法在这样一个环境中呼吸，我完全厌倦了这种毫无意义的争论。这世界上还有更有价值的事儿等我干。）

知名Blogger John Gruber在自己Blog上转帖Buzz Andersen对比Apple和Google团队组成及创新氛围的文章，并且总结说Google比起Apple更像是一个工程师团队点缀几个设计师（Apple相反）。CNET上有评论批评Doug不应该以设计师（如果不是艺术家）的思维去谴责Google以数据为中心的设计思想（Data-centrism)（link），毕竟在设计师眼中美观的图片只大了0.01KB，对于Google这种千万用户千万G流量的互联网公司也是极大的变化（这点似乎与之前对Craigslist界面好坏的争论差不多），并且还说Google这种把设计由用户拿鼠标决定本来就是设计的进步——个人观点，我同意前半句，Google本来就是数据中心的公司，并且设计师需要考虑你认为的"美观"成本到底是多少（如果Script Coder们也关心的话），但是我不同意把所谓把设计交给投票过程是refreshing或者进步，投票过程（或者一切以访问量，点击率，etc）就如Doug说的，并不能暴露真正问题并且选出真正合适的，不仅是因为用户不一定明确自己喜欢什么，更重要的是，问题就是我们能不能把一个涉及审美，效率，评估及其他含有非逻辑因素的决策这样简单交给投票过程（GW Bush是怎么被选出来的？）把设计过程转化成投票或者讨论的"民主"过程，最大的好处（在我看来）就是扩大接触面增大收集信息量，核心价值能帮助定义问题，让设计过程兼顾更多方面，如果搞的好了，大致能给出一个思路——比如什么是比较收到用户关注的，但是如果涉及How to，简单交给投票尤其是用户投票过程无异自杀，Google PR算法再先进也没办法拼过一个使用Google的真人，毕竟工具只是工具，数据只是数据。

我没有试图为同行辩护，因为就像在无数公司发生过的那样，对于Google而言Doug Bowman的离去可能只是少了一个自视清高不愿与人合作的UI设计师而已；同样，对Doug而言，扔掉Google Visual Design Lead的头衔，才能往自己世界更进一步，让你知道即使有亿万用户云集全世界最顶尖的工程师的工作环境，真正能改变的世界的人只是你自己——就像Apple说的那样。

Things you can do from here:

Subscribe to Devil's Haircut using Google Reader
Get started using Google Reader to easily keep up with all your favorite sites

经常要用到的英文短语

2008-03-11T11:33:00.001+08:00

经常要用到的英文短语 | 河蟹娱乐

经常要用到的英文短语

March 6th, 2008 at 10:46pm 胡戈戈 80 Views

光明正大copy自非河蟹的火星网友大猫
whats your asl? 你的，年龄，性别，地点？ (聊天用的)
how are you doing (or: how you doiin) 你好。
whats up 什么事？或是：你好
lol 大笑 = laugh out loud
so long 一般不用它。。。意思是：再见
what are you into?(what you into) 你对什么感兴趣？
Im into you. 我喜欢你
suck 恶心
f**k off 滚
idiot 傻蛋
hip hop , rock, rap,pop, 说唱，摇滚，说唱，流行歌
bah bye 再见
hot ,sexy ，goat 色鬼
what are you up to(what you up to) 最近怎么样
shut up . shut the hell up , shut the f**k up. 闭嘴
cuss , abuse 骂人
cut the crap 别废话
beat the shit out of you 把你的屎打出来
bullshit. 胡说
sit back 别管闲事儿
feel shit about oneself 感觉不爽
be good 听话
sorry ass 可怜的人，，，贬义词
shitty day 倒霉的一天。
oh yeah? 表示怀疑。。。。是么？
pic 照片
give it a shot. give it a go. 试一是
try me. 你试试。（A: I'll kill you B: try me) A：我杀了你。B：你试试.
do her. 上她。
be quiet 安静
what the f**k ,what the hell , what the hack, (wtf ) 真他XX的!
cute 可爱(美国人不长说"帅(handsome)" 用CUTE代替）可以说 a handsome car.
what do you look like (what you look like)你长什么样
how tall are you(how tall are ya)你多高
so what 那又怎样？？那又如何？？
retard 听起来象烟鬼的人
d*amnit 他XX的
god d*amnit 他XX的
d*amn 妈的，倒霉！
suck 恶心（动词） you suck! 你恶心！
kick ass 不好惹的。
kick your ass 揍你。踢你的屁股。
a tough man 难对付的人
funny shit 有趣的东西
funny 有趣的
a piece of shit 一抛屎，
whole bunch of 一大群。一大堆
a bunch of 一群一堆
kiss my ass 表示看不起你
be pissed off 被惹恼 I've been pissed.(I've been pissed off) 我被若恼了。
piss off 滚！
dont know what you are talking about 不知道你在说什么
dont know what you were saying. 不知道你说了点什么
dont get it 不明白
get it? 明白了吗？
got it! 明白了！
dont bother 别去麻烦！
you know what Im saying? 明白我说的吗？
mad dog 疯狗。一般指人
are you mad? 你生气拉？
im mad 我生气拉！
im pretty mad at you 你真让我生气！
mad at= angry with
pain in the ass 着急
pain in the ass about sth STH让我很急
Im scared 我怕拉
you are scared 你怕拉
back off 让开！
right on = right 对！
exactly 非常对！正是！
gotcha! = got you 抓住你拉！难住你拉！
I read your mind 我就知道你要说什么
I knew it 我料到拉！我就知道！
gotta go 我得走拉！
you know what? 你知道吗？(you know what? he killed her!) 你知道吗？他杀了她！
guess what 猜怎么了？
tell you what 。。。我给你说啊。。。。
its not working! 不管用呀！
that works 那样可以
I rule! 有点象im cool 我牛！你牛是（you are cool)
kind of (kinda) sort of (sorta) 有点儿！
get me wrong 你冤枉了我！
who knows , god knows 谁知道呢！
did I make myself clear? 我是否使你明白拉？
did I make myself crystal clear? 比上边的口气重
get on it! 去做。。。把
Im just playing!=just kidding 开玩笑的
no offence(no offense) 别生气，（用于事先紧告）
juses 天呀！
geeze 天呀！
gosh = god 上帝呀！我的天呀！！！
I dont give a shit! 我不在乎
i dont give a f**k! 我不在乎
smart 聪明。不用clever
got disconnected 掉线拉！
got kicked 被踢拉！
got power outage 停电拉！
awesome 另人竟为的
take drug = do drug 吸毒
do weed = smoke 吸烟。
get high 过瘾的感觉
f**k that! = f**k that shit 去他的吧！
jack off 手淫
do you do weed? = do you smoke 吸烟吗？
dont be so sure about yourself 别太自信！
dont be so sure about that 别太肯定
homo 同性恋的
mind your own business 别管闲事
none of your business 没你的事；别管闲事
thats a little stronge 有点重了。（a: f**k you bitch! b:thats a little stronge I think) a:我XXXX婊子！b:骂的有点重了吧）
hell yeah! 可不是！太对拉！
I do whatever I like 我干我想干的
zip it 闭嘴
you wanna fight? 想吵架？
you wanna row about that? 想吵架？
you are so mean 你太没意思拉
dont be mean about that 别太没意思了啊
go ahead 可以
cell phone 手机
gal = girl
guy = boy
pee 尿尿
toilet 马桶
laptop 笔记本电脑
oops 哎幼
whats your connection 问你是用56K上网还是用宽带
hows your day 今天怎么样？
whore 妓女
hookshop 妓院
fine 好。有时表示不满。你可以！
cause ,because, cuz 因为
Im done 我完拉！或。作某事做完拉
I made it.I did it 我成功拉
dont fool me 别耍我
dont lie to me 别给我说谎
crap up 废话（im craping up)我在废话
my treat 我请客
I cant believe it 不感相信
hold on 等会儿
brb , be right back 马上回来
Im crazy about her 她使我疯狂。表示你喜欢她。
she makes me sick 她使我恶心
native american 纯美国人
what about it 。。。。怎么样？(a:I've got a new CD.b:what about it?)A：我又弄拉一盘CD 。B：那CD怎么样？
huh 有点象（是吧） so you 've got a new CD huh? 你买了一盘CD 是吧！
huh??? 什么？（单独用的）
kiddie 小孩儿
doggie style 象狗一样的方式。
son 小孩儿
sonny 小孩儿
loser 笨蛋
incompetent loser 无能的笨蛋
okie dokie , oky doky = ok
punk 废物
that isnt funny 不可笑，不怪
dont get funny with me 别无理
where are you located? 你在哪？
where is china situated? 中国在那？
stupid 笨蛋
a stream of cuss 一顿骂
dont get smart with me 别耍花样
dont f**k with me 别他吗的捣乱
suck up to somebody 拍马屁
darn d*amn 的婉转行试
what does that mean? 什么意思？
whats your problem? 你怎么了你？（用于指责）
come on 快，来嘛~~，别那样了，
come on man 来呗！
lmaf , laugh my ass off 非常可笑
ridiculous 可笑的（贬义词）
go to bed! 滚开！
dumbass 笨蛋
stick my foot right up your ass 踢你的屁股，揍你。
why did you put on this nickname? (why you put on this namenick?) 为什么用这个名字呢？（不是指你的真名，是聊天时的 user name)
jackass 蠢货
hold the(your) breath 等等（是让你先闭嘴的意思）
pants 裤子
mall 超市 = supermarket
an awesome big promise 很大的诺言
thats your problem 那时你的事，是你自己的问题
how in the world can he do it to me 他怎么能这样对我呢！
so so 一般
Im too little = Im too young 我太小拉
f**k up …被搞杂拉,不管用拉，…不好看(my computer is f**ked up) 我的电脑坏拉，不运行拉。you've got a f**ked up ass.你的屁股不好看。f**k you up 让你吃不消
get a flat tyre 车轮跑气
bite me 狠我把。（用得意的语气）
weird 怪的
just chilling(just chillin') 休息（用于回答或解释）
pimp 恶棍。
the other day 前几天
can you handle this? 你行吗？
get into such a mess 这么不幸（指遇到了困难的事）
such a dick 混蛋
show 节目
are you going to the movies? 你打算去看电影吗？
album 专集
evil 特别坏的。evil man 坏人
you dont have to say nothing 不需要说什么
you aint nothing 你什么也不是
aint = arent
he runs a candy store 他开了一个糖果店
candy 糖。。。不要用sweet
badass 坏蛋
you are sweet 你真好
you are such a sweetie 你真是个甜心儿
do me a favour 帮帮忙
I've got a favour for you to do 要你帮个忙
boot you off 把你踢出聊天室
chatroom 聊天室，不是chatting room啊
booter 踢人者
Im a badass 我是个坏人
get beat up 挨了一顿打，被打了
hang out 出外玩儿
hang out with 与…出去玩
its up to you 看你了
it depends 那要看看了。
son of a bitch 婊子养的
I have no clue,I dont know,I have no Idea 不知道
注意回答别人的 thanks 时用No Problem.或welcome, you are welcome. （你替我揍了x一顿，然后我说thanks,你答No problem.）（我借了你钱，你说thanks,我说welcome.) 出了力后回答谢谢用no problem.
do I know you? = do I have the pleasure of knowing you? 我认识你吗？
you have a nice attitude huh 你架子摆的不错呀
watch your language! 注意你的语言！
watch it! 注意！
look! = hey 嘿！
that makes me feel sleepy 那东西让我想睡觉。
black folks =nigger 黑人 ,用black people 也行
white folks 白人 , 用white people 也行
黄种人不能说 yellow folks 说 chinese就可以拉
gotta go do something 要去干某事拉
that is my fine girl 那是我漂亮的女友
she is fine. 她很好看
cant take it 招架不住，受不了
freak =weird 怪的。
freaky boy 怪男孩
pop up 突然弹出的东西，网夜等自动弹出的动作,或指弹出的网叶
hook up hook up the mic 插上麦克风 hook up some tickets for somebody 给….免费准备一些票.
computer freak 非常喜欢电脑得人，精通电脑得人
dumbass = stupid
sorry ass 可怜人
shoot 说吧
she's real cute 她真的很可爱，，与really cute 不一样
dont be like a kid 别向小孩一样
grow up 别向小孩一样
PM 下午从中午12到晚上12
AM 上午从午夜12点到中午12
be off 走开
be quick 快！
hurry 快！
hurry up 快！

气量狭小是缺点么？

2008-02-25T14:21:00.001+08:00

Jeff 通过 Google 阅读器发送给您的内容：

气量狭小是缺点么？

于 08-2-11 通过左右脑——瓦教授的博客作者：瓦尔特7799

提起气量狭小，大家可能都会想到三国演义里面的周瑜。周都督见不得孔明比自己强，屡屡设下绊子，甚至必欲除之而后快。在三国演义里面，周都督的气量狭小，是作为一个缺点来写的。我们今天就来探讨一下，气量狭小究竟是不是缺点？

我们这个社会，还没有达到资源极大富裕，还有很多资源要靠竞争取得。要竞争总要有规则，在规则许可的范围内，谁都想自己的资源最大化。那些纯粹凭竞争实力没有把握一定拿到自己所需资源的人，一定会想尽办法防止竞争对手染指自己想要取得的资源。这是天经地义的。小说中的诸葛亮之所以显得不那么气量狭小，那是因为他有足够的本事拿到想要的资源。设想一下，本事不如诸葛亮的周瑜要是也和诸葛亮一样充大个儿的，处处给诸葛亮以方便，那还争个什么劲儿，死的肯定会很惨，还不如整个把东吴送给诸葛亮算了。

所以，世界上没有平白无故的大方、大气和大度。有些人之所以看起来大方、大气和大度，如果他们不是傻子，那一定是因为他们有别人无法轻易与之匹敌的本事，或曰竞争力。这竞争力并不一定是针尖对麦芒那么死掐，有的时候是一种宏观和大局意识，在令对手不知不觉的亲切友好气氛中，你就取得了领先的势；在对手忙于收获你所放弃的蝇头小利的时候，你已经转身控制了更重要的资源和更有价值的实地。所以，大方、大气和大度，只是强者才有资格使用的奢侈品。假如你不够那么强，还是老老实实地"气量狭小"来得更为实在。相对于不同的竞争力水平，当事人应该选择不同的利益取向和竞争策略。"气量狭小"

可从此处完成的操作：

使用 Google 阅读器订阅左右脑——瓦教授的博客
开始使用 Google 阅读器，轻松地与您喜爱的所有网站保持同步更新

实用美国虚拟主机提供商介绍一览

2008-02-25T14:13:00.001+08:00

Jeff 通过 Google 阅读器发送给您的内容：

实用美国虚拟主机提供商介绍一览

于 08-2-22 通过全文检索博客作者：Minidxer

前面介绍了比较多的很实惠的美国虚拟主机提供商以及各相关的优惠码等系列文章，这里做一个列表，方便阅读。

GoDaddy域名注册、空间购买的优惠码(coupon)

欧洲最大的互联网服务商1AND1(1&1)的介绍

超级便宜的国外虚拟主机ucvhost–1美元/月

HostGator的简单介绍以及部分优惠码（Hostgator Coupon Code）

Lunarpages的一点介绍以及购买其虚拟主机的优惠码(coupon code)

超级便宜的美国虚拟主机商Techhosting的介绍以及优惠码(coupon code)

美国主机服务商vistapages的介绍以及优惠码(coupon code)

webhostingbuzz虚拟主机商的介绍以及优惠码(Coupon Code)

美国虚拟主机商ixwebhosting相关介绍(该公司不提供优惠码Coupon Code)

美国虚拟主机提供商DreamHost的介绍以及相关优惠码(Coupon Code)

美国老牌虚拟主机提供商iPowerweb的一点介绍

便宜好用的博客专用主机–蓝色印痕计划(Blue Print Plan)介绍

jamroll.net提供350MB空间/5GB流量/PHP/MYSQL/FTP/CP绑定顶级域名免费空间

Permalink:http://blog.minidx.com/2008/02/23/506.html

可从此处完成的操作：

使用 Google 阅读器订阅全文检索博客
开始使用 Google 阅读器，轻松地与您喜爱的所有网站保持同步更新

荷塘月色 : 介绍两种国内访问Blogger.com的方式

2008-02-15T13:58:00.001+08:00

荷塘月色 : 介绍两种国内访问Blogger.com的方式: "国内无法访问Blogspot.com，这一直困扰着许多Blogger.com 爱好者们。最近，我也加入了Blogger.com爱好者的队伍。因为，我发现了两个可以方便访问 Blogger.com空间的方法：一、通过第三方网站提供的免费域名以http://blogname.blogspot.com/为例： (1)www.pkblogs.com http://www.pkblogs.com/ blogname/ 相关链接：http://www.pkblogs.com/ (2)nyud.net:8089 http://blogname.blogspot.com.nyud.net:8090/ 相关文章：让正常访问blogspot变成现实"

荷塘月色 : 介绍两种国内访问Blogger.com的方式

2008-02-15T13:58:00.000+08:00

我的Wordpress模板修改 | 某瓜的瓜棚

2008-02-15T00:03:00.000+08:00

我的Wordpress模板修改 | 某瓜的瓜棚: "我的Wordpress模板修改 02 May Posted by 某瓜 as Wordpress 前几天才耍起Yo2的blog，发觉真的是那个爽啊，偶对oneoo和charles两位大大的敬仰之情就像滔滔江水延绵不断……（省略赞美之情n字）。 Wordpress确实是个强大易用的blog系统，丰富的模板更使它广受欢迎（废话）。但下载下来的模板经常有各种问题。下面就说说偶的（当然老鸟可以跳过…OTL）。偶用的是thememe里面的Webby Blue 1.0模板，下载下来是一个rar压缩包，而Yo2只支持zip格式的模板上传，所以第一步需要把rar的压缩包压缩成zip。压缩�"

哈斯日志: Google中文搜索的快照和部分关键词被屏蔽

2008-01-29T23:45:00.000+08:00

哈斯日志: Google中文搜索的快照和部分关键词被屏蔽 Google中文搜索的快照和部分关键词被屏蔽 Google Search & Cache Filtering Behind China's Great Firewall 由加拿大和美国两所大学共同组成的OpenNet运动再次掀起了研究中国国家防火墙技术的高潮。他们就是Google Search & Cache Filtering Behind China's Great Firewall(第24条)研究报告的发布人，其报告的原文见http://www.opennetinitiative.net/bulletins/006/。研究者通过从QQ的客户端关键词列表过滤DLL中获得的过滤词表。察看其过滤词列表：http://journalism.berkeley.edu/projects/chinadn/en/archives/002885.html 一直以来已为是Google"自律"呢,原来也是被权力强奸哦! ps: 如下法能访问blogspot，比如我自己曾经在blogger上申请过一个blog，由于一直不能访问，就废掉，今天我去看居然还可以访问。访问方法如下http://loverty.blogspot.com.nyud.net:8090/ 就是用你的http://useid.blogspot.com.nyud.net:8090 就可以了。

Eclipse快捷键[转贴]

2007-11-19T13:07:00.000+08:00

本文档从Eclipse软件上整理，是列出了标准的快捷键，未列出Emacs快捷键。

转贴请注明作者和出处。

编辑

作用域功能快捷键

全局查找并替换 Ctrl+F

文本编辑器查找上一个 Ctrl+Shift+K

文本编辑器查找下一个 Ctrl+K

全局撤销 Ctrl+Z

全局复制 Ctrl+C

全局恢复上一个选择 Alt+Shift+↓

全局剪切 Ctrl+X

全局快速修正 Ctrl1+1

全局内容辅助 Alt+/

全局全部选中 Ctrl+A

全局删除 Delete

全局上下文信息 Alt+？

Alt+Shift+?

Ctrl+Shift+Space

Java编辑器显示工具提示描述 F2

Java编辑器选择封装元素 Alt+Shift+↑

Java编辑器选择上一个元素 Alt+Shift+←

Java编辑器选择下一个元素 Alt+Shift+→

文本编辑器增量查找 Ctrl+J

文本编辑器增量逆向查找 Ctrl+Shift+J

全局粘贴 Ctrl+V

全局重做 Ctrl+Y

查看

作用域功能快捷键

全局放大 Ctrl+=

全局缩小 Ctrl+-

窗口

作用域功能快捷键

全局激活编辑器 F12

全局切换编辑器 Ctrl+Shift+W

全局上一个编辑器 Ctrl+Shift+F6

全局上一个视图 Ctrl+Shift+F7

全局上一个透视图 Ctrl+Shift+F8

全局下一个编辑器 Ctrl+F6

全局下一个视图 Ctrl+F7

全局下一个透视图 Ctrl+F8

文本编辑器显示标尺上下文菜单 Ctrl+W

全局显示视图菜单 Ctrl+F10

全局显示系统菜单 Alt+-

导航

作用域功能快捷键

Java编辑器打开结构 Ctrl+F3

全局打开类型 Ctrl+Shift+T

全局打开类型层次结构 F4

全局打开声明 F3

全局打开外部javadoc Shift+F2

全局打开资源 Ctrl+Shift+R

全局后退历史记录 Alt+←

全局前进历史记录 Alt+→

全局上一个 Ctrl+,

全局下一个 Ctrl+.

Java编辑器显示大纲 Ctrl+O

全局在层次结构中打开类型 Ctrl+Shift+H

全局转至匹配的括号 Ctrl+Shift+P

全局转至上一个编辑位置 Ctrl+Q

Java编辑器转至上一个成员 Ctrl+Shift+↑

Java编辑器转至下一个成员 Ctrl+Shift+↓

文本编辑器转至行 Ctrl+L

搜索

作用域功能快捷键

全局出现在文件中 Ctrl+Shift+U

全局打开搜索对话框 Ctrl+H

全局工作区中的声明 Ctrl+G

全局工作区中的引用 Ctrl+Shift+G

文本编辑

作用域功能快捷键

文本编辑器改写切换 Insert

文本编辑器上滚行 Ctrl+↑

文本编辑器下滚行 Ctrl+↓

文件

作用域功能快捷键

全局保存 Ctrl+X

Ctrl+S

全局打印 Ctrl+P

全局关闭 Ctrl+F4

全局全部保存 Ctrl+Shift+S

全局全部关闭 Ctrl+Shift+F4

全局属性 Alt+Enter

全局新建 Ctrl+N

项目

作用域功能快捷键

全局全部构建 Ctrl+B

源代码

作用域功能快捷键

Java编辑器格式化 Ctrl+Shift+F

Java编辑器取消注释 Ctrl+\

Java编辑器注释 Ctrl+/

Java编辑器添加导入 Ctrl+Shift+M

Java编辑器组织导入 Ctrl+Shift+O

Java编辑器使用try/catch块来包围未设置，太常用了，所以在这里列出,建议自己设置。

也可以使用Ctrl+1自动修正。

运行

作用域功能快捷键

全局单步返回 F7

全局单步跳过 F6

全局单步跳入 F5

全局单步跳入选择 Ctrl+F5

全局调试上次启动 F11

全局继续 F8

全局使用过滤器单步执行 Shift+F5

全局添加/去除断点 Ctrl+Shift+B

全局显示 Ctrl+Shift+D

全局运行上次启动 Ctrl+F11

全局运行至行 Ctrl+R

全局执行 Ctrl+U

重构

作用域功能快捷键

全局撤销重构 Alt+Shift+Z

全局抽取方法 Alt+Shift+M

全局抽取局部变量 Alt+Shift+L

全局内联 Alt+Shift+I

全局移动 Alt+Shift+V

全局重命名 Alt+Shift+R

全局重做 Alt+Shift+Y

语义搜索引擎综述(zhuan)

2007-11-19T13:03:00.001+08:00

语义搜索引擎综述

2007-11-19 10:28

1．网络搜索引擎的现状

搜索引擎在互联网的重要地位由来已久。Yahoo 作为门户网站奇迹般崛起所依靠的正是搜索引擎，Google 也以搜索引擎的技术创新、竞价排名和专业风格创造了新的奇迹。在国内，百度也在很短的时间里凭借搜索引擎取得很大成功。

搜索引擎技术及业务模式的持续创新，不仅为互联网注入了活力，而且其自身的价值正被重新审视和评估。互联网的发展使得信息短缺的问题被信息泛滥所取代，世界也已从信息时代走进信息经济时代，这两者的区别在于，前者强调信息本身的价值，只要解决信息资源短缺就会带来价值的提升；后者认为信息并不稀缺，只有通过对信息的甄别、加工提纯和挖掘才能带来价值的提升。

据中国国家互联网中心（CNNIC）2005年1月发布的第15次互联网发展统计报告^[[1]]，我国的网络用户有9400万人，比2004年6月发布的14次报告又增加了700万。在用户经营使用的网络服务中，搜索引擎仅次于电子邮箱排在第2位。有98.5%的用户上网最主要的是获取信息，通过搜索引擎获取信息的占70.7%，搜索引擎成为未知状态下发现有效信息的最有效方式。

2．网络搜索引擎的工作原理

搜索引擎的原理，可以看作三步：

a) 从互联网上抓取网页；

b) 建立索引数据库；

c) 在索引数据库中搜索排序。

1. 从互联网上抓取网页

利用能够从互联网上自动收集网页的Spider系统程序，自动访问互联网，并沿着任何网页中的所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集回来。

2. 建立索引数据库

由分析索引系统程序对收集回来的网页进行分析，提取相关网页信息（包括网页所在URL、编码类型、页面内容包含的所有关键词、关键词位置、生成时间、大小、与其它网页的链接关系等），根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面文字中及超链中每一个关键词的相关度（或重要性），然后用这些相关信息建立网页索引数据库。

3. 在索引数据库中搜索排序

当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度早已算好，所以只需按照现成的相关度数值排序，相关度越高，排名越靠前。最后，由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。

3．网络搜索引擎的评价指标

评价搜索引擎的主要指标有查全率、查准率、响应时间、覆盖范围、用户使用方便性等等。

1．查全率（Recall）

查全率又叫召回率，是指检索出的相关文档占全部相关文档的比率。即用户通过搜索引擎所获取的有用信息与整个Internet中相关信息的比率。

2．查准率（Precision）

查准率是指获取的相关文档与获取文档的比率。即用户通过搜索引擎所获取的真正是用户需要的信息占获取信息的比率。搜索引擎的查准率是个复杂的概念，一方面表示搜索引擎对搜索结果的排序能力，另一方面却体现了搜索引擎对垃圾网页的抗干扰能力。

3．响应时间（Response Time）

响应时间是指用户发出查询请求后到看到查询结果的这段时间。

4．覆盖范围（Coverage）

覆盖范围是指搜索引擎索引的Web页面占整个Internet中页面的比例。

5．用户方便性（Convenience）

用户方便性包括查询接口是否直观、易于使用、查询语法是否丰富，显示结果是否易于查看等。

4．网络搜索引擎的主要技术

网络搜索引擎做为信息检索系统的一个分支，理所当然的涉及到信息检索方面的技术，同时它做为一个独立、成熟的领域也有自己的技术空间：

1．目录检索和全文检索

传统的搜索引擎一般使用两种技术来实现信息检索：

一是使用网站分类技术实现目录检索，即把网站进行树状的归类，登陆的网站属于至少一个类别，对每个站点都有简略的描述。Yahoo采用了这种方法。为了分类科学准确，需要有一支各科人才组成的维护队伍。
二是使用全文检索技术。全文检索技术处理的对象是文本，它能够对大量文档建立由字（词）到文档的倒排索引，在此基础上，用户使用关键词来对文档进行查询时，系统将给用户返回该关键词的网页。

2．索引文件结构

全文检索的两个关键技术是索引和检索。检索又是基于所建立的索引结构进行的。索引文件主要分为正向索引和倒排索引。正向索引是基于文档的，每一个文档对应一个索引文件，其中记录着这个文档中出现的词。倒排索引是基于词汇表的，每一个特征词对应一个倒排索引，其中记录着所有出现过这个词的文档。目前，技术比较成熟、也是公认效率较高的索引存储结构是倒排文件。需要明确的是，中文的构词方式、句法、语法都与英文有很大区别，因此，不同于英文全文检索的索引方法，中文全文检索中主要的建立索引方法是字索引和词索引。字索引保证了高的召回率，不会出现漏查错误，但是会出现多查和误查。检索结果中会出现不少与检索意图无关的条目。另外，基于字索引的全文检索的检索效率也比较低。而词索引保证了较高的查准率和检索效率，但是由于中文分词能力的局限，导致基于词索引的全文检索必定会存在漏检情况。另外，对于未登陆词，词索引显得力不从心。现存比较实用的中文信息检索系统一般都结合使用了字词混合索引，或者扩展的词索引，来保证召回率和查准率。

网络搜索引擎由于各自的策略不同，在选择索引对象的内容时也有不同。有些搜索引擎对于信息库中的页面建立全文索引，有些只建立摘要部分，或者每个段落前面部分的索引，还有些搜索引擎（如Google）建立索引的时候，同时考虑超文本的不同标记所表示的不同含义。如粗体、大字体显示的东西往往比较重要；放在锚链中的信息往往是它所指向页面的信息的概括，所以用它来作为它所指向的页面的重要信息。Google，Infoseek还在建立索引的过程中收集页面中的超链接。这些超链接反映了收集到的信息之间的空间结构。利用这些结果信息可以提高页面相关度判别时候的准确度。

3．数据源文件的分布策略

搜索引擎的数据源文件主要包括索引文件和原文档。目前，数据源文件的分布策略主要有集中存放和分布式存放。文献[2]指出Google就是采用了集群的方式集中存放数据源文件，事实上，几乎所有的商业搜索引擎都采用集中存放的方式，这是因为分布式存放策略有一个硬伤，就是搜索请求从一个端点传送到另外一个端点消耗的时间让用户难以忍受。但是，随着互联网上信息的急剧膨胀，改进后的分布式策略是最终的解决方案。

4．索引大文件的存放策略

倒排文件是一个大文件，这是因为倒排文件中存放的记录（Hit）表示的是文档中出现本特征词的状况。目前的商业搜索引擎的文档集中的文档数量非常之大，因此倒排文件的记录数也会很大，最终导致倒排文件的尺寸非常大。

对于大文件首先考虑的是压缩，像是Google存放的索引文件就是经过压缩的。好的压缩算法同时要求压缩比尽可能高、查找压缩文件容易、解压缩时间短。即使压缩之后的文件仍然大到不能以独立的文件形式存放，目前有两种分离大文件为多个小文件的策略：

一是基于文档集的分离。主要是将文档集分成有限个子集，对于每一个子集建立各自的索引文件，检索过程就演变为对多个文档子集的检索，最后做的合并处理。

一是基于索引文件的分离。即是将索引大文件分为有限个子文件，并设计一张表记录这种分离情况，当要检索这个索引文件时就查找这张表，根据表的记录去查找每一个子文件。文献[3]指出Google将索引大文件分离为若干个小文件，每一个小文件都以独立的linux文件存放，通过linux系统管理这些小文件，这正是这个策略的一种表现。

5．排序算法

各种搜索引擎的技术改进和优化，都直接反应到搜索结果的排序上。许多搜索引擎都在进一步研究新的排序方法，来提升客户的满意度。目前，不同搜索引擎基于不同的搜索策略设计有多种不同的排序算法，以Google为例，它采用很多种排序算法支持搜索结果，其中最典型的代表有PageRank和HillTop，这两种都属于超链接分析技术。

5．语义搜索的兴起

目前实用化的信息检索系统主要基于人工分类目录或关键词匹配。前者对海量信息资源的揭示的效率不高、深度有限；后者在信息的语义和语用的揭示上有局限性。信息检索系统在智能处理能力上的缺乏，导致这些工具远远不能满足用户的需求。如何解决好诸如信息组织、知识表示、机器理解与人机交互等问题，对于提高信息利用的效率，是非常重要和迫切的。近年来，语义网的提出为解决这些问题提供了锲机，由于语义网中的资源被结构化，能被计算机所理解和识别，这样提供了改进传统搜索技术的机会。语义检索的目的是通过从语义网上获取的数据增强并改进传统的搜索结果(基于信息检索技术)。它实现了用户检索请求的本体化，整个搜索引擎像领域专家一样，不仅给出查询结果，还给出了与检索请求相关的资源，大大提高检索的精度和覆盖率；实现了本体层次的检索，突破了关键词检索局限于形式的固有缺陷。它的出现提高了用户的满意度，减少了不相关的返回结果，提高了检索的精度和覆盖率。

最初人们通过代表语义的HTML标签来改造网页，主要有GDA系统和
SHOE(SimpleHTMLOntologyExtensions)系统等。但这些系统的不足是仅能处理经过HTML标签改造的网页。

XML是非常有前途的语言，因为它将网页的内容、结构和描述分离，并且非常适合知识的描述。但是XML通过它的句法结构仅能描述一些语义属性。

语义网络的建立使得以语义为基础的搜索引擎同时可以建立起来。在语义搜索引擎中，每一个查询都在一些本体的上下文范围内执行，来自本体的一些指南可以提高检索的准确性。在语义检索中，使用的是概念匹配，即自动抽取文档的概念，加以标引，用户在系统的辅助下选用合适的词语表达自己的信息需求，然后在两者之间执行概念匹配，即匹配在语义上相同、相近、相包含的词语。

6．语义搜索当前的应用

当前基于ontology 的语义检索系统已经得到了广泛的关注和应用，出现了一系列优秀的应用系统，其中典型的有两个：SWOOGLE――语义网中的基于蜘蛛网的检索系统，系统从每个搜索到的文本中抽取本体，根据本体之间的相关度来比较文本之间的关系；TUCUXI(InTelligent Hunter Agent for Concept Understanding and LeXical ChaIning)，该系统根据查找的本体在网页上爬行，决定哪种网页最满足需求。特别的，TUCUXI 判断文档的相关性是同Map of Meanings 比较用户所查询的相关本体。Map of Meanings 语义丰富，用来对资源文本的表达。TUCUXI 采用了MOMIS 公用字典来表征用户查询的本体。在语义网中,基于Ontology 的语义检索搜索引擎有SHOE、OntoBroker、OntoSeek、WebKB、Corese。

7．总结

语义搜索引擎是未来搜索引擎发展的方向，它的发展主要受限于语义web的发展以及自然语言处理技术。语义搜索引擎设计的最终目标是让计算机具有人的智能，以解决问题的形式返回给用户。语义搜索引擎设计的当前目标是让计算机返回的结果更有针对性、准确性。

【搜索引擎技术普及 - 5]信息检索的一些初步知识 --来源：sogoulab

2007-11-18T15:02:00.001+08:00

最近吧上有不少朋友讨论搜索引擎的结果相关性排序问题，所以这次知识普及的重点想放在与之相关的信息检索知识上

以上是一个信息检索系统的基本架构和运行示意图，引自信息检索一本很好的入门教科书《modern information retrieval》（现代信息检索），现在貌似机械工业出版社有了中文版，大家有兴趣可以买来或者借来看看。

传统意义的文本信息检索系统是由文本处理、内容索引、查询处理、用户界面等模块组成的。

从数据处理对象的角度分析，信息检索系统面对的处理对象则包括文本语料库与检索用户两方面的内容。具体的运行流程上，系统将语料库中的文本经过取词根（英文）、分词（中文）、去除停用词等操作后输入进索引模块，索引模块以词项（term）为中心组织倒排索引（inverted index），从而完成系统准备工作。用户进行检索时，首先通过用户界面输入其查询需求（query），系统通过查询模块在倒排索引中定位相关文档集合，再依据相关文档与查询需求的相似度对相关文档进行排序（ranking），并通过用户界面反馈给用户检索结果。

检索系统中，使用何种模型进行查询需求与文档的相似度计算是关键性的研究问题，信息检索研究中的模型研究，大多是针对这类相似度计算模型而进行的。从20世纪60年代中期以来，人们提出了大量的相似度评价模型。从最初的为一些较小的和较为结构化的文档所设计的特殊模型（如文献记录，包括题目、作者和主题码等），发展到现在具有较强理论基础和能处理多种文档格式的模型。总的来说，当前应用比较广泛的检索模型有如下三种：

1．布尔模型(Boolean Model)。布尔模型又称精确匹配模型，是许多商业信息检索系统尤其是早期联机信息检索系统的理论基础。在布尔模型中，文档和查询都被表示为索引项的集合。其优势在于：实现简单，计算复杂度低，支持结构化查询等，因此在计算机硬件水平较低的早期信息检索系统应用中得到了青睐。目前，不少图书馆信息检索系统还是基于布尔模型进行搭建的。

2．统计模型(Statistical Model)，统计模型基于文本统计信息（如词项频度统计、文档频度统计等）和统计自然语言处理方法进行文本相似度计算。统计模型从布尔模型的"精确匹配"发展到"最优匹配"，可以说真正把信息检索与传统的数据搜索区别开来。而具体来说，其又包括向量空间模型(Vector Space Model)和概率模型(Probabilistic Model)两类。向量空间模型把文档和查询表示成一个高维空间中的向量，用距离作为相似度的度量。而概率模型则把检索看作是文档表示和查询之间匹配成功的概率估计问题，使用概率理论做指导。统计模型是当前应用最广泛的检索模型，在从小规模纯文本信息检索系统到搜索引擎在内的各种检索系统中广泛应用。

3. 语言与知识模型(Linguistic and Knowledge-based Model)。与统计模型不同，基于语言和知识的检索模型试图考察查询背后的用户真实需求，从而更加准确的理解用户意图，获得更好的检索效果。目前较常用的做法是通过考察用户查询和相关文档之间的语言模型的相似程度，来进行文档相关度的计算，即计算按照文档的语言模型有多大可能性生成用户查询。语言和知识模型在本世纪初以来得到了较为广泛的应用，目前信息检索研究领域应用的较为广泛的Lemur/Indri系统，就是基于此模型进行内容相似度计算的。

以上我们对信息检索系统的整体运行流程和其中的相似度计算模型进行了简单介绍，总体而言，信息检索系统的架构设计自上个世纪五十年代信息检索问世以来没有经历过大的改动，而直到今天，这个架构即使在处理海量规模网络文本数据的问题上也是能够满足应用需求的。当前信息检索研究的重点，一方面在于利用自然语言处理方面的研究成果对检索相似度模型框架进行修正；另一方面则在于对检索系统的应用对象加以拓展，针对专门检索系统如网络信息检索系统、多媒体检索系统等开展研究和分析。

关于这部分内容的详细数学描述，有兴趣的读者可以参考http://www.scils.rutgers.edu/~aspoerri/InfoCrystal/InfoCrystal.htm，MIT毕业的Spoerri博士的一个开放项目。

Bash 实例，第 3 部分

2007-11-15T15:35:00.000+08:00

2000 年 5 月 01 日

Daniel Robbins 在其最后一篇 Bash实例文章中详细讲述了 Gentoo Linux ebuild 系统，这个展示 bash能力的极佳范例。循序渐进地，他为您展示如何实现 ebuild系统，并触及很多方便的 bash技术和设计策略。在本文末尾，您将很好地掌握制造完全基于 bash的应用所涉及的技术，并开始为自己的自动构建系统编码。

进入 ebuild 系统

我真是一直期待着这第三篇、也是最后一篇 Bash 实例文章，因为既然已经在第 1 篇和第 2 篇中讲述了 bash 编程基础，就可以集中讲述象 bash 应用开发和程序设计这样更高级的主题。在本文中，将通过我花了许多时间来编码和细化的项目，Gentoo Linux ebuild 系统，来给您大量实际的、现实世界的 bash 开发经验。

我是 Gentoo Linux（目前还是 beta 版的下一代 Linux OS）的首席设计师。我的主要责任之一就是确保所有二进制包（类似于 RPM）都正确创建并一起使用。正如您可能知道的，标准 Linux 系统不是由一棵统一的源树组成（象 BSD），而实际上是由超过 25 个协同工作的核心包组成。这其中包括：

包	描述
linux	实际内核
util-linux	与 Linux 相关的杂项程序集合
e2fsprogs	与 ext2 文件系统相关的实用程序集合
glibc	GNU C 库

每个包都位于各自的 tar 压缩包中，并由不同的独立开发人员或开发小组维护。要创建一个发行版，必须对每个包分别进行下载、编译和打包处理。每次要修复、升级或改进包时，都必须重复编译和打包步骤（并且，包确实更新得很快）。为了帮助消除创建和更新包所涉及的重复步骤，我创建了 ebuild 系统，该系统几乎全用 bash 编写。为了增加您的 bash 知识，我将循序渐进地为您演示如何实现该 ebuild 系统的解包和编译部分。在解释每一步时，还将讨论为什么要作出某些设计决定。在本文末尾，您不仅将极好地掌握大型 bash 编程项目，还实现了完整自动构建系统的很大一部分。

回页首

为什么选择 bash？

Bash 是 Gentoo Linux ebuild 系统的基本组件。选择它做为 ebuild 的主要语言有几个原因。首先，其语法不复杂，并且为人们所熟悉，这特别适合于调用外部程序。自动构建系统是自动调用外部程序的"胶合代码"，而 bash 非常适合于这种类型的应用。第二，Bash 对函数的支持允许 ebuild 系统使用模块化、易于理解的代码。第三，ebuild 系统利用了 bash 对环境变量的支持，允许包维护人员和开发人员在运行时对其进行方便的在线配置。

回页首

构建过程回顾

在讨论 ebuild 系统之前，让我们回顾一下编译和安装包都牵涉些什么。例如，让我们看一下 "sed" 包，这个作为所有 Linux 版本一部分的标准 GNU 文本流编辑实用程序。首先，下载源代码 tar 压缩包 (sed-3.02.tar.gz)（请参阅参考资料）。我们将把这个档案存储在 /usr/src/distfiles 中，将使用环境变量 "$DISTDIR" 来引用该目录。"$DISTDIR" 是所有原始源代码 tar 压缩包所在的目录，它是一个大型源代码库。

下一步是创建名为 "work" 的临时目录，该目录存放已经解压的源代码。以后将使用 "$WORKDIR" 环境变量引用该目录。要做到这点，进入有写权限的目录，然后输入：

将 sed 解压缩到临时目录

$ mkdir work  $ cd work  $ tar xzf /usr/src/distfiles/sed-3.02.tar.gz

然后，解压缩 tar 压缩包，创建一个包含所有源代码、名为 sed-3.02 的目录。以后将使用环境变量 "$SRCDIR" 引用 sed-3.02 目录。要编译程序，输入：

将 sed 解压缩到临时目录

$ cd sed-3.02  $ ./configure --prefix=/usr  （autoconf 生成适当的 make 文件，这要花一些时间）  $ make  (从源代码编译包，也要花一点时间）

因为在本文中只讲述解包和编译步骤，所以将略过 "make install" 步骤。如果要编写 bash 脚本来执行所有这些步骤，则代码可能类似于：

要执行解包／编译过程的样本 bash 脚本

#!/usr/bin/env bash  if [ -d work ]  then   # remove old work directory if it exists       rm -rf work  fi  mkdir work  cd work  tar xzf /usr/src/distfiles/sed-3.02.tar.gz  cd sed-3.02  ./configure --prefix=/usr  make

回页首

使代码通用

虽然可以使用这个自动编译脚本，但它不是很灵活。基本上，bash 脚本只包含在命令行输入的所有命令列表。虽然可以使用这种解决方案，但是，最好做一个只通过更改几行就可以快速解包和编译任何包的适用脚本。这样，包维护人员将新包添加到发行版所需的工作就大为减少。让我们先尝试一下使用许多不同的环境变量来完成，使构建脚本更加适用：

新的、更通用的脚本

#!/usr/bin/env bash  # P is the package name  P=sed-3.02  # A is the archive name  A=${P}.tar.gz  export ORIGDIR=`pwd`  export WORKDIR=${ORIGDIR}/work  export SRCDIR=${WORKDIR}/${P}  if [ -z "$DISTDIR" ]  then       # set DISTDIR to /usr/src/distfiles if not already set      DISTDIR=/usr/src/distfiles  fi  export DISTDIR  if [ -d ${WORKDIR} ]  then          # remove old work directory if it exists       rm -rf ${WORKDIR}  fi  mkdir ${WORKDIR}  cd ${WORKDIR}  tar xzf ${DISTDIR}/${A}  cd ${SRCDIR}  ./configure --prefix=/usr  make

已经向代码中添加了很多环境变量，但是，它基本上还是执行同一功能。但是，如果现在要要编译任何标准的 GNU 基于 autoconf 的源代码 tar 压缩包，只需简单地将该文件复制到一个新文件（用合适的名称来反映它所编译的新包名），然后将 "$A" 和 "$P" 的值更改成新值即可。所有其它环境变量都自动调整成正确设置，并且脚本按预想工作。虽然这很方便，但是代码还有改进余地。这段代码比我们开始创建的 "transcript" 脚本要长很多。既然任何编程项目的目标之一是减少用户复杂度，所以最好大幅度缩短代码，或者至少更好地组织代码。可以用一个巧妙的方法来做到这点 -- 将代码拆成两个单独文件。将该文件存为 "sed-3.02.ebuild"：

sed-3.02.ebuild

#the sed ebuild file -- very simple!  P=sed-3.02  A=${P}.tar.gz

第一个文件不重要，只包含那些必须在每个包中配置的环境变量。下面是第二个文件，它包含操作的主要部分。将它存为 "ebuild"，并使它成为可执行文件：

ebuild 脚本

#!/usr/bin/env bash  if [ $# -ne 1 ]  then       echo "one argument expected."      exit 1  fi  if [ -e "$1" ]  then       source $1  else      echo "ebuild file $1 not found."      exit 1  fi  export ORIGDIR=`pwd`  export WORKDIR=${ORIGDIR}/work  export SRCDIR=${WORKDIR}/${P}  if [ -z "$DISTDIR" ]  then       # set DISTDIR to /usr/src/distfiles if not already set      DISTDIR=/usr/src/distfiles  fi  export DISTDIR  if [ -d ${WORKDIR} ]  then          # remove old work directory if it exists       rm -rf ${WORKDIR}  fi  mkdir ${WORKDIR}  cd ${WORKDIR}  tar xzf ${DISTDIR}/${A}  cd ${SRCDIR}  ./configure --prefix=/usr  make

既然已经将构建系统拆成两个文件，我敢打赌，您一定在想它的工作原理。基本上，要编译 sed，输入：

$ ./ebuild sed-3.02.ebuild

当执行 "ebuild" 时，它首先试图 "source" 变量 "$1"。这是什么意思？还记得前一篇文章所讲的吗："$1" 是第一个命令行自变量 -- 在这里，是 "sed-3.02.ebuild"。在 bash 中，"source" 命令从文件中读入 bash 语句，然后执行它们，就好象它们直接出现在 "source" 命令所在的文件中一样。因此，"source ${1}" 导致 "ebuild" 脚本执行在 "sed-3.02.ebuild" 中定义 "$P" 和 "$A" 的命令。这种设计更改确实方便，因为如果要编译另一个程序，而不是 sed，可以简单地创建一个新的 .ebuild 文件，然后将其作为自变量传递给 "ebuild" 脚本。通过这种方式，.ebuild 文件最终非常简单，而将 ebuild 系统复杂的操作部分存在一处，即 "ebuild" 脚本中。通过这种方式，只需编辑 "ebuild" 脚本就可以升级或增强 ebuild 系统，同时将实现细节保留在 ebuild 文件之外。这里有一个 gzip 的样本 ebuild 文件：

gzip-1.2.4a.ebuild

#another really simple ebuild script!  P=gzip-1.2.4a  A=${P}.tar.gz

回页首

添加功能性

好，我们正在取得进展。但是，我还想添加某些额外功能性。我希望 ebuild 脚本再接受一个命令行自变量："compile"、"unpack" 或 "all"。这个命令行自变量告诉 ebuild 脚本要执行构建过程的哪一步。通过这种方式，可以告诉 ebuild 解包档案，但不进行编译（以便在开始编译之前查看源代码档案）。要做到这点，将添加一条 case 语句，该语句将测试 "$2"，然后根据其值执行不同操作。代码如下：

ebuild，修定本 2

#!/usr/bin/env bash  if [ $# -ne 2 ]  then       echo "Please specify two args - .ebuild file and unpack, compile or all"      exit 1  fi  if [ -z "$DISTDIR" ]  then       # set DISTDIR to /usr/src/distfiles if not already set      DISTDIR=/usr/src/distfiles  fi  export DISTDIR  ebuild_unpack() {      #make sure we're in the right directory       cd ${ORIGDIR}            if [ -d ${WORKDIR} ]      then              rm -rf ${WORKDIR}      fi      mkdir ${WORKDIR}      cd ${WORKDIR}      if [ ! -e ${DISTDIR}/${A} ]      then          echo "${DISTDIR}/${A} does not exist.  Please download first."          exit 1      fi          tar xzf ${DISTDIR}/${A}      echo "Unpacked ${DISTDIR}/${A}."      #source is now correctly unpacked  }  ebuild_compile() {            #make sure we're in the right directory      cd ${SRCDIR}      if [ ! -d "${SRCDIR}" ]      then          echo "${SRCDIR} does not exist -- please unpack first."          exit 1          fi      ./configure --prefix=/usr      make       }  export ORIGDIR=`pwd`  export WORKDIR=${ORIGDIR}/work  if [ -e "$1" ]  then       source $1  else      echo "Ebuild file $1 not found."      exit 1  fi  export SRCDIR=${WORKDIR}/${P}  case "${2}" in      unpack)          ebuild_unpack          ;;      compile)          ebuild_compile          ;;      all)          ebuild_unpack          ebuild_compile          ;;      *)          echo "Please specify unpack, compile or all as the second arg"          exit 1          ;;  esac

已经做了很多改动，下面来回顾一下。首先，将编译和解包步骤放入各自的函数中，其函数名分别为 ebuild_compile() 和 ebuild_unpack()。这是个好的步骤，因为代码正变得越来越复杂，而新函数提供了一定的模块性，使代码更有条理。在每个函数的第一行，显式 "cd" 到想要的目录，因为，随着代码变得越来越模块化而不是线形化，出现疏忽而在错误的当前工作目录中执行函数的可能性也变大。"cd" 命令显式地使我们处于正确的位置，并防止以后出现错误 - 这是重要的步骤，特别是在函数中删除文件时更是如此。

另外，还在 ebuild_compile() 函数的开始处添加了一个有用的检查。现在，它检查以确保 "$SRCDIR" 存在，如果不存在，则打印一条告诉用户首先解包档案然后退出的错误消息。如果愿意，可以改变这种行为，以便在 "$SRCDIR" 不存在的情况下，ebuild 脚本将自动解包源代码档案。可以用以下代码替换 ebuild_compile() 来做到这点：

ebuild_compile() 上的新代码

ebuild_compile() {      #make sure we're in the right directory        if [ ! -d "${SRCDIR}" ]      then          ebuild_unpack          fi      cd ${SRCDIR}      ./configure --prefix=/usr      make       }

ebuild 脚本第二版中最明显的改动之一就是代码末尾新的 case 语句。这条 case 语句只是检查第二个命令行自变量，然后根据其值执行正确操作。如果现在输入：

$ ebuild sed-3.02.ebuild

就会得到一条错误消息。现在需要告诉 ebuild 做什么，如下所示：

$ ebuild sed-3.02.ebuild unpack

或

$ ebuild sed-3.02.ebuild compile

或

$ ebuild sed-3.02.ebuild all

如果提供上面所列之外的第二个命令行自变量，将得到一条错误消息（* 子句），然后，程序退出。

回页首

使代码模块化

既然代码很高级并且实用，您可能很想创建几个更高级的 ebuild 脚本，以解包和编译所喜爱的程序。如果这样做，迟早会遇到一些不使用 autoconf ("./configure") 的源代码，或者可能遇到其它使用非标准编译过程的脚本。需要再对 ebuild 系统做一些改动，以适应这些程序。但是在做之前，最好先想一下如何完成。

将 "./configure --prefix=/usr; make" 硬编码到编译阶段的妙处之一是：大多数时候，它可以正确工作。但是，还必须使 ebuild 系统适应那些不使用 autoconf 或正常 make 文件的源代码。要解决这个问题，建议 ebuild 脚本缺省执行以下操作：

如果在 "${SRCDIR}" 中有一个配置脚本，则按如下执行它：
./configure --prefix=/usr
否则，跳过这步。
执行以下命令：
make

既然 ebuild 只在 configure 实际存在时才运行它，现在可以自动地适应那些不使用 autoconf 但有标准 make 文件的程序。但是，在简单的 "make" 对某些源代码无效时该怎么办？需要一些处理这些情况的特定代码来覆盖合理的缺省值。要做到这一点，将把 ebuild_compile() 函数转换成两个函数。第一个函数（可将其当成"父"函数）的名称仍是 ebuild_compile()。但是，将有一个名为 user_compile() 的新函数，该函数只包含合理的缺省操作：

拆成两个函数的 ebuild_compile()

user_compile() {      #we're already in ${SRCDIR}      if [ -e configure ]      then          #run configure script if it exists          ./configure --prefix=/usr      fi      #run make      make  }            ebuild_compile() {      if [ ! -d "${SRCDIR}" ]      then          echo "${SRCDIR} does not exist -- please unpack first."          exit 1      fi      #make sure we're in the right directory        cd ${SRCDIR}      user_compile  }

现在这样做的原因可能还不是很明显，但是，再忍耐一下。虽然这段代码与 ebuild 前一版的工作方式几乎相同，但是现在可以做一些以前无法做的 -- 可以在 sed-3.02.ebuild 中覆盖 user_compile()。因此，如果缺省的 user_compile() 不满足要求，可以在 .ebuild 文件中定义一个新的，使其包含编译包所必需的命令。例如，这里有一个 e2fsprogs-1.18 的 ebuild 文件，它需要一个略有不同的 "./configure" 行：

e2fsprogs-1.18.ebuild

#this ebuild file overrides the default user_compile()  P=e2fsprogs-1.18  A=${P}.tar.gz     user_compile() {         ./configure --enable-elf-shlibs         make  }

现在，将完全按照我们希望的方式编译 e2fsprogs。但是，对于大多数包来说，可以省略 .ebuild 文件中的任何定制 user_compile() 函数，而使用缺省的 user_compile() 函数。

ebuild 脚本又怎样知道要使用哪个 user_compile() 函数呢？实际上，这很简单。ebuild 脚本中，在执行 e2fsprogs-1.18.ebuild 文件之前定义缺省 user_compile() 函数。如果在 e2fsprogs-1.18.ebuild 中有一个 user_compile()，则它覆盖前面定义的缺省版本。如果没有，则使用缺省 user_compile() 函数。

这是好工具，我们已经添加了很多灵活性，而无需任何复杂代码（如果不需要的话）。在这里就不讲了，但是，还应该对 ebuild_unpack() 做类似修改，以便用户可以覆盖缺省解包过程。如果要做任何修补，或者文件包含在多个档案中，则这非常方便。还有个好主意是修改解包代码，以便它可以缺省识别由 bzip2 压缩的 tar 压缩包。

回页首

配置文件

目前为止，已经讲了很多不方便的 bash 技术，现在再讲一个。通常，如果程序在 /etc 中有一个配置文件是很方便的。幸运的是，用 bash 做到这点很容易。只需创建以下文件，然后并其存为 /etc/ebuild.conf 即可：

/ect/ebuild.conf

# /etc/ebuild.conf: set system-wide ebuild options in this file  # MAKEOPTS are options passed to make  MAKEOPTS="-j2"

在该例中，只包括了一个配置选项，但是，您可以包括更多。bash 的一个妙处是：通过执行该文件，就可以对它进行语法分析。在大多数解释型语言中，都可以使用这个设计窍门。执行 /etc/ebuild.conf 之后，在 ebuild 脚本中定义 "$MAKEOPTS"。将利用它允许用户向 make 传递选项。通常，将使用该选项来允许用户告诉 ebuild 执行并行 make。

回页首

什么是并行 make？

为了提高多处理器系统的编译速度，make 支持并行编译程序。这意味着，make 同时编译用户指定数目的源文件（以便使用多处理器系统中的额外处理器），而不是一次只编译一个源文件。通过向 make 传递 -j # 选项来启用并行 make，如下所示：

make -j4 MAKE="make -j4"

这行代码指示 make 同时编译四个程序。 MAKE="make -j4" 自变量告诉 make，向其启动的任何子 make 进程传递 -j4 选项。

这里是 ebuild 程序的最终版本：

ebuild，最终版本

#!/usr/bin/env bash  if [ $# -ne 2 ]  then       echo "Please specify ebuild file and unpack, compile or all"      exit 1  fi  source /etc/ebuild.conf  if [ -z "$DISTDIR" ]  then       # set DISTDIR to /usr/src/distfiles if not already set      DISTDIR=/usr/src/distfiles  fi  export DISTDIR  ebuild_unpack() {      #make sure we're in the right directory       cd ${ORIGDIR}            if [ -d ${WORKDIR} ]      then              rm -rf ${WORKDIR}      fi      mkdir ${WORKDIR}      cd ${WORKDIR}      if [ ! -e ${DISTDIR}/${A} ]      then          echo "${DISTDIR}/${A} does not exist.  Please download first."          exit 1      fi      tar xzf ${DISTDIR}/${A}      echo "Unpacked ${DISTDIR}/${A}."      #source is now correctly unpacked  }  user_compile() {      #we're already in ${SRCDIR}      if [ -e configure ]      then          #run configure script if it exists          ./configure --prefix=/usr      fi          #run make          make $MAKEOPTS MAKE="make $MAKEOPTS"    }   ebuild_compile() {      if [ ! -d "${SRCDIR}" ]      then          echo "${SRCDIR} does not exist -- please unpack first."          exit 1      fi          #make sure we're in the right directory        cd ${SRCDIR}      user_compile  }  export ORIGDIR=`pwd`  export WORKDIR=${ORIGDIR}/work  if [ -e "$1" ]  then       source $1  else      echo "Ebuild file $1 not found."      exit 1  fi  export SRCDIR=${WORKDIR}/${P}  case "${2}" in      unpack)          ebuild_unpack          ;;      compile)          ebuild_compile          ;;      all)          ebuild_unpack          ebuild_compile          ;;      *)          echo "Please specify unpack, compile or all as the second arg"          exit 1          ;;  esac

请注意，在文件的开始部分执行 /etc/ebuild.conf。另外，还要注意，在缺省 user_compile() 函数中使用 "$MAKEOPTS"。您可能在想，这管用吗 - 毕竟，在执行实际上事先定义 "$MAKEOPTS" 的 /etc/ebuild.conf 之前，我们引用了 "$MAKEOPTS"。对我们来说幸运的是，这没有问题，因为变量扩展只在执行 user_compile() 时才发生。在执行 user_compile() 时，已经执行了 /etc/ebuild.conf，并且 "$MAKEOPTS" 也被设置成正确的值。

回页首

结束语

本文已经讲述了很多 bash 编程技术，但是，只触及到 bash 能力的一些皮毛。例如，Gentoo Linux ebuild 产品不仅自动解包和编译每个包，还可以：

如果在 "$DISTDIR" 没找到源代码，则自动下载
通过使用 MD5 消息摘要，验证源代码没有受到破坏
如果请求，则将编译过的应用程序安装到正在使用的文件系统，并记录所有安装的文件，以便日后可以方便地将包卸载。
如果请求，则将编译过的应用程序打包成 tar 压缩包（以您希望的形式压缩），以便以后可以在另一台计算机上，或者在基于 CD 的安装过程中（如果在构建发行版 CD）安装。

另外，ebuild 系统产品还有几个全局配置选项，允许用户指定选项，例如在编译过程中使用什么优化标志，在那些支持它的包中是否应该缺省启用可选的包支持（例如 GNOME 和 slang）。

显然，bash 可以实现的功能远比本系列文章中所触及的要多。关于这个不可思议的工具，希望您已经学到了很多，并鼓舞您使用 bash 来加快和增强开发项目。

Bash 实例，第 2 部分

2007-11-15T15:32:00.000+08:00

2000 年 4 月 01 日

在前一篇 bash 的介绍性文章中，Daniel Robbins 为您讲解了脚本语言的一些基本元素和使用 bash 的原因。在本文（即第二部分）中，Daniel 继续前一篇的内容，并讲解条件 (if-then) 语句、循环和更多的 bash 基本结构。

我们先看一下处理命令行自变量的简单技巧，然后再看看 bash 基本编程结构。

接收自变量

在介绍性文章中的样本程序中，我们使用环境变量 "$1" 来引用第一个命令行自变量。类似地，可以使用 "$2"、"$3" 等来引用传递给脚本的第二和第三个自变量。这里有一个例子：

 #!/usr/bin/env bash      echo name of script is $0   echo first argument is $1   echo second argument is $2   echo seventeenth argument is $17   echo number of arguments is $#

除以下两个细节之外，此例无需说明。第一，"$0" 将扩展成从命令行调用的脚本名称，"$#" 将扩展成传递给脚本的自变量数目。试验以上脚本，通过传递不同类型的命令行自变量来了解其工作原理。

有时需要一次引用所有命令行自变量。针对这种用途，bash 实现了变量 "$@"，它扩展成所有用空格分开的命令行参数。在本文稍后的 "for" 循环部分中，您将看到使用该变量的例子。

回页首

Bash 编程结构

如果您曾用过如 C、Pascal、Python 或 Perl 那样的过程语言编程，则一定熟悉 "if" 语句和 "for" 循环那样的标准编程结构。对于这些标准结构的大多数，Bash 有自己的版本。在下几节中，将介绍几种 bash 结构，并演示这些结构和您已经熟悉的其它编程语言中结构的差异。如果以前编程不多，也不必担心。我提供了足够的信息和示例，使您可以跟上本文的进度。

回页首

方便的条件语句

如果您曾用 C 编写过与文件相关的代码，则应该知道：要比较特定文件是否比另一个文件新需要大量工作。那是因为 C 没有任何内置语法来进行这种比较，必须使用两个 stat() 调用和两个 stat 结构来进行手工比较。相反，bash 内置了标准文件比较运算符，因此，确定"/tmp/myfile 是否可读"与查看"$myvar 是否大于 4"一样容易。

下表列出最常用的 bash 比较运算符。同时还有如何正确使用每一选项的示例。示例要跟在 "if" 之后。例如：

 if [ -z "$myvar" ]  then       echo "myvar is not defined"  fi

运算符	描述	示例
文件比较运算符
-e filename	如果 filename存在，则为真	[ -e /var/log/syslog ]
-d filename	如果 filename为目录，则为真	[ -d /tmp/mydir ]
-f filename	如果 filename为常规文件，则为真	[ -f /usr/bin/grep ]
-L filename	如果 filename为符号链接，则为真	[ -L /usr/bin/grep ]
-r filename	如果 filename可读，则为真	[ -r /var/log/syslog ]
-w filename	如果 filename可写，则为真	[ -w /var/mytmp.txt ]
-x filename	如果 filename可执行，则为真	[ -L /usr/bin/grep ]
filename1-nt filename2	如果 filename1比 filename2新，则为真	[ /tmp/install/etc/services -nt /etc/services ]
filename1-ot filename2	如果 filename1比 filename2旧，则为真	[ /boot/bzImage -ot arch/i386/boot/bzImage ]
字符串比较运算符（请注意引号的使用，这是防止空格扰乱代码的好方法）
-z string	如果 string长度为零，则为真	[ -z "$myvar" ]
-n string	如果 string长度非零，则为真	[ -n "$myvar" ]
string1= string2	如果 string1与 string2相同，则为真	[ "$myvar" = "one two three" ]
string1!= string2	如果 string1与 string2不同，则为真	[ "$myvar" != "one two three" ]
算术比较运算符
num1-eq num2	等于	[ 3 -eq $mynum ]
num1-ne num2	不等于	[ 3 -ne $mynum ]
num1-lt num2	小于	[ 3 -lt $mynum ]
num1-le num2	小于或等于	[ 3 -le $mynum ]
num1-gt num2	大于	[ 3 -gt $mynum ]
num1-ge num2	大于或等于	[ 3 -ge $mynum ]

有时，有几种不同方法来进行特定比较。例如，以下两个代码段的功能相同：

 if [ "$myvar" -eq 3 ]  then        echo "myvar equals 3"  fi         if [ "$myvar" = "3" ]  then        echo "myvar equals 3"  fi

上面两个比较执行相同的功能，但是第一个使用算术比较运算符，而第二个使用字符串比较运算符。

回页首

字符串比较说明

大多数时候，虽然可以不使用括起字符串和字符串变量的双引号，但这并不是好主意。为什么呢？因为如果环境变量中恰巧有一个空格或制表键，bash 将无法分辨，从而无法正常工作。这里有一个错误的比较示例：

 if [ $myvar = "foo bar oni" ]  then        echo "yes"  fi

在上例中，如果 myvar 等于 "foo"，则代码将按预想工作，不进行打印。但是，如果 myvar 等于 "foo bar oni"，则代码将因以下错误失败：

 [: too many arguments

在这种情况下，"$myvar"（等于 "foo bar oni"）中的空格迷惑了 bash。bash 扩展 "$myvar" 之后，代码如下：

 [ foo bar oni = "foo bar oni" ]

因为环境变量没放在双引号中，所以 bash 认为方括号中的自变量过多。可以用双引号将字符串自变量括起来消除该问题。请记住，如果养成将所有字符串自变量用双引号括起的习惯，将除去很多类似的编程错误。"foo bar oni" 比较应该写成：

 if [ "$myvar" = "foo bar oni" ]  then        echo "yes"  fi

更多引用细节

如果要扩展环境变量，则必须将它们用 双引号、而不是单引号括起。单引号禁用变量（和历史）扩展。

以上代码将按预想工作，而不会有任何令人不快的意外出现。

回页首

循环结构："for"

好了，已经讲了条件语句，下面该探索 bash 循环结构了。我们将从标准的 "for" 循环开始。这里有一个简单的例子：

    #!/usr/bin/env bash      for x in one two three four   do       echo number $x   done                输出：      number one   number two    number three    number four

发生了什么？"for" 循环中的 "for x" 部分定义了一个名为 "$x" 的新环境变量（也称为循环控制变量），它的值被依次设置为 "one"、"two"、"three" 和 "four"。每一次赋值之后，执行一次循环体（"do" 和 "done" 之间的代码）。在循环体内，象其它环境变量一样，使用标准的变量扩展语法来引用循环控制变量 "$x"。还要注意，"for" 循环总是接收 "in" 语句之后的某种类型的字列表。在本例中，指定了四个英语单词，但是字列表也可以引用磁盘上的文件，甚至文件通配符。看看下面的例子，该例演示如何使用标准 shell 通配符：

 #!/usr/bin/env bash      for myfile in /etc/r*   do       if [ -d "$myfile" ]   then          echo "$myfile (dir)"  else         echo "$myfile"  fi   done                输出：      /etc/rc.d (dir)   /etc/resolv.conf   /etc/resolv.conf~   /etc/rpc

以上代码列出在 /etc 中每个以 "r" 开头的文件。要做到这点，bash 在执行循环之前首先取得通配符 /etc/r*，然后扩展它，用字符串 /etc/rc.d /etc/resolv.conf /etc/resolv.conf~ /etc/rpc 替换。一旦进入循环，根据 myfile 是否为目录，"-d" 条件运算符用来执行两个不同操作。如果是目录，则将 "(dir)" 附加到输出行。

还可以在字列表中使用多个通配符、甚至是环境变量：

    for x in /etc/r--? /var/lo* /home/drobbins/mystuff/* /tmp/${MYPATH}/*   do       cp $x /mnt/mydir   done

Bash 将在所有正确位置上执行通配符和环境变量扩展，并可能创建一个非常长的字列表。

虽然所有通配符扩展示例使用了绝对路径，但也可以使用相对路径，如下所示：

    for x in ../* mystuff/*   do       echo $x is a silly file   done

在上例中，bash 相对于当前工作目录执行通配符扩展，就象在命令行中使用相对路径一样。研究一下通配符扩展。您将注意到，如果在通配符中使用绝对路径，bash 将通配符扩展成一个绝对路径列表。否则，bash 将在后面的字列表中使用相对路径。如果只引用当前工作目录中的文件（例如，如果输入 "for x in *"），则产生的文件列表将没有路径信息的前缀。请记住，可以使用 "basename" 可执行程序来除去前面的路径信息，如下所示：

    for x in /var/log/*   do       echo `basename $x` is a file living in /var/log   done

当然，在脚本的命令行自变量上执行循环通常很方便。这里有一个如何使用本文开始提到的 "$@" 变量的例子：

    #!/usr/bin/env bash      for thing in "$@"   do       echo you typed ${thing}.   done                输出：      $ allargs hello there you silly   you typed hello.   you typed there.   you typed you.   you typed silly.

回页首

Shell 算术

在学习另一类型的循环结构之前，最好先熟悉如何执行 shell 算术。是的，确实如此：可以使用 shell 结构来执行简单的整数运算。只需将特定的算术表达式用 "$((" 和 "))" 括起，bash 就可以计算表达式。这里有一些例子：

 $ echo $(( 100 / 3 ))   33   $ myvar="56"   $ echo $(( $myvar + 12 ))   68   $ echo $(( $myvar - $myvar ))  0 $ myvar=$(( $myvar + 1 ))  $ echo $myvar   57

回页首

更多的循环结构："while" 和 "until"

只要特定条件为真，"while" 语句就会执行，其格式如下：

 while [ condition ]   do       statements   done

通常使用 "While" 语句来循环一定次数，比如，下例将循环 10 次：

 myvar=0   while [ $myvar -ne 10 ]   do       echo $myvar       myvar=$(( $myvar + 1 ))   done

可以看到，上例使用了算术表达式来使条件最终为假，并导致循环终止。

"Until" 语句提供了与 "while" 语句相反的功能：只要特定条件为假，它们就重复。下面是一个与前面的 "while" 循环具有同等功能的 "until" 循环：

 myvar=0   until [ $myvar -eq 10 ]   do       echo $myvar       myvar=$(( $myvar + 1 ))   done

回页首

Case 语句

Case 语句是另一种便利的条件结构。这里有一个示例片段：

    case "${x##*.}" in        gz)              gzunpack ${SROOT}/${x}              ;;        bz2)              bz2unpack ${SROOT}/${x}              ;;        *)              echo "Archive format not recognized."              exit              ;;   esac

在上例中，bash 首先扩展 "${x##*.}"。在代码中，"$x" 是文件的名称，"${x##.*}" 除去文件中最后句点后文本之外的所有文本。然后，bash 将产生的字符串与 ")" 左边列出的值做比较。在本例中，"${x##.*}" 先与 "gz" 比较，然后是 "bz2"，最后是 "*"。如果 "${x##.*}" 与这些字符串或模式中的任何一个匹配，则执行紧接 ")" 之后的行，直到 ";;" 为止，然后 bash 继续执行结束符 "esac" 之后的行。如果不匹配任何模式或字符串，则不执行任何代码行，在这个特殊的代码片段中，至少要执行一个代码块，因为任何不与 "gz" 或 "bz2" 匹配的字符串都将与 "*" 模式匹配。

回页首

函数与名称空间

在 bash 中，甚至可以定义与其它过程语言（如 Pascal 和 C）类似的函数。在 bash 中，函数甚至可以使用与脚本接收命令行自变量类似的方式来接收自变量。让我们看一下样本函数定义，然后再从那里继续：

    tarview() {       echo -n "Displaying contents of $1 "       if [ ${1##*.} = tar ]  then            echo "(uncompressed tar)"           tar tvf $1       elif [ ${1##*.} = gz ]  then            echo "(gzip-compressed tar)"           tar tzvf $1       elif [ ${1##*.} = bz2 ]  then            echo "(bzip2-compressed tar)"           cat $1 | bzip2 -d | tar tvf -  fi   }

另一种情况

可以使用 "case" 语句来编写上面的代码。您知道如何编写吗？

我们在上面定义了一个名为 "tarview" 的函数，它接收一个自变量，即某种类型的 tar 文件。在执行该函数时，它确定自变量是哪种 tar 文件类型（未压缩的、gzip 压缩的或 bzip2 压缩的），打印一行信息性消息，然后显示 tar 文件的内容。应该如下调用上面的函数（在输入、粘贴或找到该函数后，从脚本或命令行调用它）：

 $ tarview shorten.tar.gz   Displaying contents of shorten.tar.gz (gzip-compressed tar)   drwxr-xr-x ajr/abbot         0 1999-02-27 16:17 shorten-2.3a/   -rw-r--r-- ajr/abbot      1143 1997-09-04 04:06 shorten-2.3a/Makefile   -rw-r--r-- ajr/abbot      1199 1996-02-04 12:24 shorten-2.3a/INSTALL   -rw-r--r-- ajr/abbot       839 1996-05-29 00:19 shorten-2.3a/LICENSE   ....

交互地使用它们

别忘了，可以将函数（如上面的函数）放在 ~/.bashrc 或 ~/.bash_profile 中，以便在 bash 中随时使用它们。

如您所见，可以使用与引用命令行自变量同样的机制来在函数定义内部引用自变量。另外，将把 "$#" 宏扩展成包含自变量的数目。唯一可能不完全相同的是变量 "$0"，它将扩展成字符串 "bash"（如果从 shell 交互运行函数）或调用函数的脚本名称。

回页首

名称空间

经常需要在函数中创建环境变量。虽然有可能，但是还有一个技术细节应该了解。在大多数编译语言（如 C）中，当在函数内部创建变量时，变量被放置在单独的局部名称空间中。因此，如果在 C 中定义一个名为 myfunction 的函数，并在该函数中定义一个名为 "x" 的自变量，则任何名为 "x" 的全局变量（函数之外的变量）将不受它的印象，从而消除了负作用。

在 C 中是这样，但在 bash 中却不是。在 bash 中，每当在函数内部创建环境变量，就将其添加到全局名称空间。这意味着，该变量将重写函数之外的全局变量，并在函数退出之后继续存在：

 #!/usr/bin/env bash      myvar="hello"      myfunc() {          myvar="one two three"       for x in $myvar       do           echo $x       done   }      myfunc      echo $myvar $x

运行此脚本时，它将输出 "one two three three"，这显示了在函数中定义的 "$myvar" 如何影响全局变量 "$myvar"，以及循环控制变量 "$x" 如何在函数退出之后继续存在（如果 "$x" 全局变量存在，也将受到影响）。

在这个简单的例子中，很容易找到该错误，并通过使用其它变量名来改正错误。但这不是正确的方法，解决此问题的最好方法是通过使用 "local" 命令，在一开始就预防影响全局变量的可能性。当使用 "local" 在函数内部创建变量时，将把它们放在局部名称空间中，并且不会影响任何全局变量。这里演示了如何实现上述代码，以便不重写全局变量：

    #!/usr/bin/env bash      myvar="hello"      myfunc() {       local x       local myvar="one two three"       for x in $myvar       do           echo $x       done   }      myfunc      echo $myvar $x

此函数将输出 "hello" -- 不重写全局变量 "$myvar"，"$x" 在 myfunc 之外不继续存在。在函数的第一行，我们创建了以后要使用的局部变量 x，而在第二个例子 (local myvar="one two three"") 中，我们创建了局部变量 myvar，同时为其赋值。在将循环控制变量定义为局部变量时，使用第一种形式很方便，因为不允许说："for local x in $myvar"。此函数不影响任何全局变量，鼓励您用这种方式设计所有的函数。只有在明确希望要修改全局变量时，才不应该使用 "local"。

Bash 实例，第一部分

2007-11-15T15:31:00.000+08:00

2000 年 3 月 01 日

通过学习如何使用 bash 脚本语言编程，将使 Linux 的日常交互更有趣和有生产力，同时还可以利用那些已熟悉和喜爱的标准 UNIX 概念（如管道和重定向）。在此三部分系列中，Daniel Robbins 将以示例指导您如何用 bash 编程。他将讲述非常基本的知识（这使此系列十分适合初学者），并在后续系列中逐步引入更高级特性。

您可能要问：为什么要学习 Bash 编程？好，以下是几条令人信服的理由：

已经在运行它

如果查看一下，可能会发现：您现在正在运行 bash。因为 bash 是标准 Linux shell，并用于各种目的，所以，即使更改了缺省 shell，bash 可能仍在系统中某处运行。因为 bash 已在运行，以后运行的任何 bash 脚本都天生是有效利用内存的，因为它们与任何已运行的 bash 进程共享内存。如果正在运行的工具可以胜任工作，并且做得很好，为什么还要装入一个 500K 的解释器？

回页首

已经在使用它

不仅在运行 bash，实际上，您每天还在与 bash 打交道。它总在那里，因此学习如何最大限度使用它是有意义的。这样做将使您的 bash 经验更有趣和有生产力。但是为什么要学习 bash 编程？很简单，因为您已在考虑如何运行命令、CPing 文件以及管道化和重定向输出。为什么不学习一种语言，以便使用和利用那些已熟悉和喜爱的强大省时的概念？命令 shell 开启了 UNIX 系统的潜能，而 bash 正是这个 Linux shell。它是您和机器之间的高级纽带。增长 bash 知识吧，这将自动提高您在 Linux 和 UNIX 中的生产力 -- 就那么简单。

回页首

Bash 困惑

以错误方式学习 bash 令人十分困惑。许多新手输入 "man bash" 来查看 bash 帮助页，但只得到非常简单和技术方面的 shell 功能性描述。还有人输入 "info bash"（来查看 GNU 信息文档），只能得到重新显示的帮助页，或者（如果幸运）略为友好的信息文档。

尽管这可能使初学者有些失望，但标准 bash 文档无法满足所有人的要求，它只适合那些已大体熟悉 shell 编程的人。帮助页中确实有很多极好的技术信息，但对初学者的帮助却有限。

这就是本系列的目的所在。在本系列中，我将讲述如何实际使用 bash 编程概念，以便编写自己的脚本。与技术描述不同，我将以简单的语言为您解释，使您不仅知道事情做什么，还知道应在何时使用。在此三部分系列末尾，您将可以自己编写复杂的 bash 脚本，并可以自如地使用 bash 以及通过阅读（和理解）标准 bash 文档来补充知识。让我们开始吧。

回页首

环境变量

在 bash 和几乎所有其它 shell 中，用户可以定义环境变量，这些环境变量在以 ASCII 字符串存储。环境变量的最便利之处在于：它们是 UNIX 进程模型的标准部分。这意味着：环境变量不仅由 shell 脚本独用，而且还可以由编译过的标准程序使用。当在 bash 中"导出"环境变量时，以后运行的任何程序，不管是不是 shell 脚本，都可以读取设置。一个很好的例子是 vipw 命令，它通常允许 root 用户编辑系统口令文件。通过将 EDITOR 环境变量设置成喜爱的文本编辑器名称，可以配置 vipw，使其使用该编辑器，而不使用 vi，如果习惯于 xemacs 而确实不喜欢 vi，那么这是很便利的。

在 bash 中定义环境变量的标准方法是：

$ myvar='This is my environment variable!'

以上命令定义了一个名为 "myvar" 的环境变量，并包含字符串 "This is my environment variable!"。以上有几点注意事项：第一，在等号 "=" 的两边没有空格，任何空格将导致错误（试一下看看）。第二个件要注意的事是：虽然在定义一个字时可以省略引号，但是当定义的环境变量值多于一个字时（包含空格或制表键），引号是必须的。

引用细节

有关如何在 bash 中使用引号的非常详尽的信息，请参阅 bash 帮助页面中的"引用"一节。特殊字符序列由其它值"扩展"（替换）确实使 bash 中字符串的处理变得复杂。本系列将只讲述最常用的引用功能。

第三，虽然通常可以用双引号来替代单引号，但在上例中，这样做会导致错误。为什么呢？因为使用单引号禁用了称为扩展的 bash 特性，其中，特殊字符和字符系列由值替换。例如，"!" 字符是历史扩展字符，bash 通常将其替换为前面输入的命令。（本系列文章中将不讲述历史扩展，因为它在 bash 编程中不常用。有关历史扩展的详细信息，请参阅 bash 帮助页中的"历史扩展"一节。）尽管这个类似于宏的功能很便利，但我们现在只想在环境变量后面加上一个简单的感叹号，而不是宏。

现在，让我们看一下如何实际使用环境变量。这有一个例子：

$ echo $myvar  This is my environment variable!

通过在环境变量的前面加上一个 $，可以使 bash 用 myvar 的值替换它。这在 bash 术语中叫做"变量扩展"。但是，这样做将怎样：

$ echo foo$myvarbar  foo

我们希望回显 "fooThis is my environment variable!bar"，但却不是这样。错在哪里？简单地说，bash 变量扩展设施陷入了困惑。它无法识别要扩展哪一个变量：$m、$my、$myvar 、$myvarbar 等等。如何更明确清楚地告述 bash 引用哪一个变量？试一下这个：

$ echo foo${myvar}bar  fooThis is my environment variable!bar

如您所见，当环境变量没有与周围文本明显分开时，可以用花括号将它括起。虽然 $myvar 可以更快输入，并且在大多数情况下正确工作，但 ${myvar} 却能在几乎所有情况下正确通过语法分析。除此之外，二者相同，将在本系列的余下部分看到变量扩展的两种形式。请记住：当环境变量没有用空白（空格或制表键）与周围文本分开时，请使用更明确的花括号形式。

回想一下，我们还提到过可以"导出"变量。当导出环境变量时，它可以自动地由以后运行的任何脚本或可执行程序环境使用。shell 脚本可以使用 shell 的内置环境变量支持"到达"环境变量，而 C 程序可以使用 getenv() 函数调用。这里有一些 C 代码示例，输入并编译它们 -- 它将帮助我们从 C 的角度理解环境变量：

myvar.c -- 样本环境变量 C 程序

#include <stdio.h>  #include <stdlib.h>  int main(void) {    char *myenvvar=getenv("EDITOR");    printf("The editor environment variable is set to %s\n",myenvvar);  }

将上面的代码保存到文件 myenv.c 中，然后发出以下命令进行编译：

$ gcc myenv.c -o myenv

现在，目录中将有一个可执行程序，它在运行时将打印 EDITOR 环境变量的值（如果有值的话）。这是在我机器上运行时的情况：

$ ./myenv  The editor environment variable is set to (null)

啊... 因为没有将 EDITOR 环境变量设置成任何值，所以 C 程序得到一个空字符串。让我们试着将它设置成特定值：

$ EDITOR=xemacs  $ ./myenv  The editor environment variable is set to (null)

虽然希望 myenv 打印值 "xemacs"，但是因为还没有导出环境变量，所以它却没有很好地工作。这次让它正确工作：

$ export EDITOR  $ ./myenv  The editor environment variable is set to xemacs

现在，如您亲眼所见：不导出环境变量，另一个进程（在本例中是示例 C 程序）就看不到环境变量。顺便提一句，如果愿意，可以在一行定义并导出环境变量，如下所示：

$ export EDITOR=xemacs

这与两行版本的效果相同。现在该演示如何使用 unset 来除去环境变量：

$ unset EDITOR  $ ./myenv  The editor environment variable is set to (null)

dirname 和 basename

请注意：dirname 和 basename 不是磁盘上的文件或目录，它们只是字符串操作命令。

回页首

截断字符串概述

截断字符串是将初始字符串截断成较小的独立块，它是一般 shell 脚本每天执行的任务之一。很多时候，shell 脚本需要采用全限定路径，并找到结束的文件或目录。虽然可以用 bash 编码实现（而且有趣），但标准 basename UNIX 可执行程序可以极好地完成此工作：

$ basename /usr/local/share/doc/foo/foo.txt  foo.txt  $ basename /usr/home/drobbins  drobbins

Basename 是一个截断字符串的极简便工具。它的相关命令 dirname 返回 basename 丢弃的"另"一部分路径。

$ dirname /usr/local/share/doc/foo/foo.txt  /usr/local/share/doc/foo  $ dirname /usr/home/drobbins/  /usr/home

回页首

命令替换

需要知道一个简便操作：如何创建一个包含可执行命令结果的环境变量。这很容易：

$ MYDIR=`dirname /usr/local/share/doc/foo/foo.txt`  $ echo $MYDIR  /usr/local/share/doc/foo

上面所做的称为"命令替换"。此例中有几点需要指出。在第一行，简单地将要执行的命令以 反引号 括起。那不是标准的单引号，而是键盘中通常位于 Tab 键之上的单引号。可以用 bash 备用命令替换语法来做同样的事：

$ MYDIR=$(dirname /usr/local/share/doc/foo/foo.txt)  $ echo $MYDIR  /usr/local/share/doc/foo

如您所见，bash 提供多种方法来执行完全一样的操作。使用命令替换可以将任何命令或命令管道放在 ` ` 或 $( ) 之间，并将其分配给环境变量。真方便！下面是一个例子，演示如何在命令替换中使用管道：

MYFILES=$(ls /etc | grep pa)  bash-2.03$ echo $MYFILES  pam.d passwd

回页首

象专业人员那样截断字符串

尽管 basename 和 dirname 是很好的工具，但有时可能需要执行更高级的字符串"截断"，而不只是标准的路径名操作。当需要更强的说服力时，可以利用 bash 内置的变量扩展功能。已经使用了类似于 ${MYVAR} 的标准类型的变量扩展。但是 bash 自身也可以执行一些便利的字符串截断。看一下这些例子：

$ MYVAR=foodforthought.jpg  $ echo ${MYVAR##*fo}  rthought.jpg  $ echo ${MYVAR#*fo}  odforthought.jpg

在第一个例子中，输入了 ${MYVAR##*fo}。它的确切含义是什么？基本上，在 ${ } 中输入环境变量名称，两个 ##，然后是通配符 ("*fo")。然后，bash 取得 MYVAR，找到从字符串 "foodforthought.jpg" 开始处开始、且匹配通配符 "*fo" 的最长子字符串，然后将其从字符串的开始处截去。刚开始理解时会有些困难，为了感受一下这个特殊的 "##" 选项如何工作，让我们一步步地看看 bash 如何完成这个扩展。首先，它从 "foodforthought.jpg" 的开始处搜索与 "*fo" 通配符匹配的子字符串。以下是检查到的子字符串：

f     fo      MATCHES *fo  foo   food  foodf         foodfo      MATCHES *fo  foodfor  foodfort      foodforth  foodfortho    foodforthou  foodforthoug  foodforthought  foodforthought.j  foodforthought.jp  foodforthought.jpg

在搜索了匹配的字符串之后，可以看到 bash 找到两个匹配。它选择最长的匹配，从初始字符串的开始处除去，然后返回结果。

上面所示的第二个变量扩展形式看起来与第一个相同，但是它只使用一个 "#" -- 并且 bash 执行几乎同样的过程。它查看与第一个例子相同的子字符串系列，但是 bash 从初始字符串除去最短的匹配，然后返回结果。所以，一查到 "fo" 子字符串，它就从字符串中除去 "fo"，然后返回 "odforthought.jpg"。

这样说可能会令人十分困惑，下面以一简单方式记住这个功能。当搜索最长匹配时，使用 ##（因为 ## 比 # 长）。当搜索最短匹配时，使用 #。看，不难记吧！等一下，怎样记住应该使用 '#' 字符来从字符串开始部分除去？很简单！注意到了吗：在美国键盘上，shift-4 是 "$"，它是 bash 变量扩展字符。在键盘上，紧靠 "$" 左边的是 "#"。这样，可以看到："#" 位于 "$" 的"开始处"，因此（根据我们的记忆法），"#" 从字符串的开始处除去字符。您可能要问：如何从字符串末尾除去字符。如果猜到我们使用美国键盘上紧靠 "$" 右边的字符 ("%)，那就猜对了。这里有一些简单的例子，解释如何截去字符串的末尾部分：

$ MYFOO="chickensoup.tar.gz"  $ echo ${MYFOO%%.*}  chickensoup  $ echo ${MYFOO%.*}  chickensoup.tar

正如您所见，除了将匹配通配符从字符串末尾除去之外，% 和 %% 变量扩展选项与 # 和 ## 的工作方式相同。请注意：如果要从末尾除去特定子字符串，不必使用 "*" 字符：

MYFOOD="chickensoup"  $ echo ${MYFOOD%%soup}  chicken

在此例中，使用 "%%" 或 "%" 并不重要，因为只能有一个匹配。还要记住：如果忘记了应该使用 "#" 还是 "%"，则看一下键盘上的 3、4 和 5 键，然后猜出来。

可以根据特定字符偏移和长度，使用另一种形式的变量扩展，来选择特定子字符串。试着在 bash 中输入以下行：

$ EXCLAIM=cowabunga  $ echo ${EXCLAIM:0:3}  cow  $ echo ${EXCLAIM:3:7}  abunga

这种形式的字符串截断非常简便，只需用冒号分开来指定起始字符和子字符串长度。

回页首

应用字符串截断

现在我们已经学习了所有截断字符串的知识，下面写一个简单短小的 shell 脚本。我们的脚本将接受一个文件作为自变量，然后打印：该文件是否是一个 tar 文件。要确定它是否是 tar 文件，将在文件末尾查找模式 ".tar"。如下所示：

mytar.sh -- 一个简单的脚本

#!/bin/bash  if [ "${1##*.}" = "tar" ]  then       echo This appears to be a tarball.  else      echo At first glance, this does not appear to be a tarball.  fi

要运行此脚本，将它输入到文件 mytar.sh 中，然后输入 "chmod 755 mytar.sh"，生成可执行文件。然后，如下做一下 tar 文件试验：

$ ./mytar.sh thisfile.tar  This appears to be a tarball.  $ ./mytar.sh thatfile.gz  At first glance, this does not appear to be a tarball.

好，成功运行，但是不太实用。在使它更实用之前，先看一下上面使用的 "if" 语句。语句中使用了一个布尔表达式。在 bash 中，"=" 比较运算符检查字符串是否相等。在 bash 中，所有布尔表达式都用方括号括起。但是布尔表达式实际上测试什么？让我们看一下左边。根据前面所学的字符串截断知识，"${1##*.}" 将从环境变量 "1" 包含的字符串开始部分除去最长的 "*." 匹配，并返回结果。这将返回文件中最后一个 "." 之后的所有部分。显然，如果文件以 ".tar" 结束，结果将是 "tar"，条件也为真。

您可能会想：开始处的 "1" 环境变量是什么。很简单 -- $1 是传给脚本的第一个命令行自变量，$2 是第二个，以此类推。好，已经回顾了功能，下面来初探 "if" 语句。

回页首

If 语句

与大多数语言一样，bash 有自己的条件形式。在使用时，要遵循以上格式；即，将 "if" 和 "then" 放在不同行，并使 "else" 和结束处必需的 "fi" 与它们水平对齐。这将使代码易于阅读和调试。除了 "if,else" 形式之外，还有其它形式的 "if" 语句：

if [ condition ]  then       action  fi

只有当 condition 为真时，该语句才执行操作，否则不执行操作，并继续执行 "fi" 之后的任何行。

if [ condition ]  then       action  elif [ condition2 ]  then       action2  .  .  .  elif [ condition3 ]  then   else      actionx  fi

以上 "elif" 形式将连续测试每个条件，并执行符合第一个真条件的操作。如果没有条件为真，则将执行 "else" 操作，如果有一个条件为真，则继续执行整个 "if,elif,else" 语句之后的行。

java HashMap 如何排序后输出

2007-11-15T10:53:00.001+08:00

工作中相信大家都会是HashMap记录一些映射，记录完后可能还需要对其排序后输出。下面是一简单例子，记录下以作备忘！

HashMap<Term, Float> termMap = new HashMap<Term, Float>();

List entries = new ArrayList(termMap.entrySet());
 Comparator cmp = new Comparator() {
 public int compare(Object o1, Object o2) {
 Map.Entry e1 = (Map.Entry) o1;
 Map.Entry e2 = (Map.Entry) o2;
 Comparable v1 = (Comparable) e1.getValue();
 Comparable v2 = (Comparable) e2.getValue();
 return v2.compareTo(v1);
 }
 };
 Collections.sort(entries, cmp);
 Iterator keys = entries.iterator();
 int resultCounter = 0;
 String queryString = "";
 while (keys.hasNext() && resultCounter < expandSize) {
 Map.Entry en = (Map.Entry) keys.next();
 Term t = new Term(((Term) en.getKey()).field(),
 ((Term) en.getKey()).text());
// System.out.println("oringe Term:" + t);
 if (oringeSet.contains(t)) {
 System.out.println("oringe Term:" + t);
 continue;
 }
 queryString += en.getKey() + " ";
 resultCounter++;
 }

java Map的访问方法备忘，Comparator例子

2007-11-14T16:26:00.000+08:00

1.把Map中的Key或Value转化为数组

HashMap ssMap = new HashMap();

Counter counters[] = new Counter[ssMap.size()];
ssMap.values().toArray(counters); //转化，counters不需实例化
Arrays.sort(counters,new DfComparator());//排序

2. Comparator 实例

继承Comparator也可以实现排序，但相对Comparable接口更加灵活，用不同的Comparator实例可以实现不同的排序方法

class DfComparator implements Comparator
{
public int compare(Object o1, Object o2) {
  // TODO Auto-generated method stub
  Counter c1 = (Counter)o1;
  Counter c2 = (Counter)o2;

return c2.df - c1.df;
}
public boolean equals(Object obj)
{
return true;
}

}

3.Map访问语句备忘

public static void print(Map map)
{
  Set set = map.entrySet();
  Iterator iter = set.iterator();
  while(iter.hasNext())
  {
   Map.Entry entry = (Map.Entry)iter.next();
   entry.getKey();
   entry.getValue();
  }
}

博客有偿供稿，大势所趋

2007-11-14T13:51:00.000+08:00

博客有偿供稿，大势所趋

web2.0时代个人的声音，越来越响亮，光就博客一项就给各大博客网站带来无数的流量，当然也给个人带来快乐，让个人的思想得到传播。看看老徐的博客点击突破上亿大关，现在正热的财经博客动辄点击过千万，甚至过亿，这些也许数据肯定会让各个频道的编辑汗颜，也会倍感危机，人民的力量实在伟大。

实际上这巨大的流量能给各大网址带来巨大的利润，但还没有那个博客给这些勤劳的供稿人正式付过稿费，我一直觉得会有那个一家网址会先吃螃蟹，但没想到的却是soosee这个刚开张的小网址，而且还打着公益的名义，但总算有了破冰的尝试，也许soosee只是争着做烈士，但我觉得博客有偿供稿，大势所趋。各位博主们，努力经营自己的博客吧！

如何读取Lucene索引数据1

2007-11-14T01:38:00.001+08:00

Lucene源码分析(1) -- 如何读取Lucene索引数据

终于清楚如何用读Lucene的索引 :-)。本文要介绍一下如何利用IndexReader获取信息。为什么要读索引呢？因为我需要实现这些功能：
(1) 统计term在整个collection中的文档频度(document frequency, DF)；
(2) 统计term在整个collection中出现的词次(term frequency in whole collection)；
(3) 统计term在某个文档中出现的频度(term frequency, TF)；
(4) 列出term在某文档中出现的位置(position)；
(5) 整个collection中文档的个数；

那么为什么要用到这些数据呢？这些数据是实现TR(Text Retrieval，文本检索)的必备的"原料"，而且是经过加工的。在检索之前，只有原始文本(raw data)；经过索引器(indexer)的处理之后，原始文本变成了一个一个的term(或者token)，然后被indexer纪录下来所在的位置、出现的次数。有了这些数据，应用一些模型，就可以实现搜索引擎实现的功能――文本检索。

聪明的读者您可能会说，这看起来似乎很好做，不过就是计数(count)么。不错，就是计数，或者说是统计。但是看似简单的过程，如果加上空间(内存容量)的限制，就显得不那么简单了。假设如果每篇文档有100个term，每个term需要存储10字节信息，存1,000,000篇文档需要 10x100x10^6=10^9=2^30字节，也就是1GB。虽然现在1G内存不算什么，可是总不能把1GB的数据时时刻刻都放入内存吧。那么放入硬盘好了，现在需要用数据的时候，再把1GB数据从硬盘搬到内存。OK，可以先去冲杯咖啡，回来在继续下面的操作。这是1,000,000的文档，如果更多一点呢，现在没有任何辅助数据结构的方式，会导致很差的效率。

Lucene的索引会把数据分成段，并且在需要的时候才读，不需要的时候就让数据乖乖地呆在硬盘上。Lucene本身是一个优秀的索引引擎，能够提供有效的索引和检索机制。文本的目的是，介绍如用利用Lucene的API，如何从已经建好的索引的数据中读取需要的信息。至于Lucene如何使用，我会在后续的文章中逐渐介绍。

我们一步一步来看。这里建设已经有实现建好索引，存放在index目录下。好，要读索引，总得先生成一个读索引器(即Lucene中IndexReader的实例)。好，写下面的程序(程序为C#程序，本文使用DotLucene)。
IndexReader reader;
问题出来了，IndexReader是一个abstract类，不能实例化。那好，换派生类试试看。找到IndexReader的两个孩子――SegmentReader和MultiReader。用哪个呢？无论是哪个都需要一大堆参数(我是颇费了周折才搞清楚它们的用途，后面再解释)，似乎想用Lucene的索引数据不是那么容易啊。通过跟踪代码和查阅文档，我终于找到使用IndexReader的钥匙。原来IndexReader有一个"工厂模式"的static interface――IndexReader.Open。定义如下：
#0001 public static IndexReader Open(System.String path)
#0002 public static IndexReader Open(System.IO.FileInfo path)
#0003 public static IndexReader Open(Directory directory)
#0004 private static IndexReader Open(Directory directory, bool closeDirectory)
其中有三个是public的接口，可供调用。打开一个索引，就是这么简单：
#0001 IndexReader reader = IndexReader.Open(index);

实际上，这个打开索引经历了这样的一个过程：
#0001 SegmentInfos infos = new SegmentInfos();
#0002 Directory directory = FSDirectory.GetDirectory(index, false);
#0003 infos.Read(directory);
#0004 bool closeDirectory = false;
#0005 if (infos.Count == 1)
#0006 {
#0007 // index is optimized
#0008 return new SegmentReader(infos, infos.Info(0), closeDirectory);
#0009 }
#0010 else
#0011 {
#0012 IndexReader[] readers = new IndexReader[infos.Count];
#0013 for (int i = 0; i < infos.Count; i++)
#0014 readers[i] = new SegmentReader(infos.Info(i));
#0015 return new MultiReader(directory, infos, closeDirectory, readers);
#0016 }

首先要读入索引的段信息(segment information, #0001~#0003)，然后看一下有几个段：如果只有一个，那么可能是优化过的，直接读取这一个段就可以(#0008)；否则需要一次读入各个段(#0013~#0014)，然后再拼成一个MultiReader(#0015)。打开索引文件的过程就是这样。

接下来我们要看看如何读取信息了。用下面这段代码来说明。
#0001 public static void PrintIndex(IndexReader reader)
#0002 {
#0003 //显示有多少个document
#0004 System.Console.WriteLine(reader + "\tNumDocs = " + reader.NumDocs());
#0005 for (int i = 0; i < reader.NumDocs(); i++)
#0006 {
#0007 System.Console.WriteLine(reader.Document(i));
#0008 }
#0009
#0010 //枚举term，获得<document, term freq, position* >信息
#0011 TermEnum termEnum = reader.Terms();
#0012 while (termEnum.Next())
#0013 {
#0014 System.Console.Write(termEnum.Term());
#0015 System.Console.WriteLine("\tDocFreq=" + termEnum.DocFreq());
#0016
#0017 TermPositions termPositions = reader.TermPositions(termEnum.Term());
#0018 int i = 0;
#0019 int j = 0;
#0020 while (termPositions.Next())
#0021 {
#0022 System.Console.WriteLine((i++) + "->" + " DocNo:" + termPositions.Doc() + ", Freq:" + termPositions.Freq());
#0023 for (j = 0; j < termPositions.Freq(); j++)
#0024 System.Console.Write("[" + termPositions.NextPosition() + "]");
#0025 System.Console.WriteLine();
#0026 }
#0027
#0028 //直接获取 <term freq, document> 的信息
#0029 TermDocs termDocs = reader.TermDocs(termEnum.Term());
#0030 while (termDocs.Next())
#0031 {
#0032 System.Console.WriteLine((i++) + "->" + " DocNo:" + termDocs.Doc() + ", Freq:" + termDocs.Freq());
#0033 }
#0034 }
#0035
#0036 // FieldInfos fieldInfos = reader.fieldInfos;
#0037 // FieldInfo pathFieldInfo = fieldInfos.FieldInfo("path");
#0038
#0039 //显示 term frequency vector
#0040 for (int i = 0; i < reader.NumDocs(); i++)
#0041 {
#0042 //对contents的token之后的term存于了TermFreqVector
#0043 TermFreqVector termFreqVector = reader.GetTermFreqVector(i, "contents");
#0044
#0045 if (termFreqVector == null)
#0046 {
#0047 System.Console.WriteLine("termFreqVector is null.");
#0048 continue;
#0049 }
#0050
#0051 String fieldName = termFreqVector.GetField();
#0052 String[] terms = termFreqVector.GetTerms();
#0053 int[] frequences = termFreqVector.GetTermFrequencies();
#0054
#0055 System.Console.Write("FieldName:" + fieldName);
#0056 for (int j = 0; j < terms.Length; j++)
#0057 {
#0058 System.Console.Write("[" + terms[j] + ":" + frequences[j] + "]");
#0059 }
#0060 System.Console.WriteLine();
#0061 }
#0062 System.Console.WriteLine();
#0063 }

#0004 计算document的个数
#0012~#0034 枚举collection中所有的term
其中#0017~#0026 枚举每个term在出现的document中的所有位置(第几个词，从1开始计数)；#0029~#0033 计算每个term出现在哪些文档和相应的出现频度(即DF和TF)。
#0036~#0037在reader是SegmentReader类型的情况下有效。
#0040~#0061可以快速的读取某篇文档中出现的term和相应的频度。但是这部分需要在建索引时，设置storeTermVector为true。比如
doc.Add(Field.Text("contents", reader, true));
其中的第三项即是。默认为false。

有了这些数据，就可以统计我需要的数据了。以后我会介绍如何建立索引，如何应用Lucene。

NekoHTML学习笔记 (zhuan)

2007-11-13T23:49:00.000+08:00

NekoHTML学习笔记

　　J. Andrew Clark用Java写了一系列的工具(Java APIs)，NekoHTML是其中之一。
　　NekoHTML是一个简单地HTML扫描器和标签补偿器(tag balancer) ,使得程序能解析HTML文档并用标准的XML接口来访问其中的信息。这个解析器能投扫描HTML文件并"修正"许多作者（人或机器）在编写HTML文档过程中常犯的错误。NekoHTML能增补缺失的父元素、自动用结束标签关闭相应的元素，以及不匹配的内嵌元素标签。NekoHTML的开发使用了Xerces Native Interface (XNI)，后者是Xerces2的实现基础。

一、运行要求

　　从NekoHTML主页上下载nekohtml-latest.zip，目前版本是0.8.
　　NekoHTML要求运行在java1.1或更高版本，Xerces-J 2.0或更高版本。（我在试用时，随便拿了个xerces的包来用，结果例如运行老时不能通过，折腾半天后才发现版本不够所致.:)
　　

二、使用NekoHTML

1、透明地创建HTML解析器
　　利用Xerces2.0为基础，应用程序通过JAXP实例化解析器对象时，可以透明地创建HTML解析器，此时只需要将NekoHTML的jar文件，在CLASSPATH中放在Xerces的jar文件之前即可。nekohtmlXni.jar中的META-INF/services/org.apache.xerces.xni.parser.XMLParserConfiguration文件会被Xerces的读取并取代标准的设置文件，此处org.apache.xerces.xni.parser.XMLParserConfiguration文件的内容就是一个字符串"org.cyberneko.html.HTMLConfiguration"。这种方法的好处是简单透明，缺点是影响了Xerces在其它情况下的使用。

2、便利的HTML解析器类
　　要想避免上述的问题，可以使用org.cyberneko.html.parsers包的DOM和SAX解析器类来创建解析器，这两个类都使用了HTMLConfiguration类。解析器一旦创建之后，就可以解析HTML文件，并用标准的XML接口来访问文件中的信息，就象面对的是一个XML文件一样。
　　下面的代码是NekoHTML自带的例程，我改了一下，使其可以显示HTML文件内容，而不显示类的名字。

package sample;

import org.cyberneko.html.parsers.DOMParser;

import org.w3c.dom.Document;

import org.w3c.dom.Node;

public class TestHTMLDOM {

public static void main(String[] argv) throws Exception {

DOMParser parser = new DOMParser();

for (int i = 0; i < argv.length; i++) {

parser.parse(argv[i]);

print(parser.getDocument(), "");

}

public static void print(Node node, String indent) {

// System.out.println(indent+node.getClass().getName());

if (node.getNodeValue() != null){

if("".equals(node.getNodeValue().trim())){

}else{

System.out.print(indent);

System.out.println(node.getNodeValue());

}

Node child = node.getFirstChild();

while (child != null) {

print(child, indent+" ");

child = child.getNextSibling();

}

编译运行如下：

cd $NEKOHTML_HOME
cp build_html.xml build.xml
ant
java -cp nekohtml.jar;nekohtmlSamples.jar;xmlParserAPIs.jar;xercesImpl.jar sample.TestHTMLDOM test.html

如果一切正常可以显示HTML的内容了。
3、文档片段解析
　　除了DOM和SAX类，NekoHTML还提供了一个实验性质的DOMFragmentParser类，用以解析HTML文件的片段。我个人认为，由于浏览器的强大的容错能力，即使一个片段的HTML文件，也可以正确显示，由此也变相地造成了很多人不再关心的HTML的完整要求了。这个类，也许将是用的最多的。下面，看看nutch是如何使用nekoHTML的。

package net.nutch.fetcher;

...

import org.cyberneko.html.parsers.*;

import org.xml.sax.*;

import org.w3c.dom.*;

import org.w3c.dom.html.*;

import org.apache.html.dom.*;

/* A simple fetcher. */

public class Fetcher {

....

private DOMFragmentParser parser = new DOMFragmentParser();

....

private void handleFetch(URL url, FetchListEntry fle, Http.Response response)

throws IOException, SAXException {

//判断HTTP应答包的类型，只放过html文件

String contentType = response.getHeader("Content-Type");

if (contentType != null && !contentType.startsWith("text/html"))

throw new IOException("Unknown content-type: " + contentType);

//创建文件片段对象

DocumentFragment node = new HTMLDocumentImpl().createDocumentFragment();

//解析HTML内容

parser.parse(new InputSource(new ByteArrayInputStream(response.getContent())),node);

//取得全部文本内容

StringBuffer sb = new StringBuffer();

getText(sb, node);

String text = sb.toString();

//取得标题信息

sb.setLength(0);

getTitle(sb, node);

String title = sb.toString().trim();

//取得该页所有的出链

ArrayList l = new ArrayList();

getOutlinks(url, l, node);

//显示结果，存储信息

Outlink[] outlinks = (Outlink[])l.toArray(new Outlink[l.size()]);

LOG.fine("found " + outlinks.length + " outlinks in " + url);

outputPage(new FetcherOutput(fle, MD5Hash.digest(response.getContent()),

true, title, outlinks),

new FetcherContent(response.getContent()),

new FetcherText(text));

}

private static void getText(StringBuffer sb, Node node) {

if (node.getNodeType() == Node.TEXT_NODE) {

sb.append(node.getNodeValue());//取得结点值，即开始与结束标签之间的信息

}

NodeList children = node.getChildNodes();

if ( children != null ) {

int len = children.getLength();

for ( int i = 0; i < len; i++ ) {

getText(sb, children.item(i));//递归遍历DOM树

}

}

private static boolean getTitle(StringBuffer sb, Node node) {

if (node.getNodeType() == Node.ELEMENT_NODE) {

if ("title".equalsIgnoreCase(node.getNodeName())) {

getText(sb, node);

return true;

}

NodeList children = node.getChildNodes();

if (children != null) {

int len = children.getLength();

for (int i = 0; i < len; i++) {

if (getTitle(sb, children.item(i))) {

return true;

}

return false;

}

private static void getOutlinks(URL base, ArrayList outlinks, Node node) {

if (node.getNodeType() == Node.ELEMENT_NODE) {

if ("a".equalsIgnoreCase(node.getNodeName())) {

StringBuffer linkText = new StringBuffer();

getText(linkText, node);

NamedNodeMap attrs = node.getAttributes();

String target= null;

for (int i= 0; i < attrs.getLength(); i++ ) {

if ("href".equalsIgnoreCase(attrs.item(i).getNodeName())) {

target= attrs.item(i).getNodeValue();//在DOM树中，属性是一个结点。

break;

}

if (target != null)

try {

URL url = new URL(base, target);

outlinks.add(new Outlink(url.toString(),linkText.toString().trim()));

} catch (MalformedURLException e) {

// don't care

}

NodeList children = node.getChildNodes();

if ( children != null ) {

int len = children.getLength();

for ( int i = 0; i < len; i++ ) {

getOutlinks(base, outlinks, children.item(i));//递归遍历DOM树

}

....

}

注意，此处传递给解析过程parse的文档片段对象，必须是由org.w3c.dom.html.HTMLDocument类型的DOM文档对象创建，否则有异常。
　　HTMLConfiguration可以用于创建任何基于XNI解析器，可参考下例

package sample;

import org.apache.xerces.parsers.AbstractSAXParser;

import org.cyberneko.html.HTMLConfiguration;

public class HTMLSAXParser extends AbstractSAXParser {

public HTMLSAXParser() {

super(new HTMLConfiguration());

}

三、设置解析器参数

　　为了更加精确的控制解析的动作，nekohtml提供了相应的设置函数。如下列：

// settings on HTMLConfiguration

org.apache.xerces.xni.parser.XMLParserConfiguration config =

new org.cyberneko.html.HTMLConfiguration();

config.setFeature("http://cyberneko.org/html/features/augmentations", true);

config.setProperty("http://cyberneko.org/html/properties/names/elems", "lower");

// settings on DOMParser

org.cyberneko.html.parsers.DOMParser parser =

new org.cyberneko.html.parsers.DOMParser();

parser.setFeature("http://cyberneko.org/html/features/augmentations", true);

parser.setProperty("http://cyberneko.org/html/properties/names/elems", "lower");

nekohtml功能(feature)列表

功能	默认值	描述
http://cyberneko.org/html/features/balance-tags	True	是否允许增补缺失的标签。如果要以XML方式操作HTML文件，此值必须为真。此处提供设置功能，为了性能的原因。
http://cyberneko.org/html/features/balance-tags/ignore-outside-content	False	是否忽略文档根元素以后的数据。如果为false，<html>和<bod>被忽略，所有的内容都被解析。
http://cyberneko.org/html/features/document-fragment	False	解析HTML片段时是否作标签增补。此功能不要用在DOMParser上，而要用在DOMFragmentParser上。
http://apache.org/xml/features/scanner/notify-char-refs	False	当遇到字符实体引用（如＆#x20;）是否将(#x20)报告给相应地文档处理器。
http://apache.org/xml/features/scanner/notify-builtin-refs	False	当遇到XML内建的字符实体引用（如＆amp;）是否将(amp)报告给相应地文档处理器。
http://cyberneko.org/html/features/scanner/notify-builtin-refs	False	当遇到HTML内建的字符实体引用（如＆copy;）是否将(copy)报告给相应地文档处理器。
http://cyberneko.org/html/features/scanner/script/strip-comment-delims	False	是否剥掉<script>元素中的<!-- -->等注释符。
http://cyberneko.org/html/features/augmentations	False	是否将与HTML事件有关的infoset项包括在解析管道中。
http://cyberneko.org/html/features/report-errors	False	是否报告错误。

nekohtml属性列表

属性	默认值	值域	描述
http://cyberneko.org/html/properties/filters	null	XMLDocumentFilter[]	在解析管道的最后按数组顺序追加自定义的处理组件（过滤器），必须为数组类型。
http://cyberneko.org/html/properties/default-encoding	Windows-1252	IANA encoding names	默认的HTML文件编码
http://cyberneko.org/html/properties/names/elems	upper	upper,lower,match	如果整理识别出的元素名称
http://cyberneko.org/html/properties/names/attrs	lower	upper,lower,no-change	如果整理识别出的属性名称

四、管道过滤器

　　Xerces Native Interface (XNI)定义了一个解析器配置框架，在那儿一个个解析器以模块化组件的形式组成一个管道。这样一来，通过重新安排已有组件和/或新定制开发的组件，就可完成一个新的解析器配置工作。由于nekohtml是采用这个配置框架开发的，所以对解析器新增功能就很简单通过在默认的nekohtml解析管道的末端增加文档过滤器来实现。
　　要新开发一个过滤器，很简单地实现xerces2的org.apache.xerces.xni.parser包中的XMLDocumentFilter接口即可。这个接口，一方面使组件成为管道中上一级的事件处理器，另一方面又成为下级的信息源。针对nekohtml的过滤器开发，只需简单地扩展org.cyberneko.html.filters包中的DefaultFilter类即可。
　　将自行开发的过滤器加入管道，可参考以下两种办法：

XMLDocumentFilter noop = new DefaultFilter();

XMLDocumentFilter[] filters = { noop };

XMLParserConfiguration parser = new HTMLConfiguration();

parser.setProperty("http://cyberneko.org/html/properties/filters", filters);

　　nekohtml的org.cyberneko.html.filters 包中有DefaultFilter、
ElementRemover、Identity、Writer，能实现动态插入内容、删除元素、序列化HTML文档等，不详细述。

请参考：
DOMAPI学习
http://hedong.3322.org/archives/000228.html

SAXAPI学习笔记（2）
http://hedong.3322.org/archives/000232.html

Inside Lucene/超人气搜索引擎学习

2007-11-13T23:40:00.001+08:00

转：http://www.lucene.org.cn/read.php?tid=65
<搜索引擎的典型周期: 搜集数据->建立索引->应答搜索请求>

无论有多少精彩的应用, 这个印刷时代就诞生的公式都不会作废, 公式中最关键的成分是 1. 数据, 2.算法. 虽然二者中谁对结果质量更重要依然引起争论, 我的精力并未放在这两者上. 关于spider已有数本出名的专著, 算法原理的本质也早不是秘密, 这是搜索引擎必备的条件, 是基础设备而不是制胜的杀手锏. 面对一个活生生的搜索引擎, 研究这两者就像面对解剖台上的小白鼠, 却放下手术刀去查上课用的内脏图解. 我只注意实现, 实现是商业效率的体现, 这才是真刀真枪狼烟四起的地方.

抛开数据采集, 上边的周期分成两个相(phase), 1. Indexing(建立索引), 2.Searching(搜索). 还有一个现在看来显得古怪的词-检索, 图书馆系统大多用这个词. 中国人的词汇总是显得睿智, "索"本有求取寻找的意思, "索引"原本就是为搜索创造的. 那些题目是"倒排索引原理"大篇幅对索引和模式匹配进行比较的文章, 因此有些让人哭笑不得. 上述的两个phase正是lucene覆盖的范围(Lucene核心不提供crawler), 这两个phase一个用于生成索引(index), 一个用于从index取出数据, 可以看出Lucene的一切行为都和index有关. 幸好Lucene官方指南 Lucene in Action 在附录中用浅显的语言介绍了index的结构, 这让人了解Lucene怎么把一片片文档塞进去, 就像绞肉机把一片片五花肉里脊肉搅成肉酱. 但是有点遗憾的感觉: 搜索过程怎么把index中支离破碎的数据记录(index的结构用法着实很像数据库)恢复成检索结果? 就像主妇们怎么用屠夫的肉酱作出香喷喷的肉丸?

我从Query 的构造开始, 详细检验了Lucene处理Query的过程. 这种努力使我了解到index中的记录(就是数据库中的record概念), 如何在检索过程中起作用. 这是深入把握Lucene实现的基础, 若要对Lucene作基础的调整和改动, 自然缺不了这一步(这是我的动机之一). 这种探索也帮助我了解原始文档资料的各种属性如何决定搜索结果, 进一步的研究可以揭示出文档各属性的重要性以及文档对查询条件的敏感性, 从这里出发可以提炼出更普遍的原理, 再结合通用的Search Engine原理, 把"Search Engine是什么, 长什么样"深深地刻在脑海中. 这对我是一次很好的搜索引擎进阶的途径. 接下来的就是所谓SE优化( Search Engine Optimizing ), 不敢讲这种天怒人怨的话题...

Inside Lucene/超人气搜索引擎学习(1)-查询机制
TAG：framework_lucene
Searching with TermQuery 查询机制
任何用户, 包括系统开发者, 使用搜索引擎的共同方式只有一个: 查询(query). 整个搜索过程的目的是为了满足查询要求, 搜索过程是由查询贯穿的. 若没有指定查询, 而是从索引(index)的内容出发, "搜索"将是漫无目的且毫无意义的过程. 搜索过程的起点只能是索引.

以下引用自Lucene in Action 的入门章节, 在其中能看到Query是如何用来启动查询的.

CODE:

public class BasicSearchingTest extends LiaTestCase {
public void testTerm() throws Exception {
IndexSearcher searcher = new IndexSearcher(directory);
Term t = new Term("subject", "ant");
Query query = new TermQuery(t);
Hits hits = searcher.search(query);
assertEquals("JDwA", 1, hits.length());

t = new Term("subject", "junit");
hits = searcher.search(new TermQuery(t));
assertEquals(2, hits.length());

searcher.close();

}
}

[Copy to clipboard]

被称为面向对象设计经典范例的Lucene, 其架构确实能反映"查询"行为在真实世界模式, 这不愧是OOA/OOD方法带来的成熟设计. 这也让我对Lucene设计者的软件设计能力产生充足的敬佩, 要知道人家可是研究算法的. 通常搞学术和搞工程的人思想极不统一, 我同学在微软工作时曾经为研究院和工程院的代码差异头疼不已. Lucene的设计者们能把算法和代码集合得如此完美, 可以说是牛中之牛了.

我真正关心的是搜索算法如何依据Query导出查询结果. 上面的代码给我一些启示, 我知道了起点, 从searcher.search(query)开始, 我可以一步步了解Query在搜索过程里的作用机制.
为了满足真实世界的语义, Lucene提供了众多Query. 上面代码中的TermQuery是最简单的Query, 日常搜索有许多直接或间就由TermQuery组合而成. search(termQuery)的构造最基础, 不经过繁琐的转换. 所以我从TermQuery出发, 一步步考察搜索的核心机制.

进入search 方法前, 我了解了这些限制条件: TermQuery的语义中每一个Term指一个(field, keyword)对, 其描述的查询条件是: "在指定的字段(标题、作者、内容...)中出现指定的keyword"; 高级的search方法可以处理自定义的Filter, Sort, 此处的考察对象是不假这些自定义选项的最简单的search.

有了以上的限制, 我考察的对象--TermQuery查询过程已经被彻底简化了. 但在他和更复杂的重载方法中, 开发人员应用了相同的思路, 举一反三是我们可以期望做到的.

CODE:

public class IndexSearcher extends Searcher {
public TopDocs search(Query query, Filter filter, final int nDocs)
throws IOException {
Scorer scorer = query.weight(this).scorer(reader);
if (scorer == null)
return new TopDocs(0, new ScoreDoc[0]);

final BitSet bits = filter!=null?filter.bits(reader):null;
final HitQueue hq = new HitQueue(nDocs);
final int[] totalHits = new int[1];
scorer.score(new HitCollector() {
public final void collect(int doc, float score) {
if (score > 0.0f &&
(bits==null || bits.get(doc))) {
totalHits[0]++;
hq.insert(new ScoreDoc(doc, score));
}
}
});

ScoreDoc[] scoreDocs = new ScoreDoc[hq.size()];
for (int i = hq.size()-1; i >= 0; i--)
scoreDocs[i] = (ScoreDoc)hq.pop();

return new TopDocs(totalHits[0], scoreDocs);
}
...
}

[Copy to clipboard]

主干流程是:1.获取scorer对象

CODE:

Scorer scorer = termQuery.weight.scorer(indexReader)

2.调用这个Scorer对象(此处是TermScorer)的score (Collector)方法.
scorer.score(new HitCollector() {
...
});

[Copy to clipboard]

这两步之后, collector就把hq用查询结果填满了, 而用户得到的结果就是从hq中一个一个取出的. 这段代码中, indexReader用于读取index数据, 以供查询使用, Scorer负责用查询结果把Collector填满. 问题是,scorer的'查询结果'从哪里来? 如果IndexReader向Scorer提供数据, 数据内容是如何从索引文件中选取的?

Scorer 用一个匿名类Collector来收集满足TermQuery的Doc, 但Scorer怎么能够知道哪些文档符合Query? 真实查询并非在score()方法中进行, 从数据提取的角度来说, 现代搜索引擎都是从inverted index中提取的满足Term的文档列表. 是个人都知道inverted index里有什么, 由指定的keyword得到所有对应的文档就是利用inverted index数据结构完成的, 这也是搜索过程的核心--一个延续了数百年的索引方法. 我要考察的是, 在这个新式的OO搜索引擎框架中, 谁(哪个对象/类)负责提取term对应的记录, 他怎样把结果交给Scorer?

读取inverted index是IndexReader的责任, 这时已经提到过的. 关于这一点的知识来自于Lucene手册中星星点点的暗示和大量的代码阅读, 此处不纠缠这个问题, 现在关心的是Scorer和IndexReader怎样发生联系? 回忆一下上边的代码中TermQuery创建Scorer时用的参数, 正是IndexReader对象, 动动脚趾头也猜得出来TermQuery利用"创建"这种特权对score秘密动了手脚. 现在瞄一眼weight在构造scorer时玩了什么花样. 代码是这样写的

CODE:

public scorer weight#scorer(IndexReader reader){
TermDocs termDocs = reader.termDocs(term);

if (termDocs == null)
return null;

return new TermScorer(this, termDocs, getSimilarity(searcher),
reader.norms(term.field()));
}

class Scorer{
...
public void score(HitCollector hc) throws IOException {
while (next()) {
hc.collect(doc(), score());
}
}
...
public boolean next() throws IOException {
pointer++;
if (pointer >= pointerMax) {
pointerMax = termDocs.read(docs, freqs); // refill buffer
if (pointerMax != 0) {
pointer = 0;
} else {
termDocs.close(); // close stream
doc = Integer.MAX_VALUE; // set to sentinel value
return false;
}
}
doc = docs[pointer];
return true;
}
...
}

[Copy to clipboard]

可以看出, 上面的问题唯一可能的答案是: weight在构造Scorer时已经为Scorer决定了查询内容就在那个termDocs里. Scorer的代码也表明, 它在遍历所有合法文档时,背后的查询动作是在穷举一个数组:doc[], 而这个数组的来源就是TermDocs. 剩下的问题是,TermDoc在整个查询中扮演何种角色--它是怎么读数据的

看看TermDoc是个虾米东东
reader 创建好TermDoc后调用TermDoc.seek(term). 这个方法在硬盘索引文件中找到term所对应的所有文档记录, 每条记录包含文档id和term在文档中出现的次数tf. 这些文档信息是编制索引时就建好的, 索引文件中每个term对应的文档记录按顺序紧密排列在一起, seek方法能找到这些记录在索引中的开始位置及满足term的文档总数. 以后, TermDoc在scorer中的作用就是读入每个符合term的文档及term在该文档中的tf, 由于建好了索引只需在索引文件中遍历即可, termDoc包含的df将用于此过程的遍历计数.就是说scorer接收到的那个termDoc是调用过seek的, 已经定位到了term对应的数据位置,这便让scorer能遍历termQuery中所有包含那个term的Doc.

scorer怎样遍历全部doc
读数据又是另一门学问, 感兴趣的人也许研究过读一个100M文件,与读1000个1K byte文件有何区别,结果当然是震撼的.只要有可能,尽量读取整块数据而不是零碎地读取小数总不会让人失望，然而同样没有人会在构造一个对象时就去对一个未知大小(可能真的包含100万个文档)的数据.只要没收到必要请求,任何人都会尽力避免这种冗长的操作. Lucene的设计者同样只是让在scorer在需要读入数据即第一次调用next()方法时调用termDoc的read方法读数据(代码中黑体部分).为了避免零碎读取降低硬盘效率,termDoc.read()会一次性读入所有合法文档(当然仅包括文档id和tf, 建立索引的过程中,这两个数据一组组的放在专门的文件中,每个term对应的全部文档在这个文件里连续排列以避免零碎读取),scorer调用next ()语句,遍历read()返回的文档id数组,整个遍历过程只需把读出来的doc里的i进行++便万事大吉.

遍历过程中发生什么事情大家心里应该很清楚,无非是把这些doc(这就是搜索结果)一个个添加到Collector中. 查询结束后, 我们将得到一个int数组, 里面保存着每个结果文档的id. 要使用这些查询结果,用户还需要从按照每篇文档的id文档库中取出结果, 这些只需调用searcher.doc(id)即可完成的事务性过程不在本"技术"文章讨论范围中.

所谓搜索原来如此简单...

Inside Lucene/超人气搜索引擎学习(1.5)-面向对象
TAG：framewok_lucene

OO In Lucene Search 面向对象的Lucene

Nutch 正式立项以后, Apache 基金会的incubator里现存Lucene相关项目还有一个: Lucene4C. 顾名思义, 这是一个完完全全用C做成的搜索引擎, 很多对用Java做SE有意见的哥们热烈盼望这个东东快点孵化出来. 不过我担心已经已经用惯Lucene Java的同志们对Lucene4C的热情纯属叶公好龙, 理由很简单, 就像Lucene4C的说明中提到的, Lucene4C和Lucene Java的兼容是"底层兼容"即算法和索引格式的兼容, Lucene4C只是为那些惯于C代码的程序员而专门设计. 换言之, 虽然我们可以用Lucene4C搜索LuceneJava的索引或反过来用, 但绝对别指望Doug Cutting们会提供一个类似Java的接口API. 即使不提编程风格的差异, 那些只会把继承后的对象扔给API的家伙们怎么能在没有类的世界中生存呢, 没有了对象封装, 没有OCP/SRP, 还要处理种种指针, 光是调用memset/strcpy就够他们抓狂了.

从top level来讲, 将OOD的作品移植到C, 不仅是个浩大的工程, 还是个没法预期结果的定时炸弹. 不过我还是很盼望看到Lucene4C的成品, 我想抓住它的代码一行一行的读. 两种截然不同的设计理念生出一对双胞胎, 我要瞧瞧它们有什么不同, 相信Apache的天才们能让我在对比中学到很多.

所以要先搞清楚OO在Lucene中如何体现.

在利用TermQuery这个最基本的Query研讨查询机制后, 细心观察就会发现, 本来满以为用来实现查询机制的那个类Searcher, 其实和检索机制几乎毫无瓜葛, 就算有, 也不过是调用各参数的方法, 把这个作为那个的参数, 再把那个传给另外的某某. 诸如此类. Searcher是个指挥家, 负责调度各功能使之协调, 用OO的话说, 就是对象间的协作. 各对象的功能被Searcher的操作过程利用了, 至于这些功能如何实现, Searcher全然不知.

OO的一大强项是业务逻辑层面的简洁表达, 清晰的语义甚至可以用优雅来形容. 这可以视为高内聚低耦合设计的副产品. Searcher.search()方法描述的逻辑是, Query把满足查询条件的文档ID结果放到Scorer中, Scorer把结果塞进Collector. 这里还有个暗示的语义: 无论输入顺序是什么Collector中的结果总是按照score排序的. 从上述语义出发, 很容易分辨出职责的内聚以及类间的耦合关系.
具体考察一下TermQuery, 才更好理解内聚和耦合度. 在TermQuery的查询中, 对文档是否符合Term条件的判断由TermQuery负责, 而评分则由TermScorer负责. 单一职责原则SRP体现得非常明显, 而正是由于SRP被满足, Query/Scorer的耦合才得以解开.

设计的过程中, 职责内聚和抽象往往是同时完成. 所以在了解了Query/Scorer的职责后, Lucene的类结构显示出另一个十分重要的特性: 这就是开头提到的, Searcher与Query的查询过程无关. Searcher所要面对的查询是无类型的, 它需要处理各种查询. 查询的共同外部特征(在这里就是Searcher能访问的那些成员)抽象成了Query接口, Searcher与Scorer的关系也是这样. 由于使用了面向对象技术中至关重要的多态性, Searcher只面对接口(依赖倒置原则DIP), 这样就把查询的业务逻辑同各查询类型的算法逻辑有效的隔离开(解耦合)了. 这是职责内聚的结果, 同时也是把"查询"概念高度抽象的结果.

于是我们看到Searcher实现了针对"查询"的业务逻辑的描述, 对任何种类的查询, 这一业务流程都适用(抽象), 而如何实现查询的算法(结果提取和评分), 则是Query/Searcher各实现类负责(内聚). 这么做的好处不言而喻――OCP, 对扩展来说, Lucene是完全开放的, 而对更改则是封闭因而是安全的.
设想现在需要查询连续出现的Term, 单个TermQuery当然不够用, 检索算法已经变了. 但我们不需要改变现存任何一个类, 只要构建新的Query/Scorer实现类, 比如PhraseQuery/Scorer. 目前Lucene 1.4.3版已经提供这样一个检索类型.

当然, Lucene是OOD方法的杰作, 不止上述几点, 在各个实现层次上都能找到类似的设计痕迹, 这为整个软件包的扩展和应用提供了强大的架构保证. 相信这也是Lucene得以流行的深层原因.

Inside Lucene/超人气搜索引擎学习(2.0)-读取索引
上一节下一节

Index in Practice 索引: 按图索骥

TermDoc从哪读取数据,自然是硬盘上已经建好的某个index, 具体说, 是从index中的某个文件读取. 要了解TermDoc读了什么东东,怎么读这些东东,必要时得考察Lucene index的细部结构.

TermDoc是个抽象类,这很好,以后可以创建自己的index结构,建立自己的搜索算法.不过这之前先要了解Lucene是怎么干的,而这个抽象类并不包含这个信息,所以,我们首先要找到TermQuery使用哪个TermDoc实现.

回想一下scorer中的TermDoc从哪里来.

public class TermQuery extends Query {
private class TermWeight implements Weight {
public Scorer scorer(IndexReader reader) throws IOException {
TermDocs termDocs = reader.termDocs(term);

if (termDocs == null)
return null;

return new TermScorer(this, termDocs, getSimilarity(searcher),
reader.norms(term.field()));
}
...
}
...
}

从这段代码能找到真正创建TermDocs的那个类: IndexReader
用哪个TermDocs实现并不是TermQuery说了算,而是IndexReader的权利. TermQuery得到怎样一个TermDocs, 全由我们传递给TermQuery.weight.scorer()的那个IndexReader决定. 将这个TermDocs定位到指定的Term也完全由IndexReader负责。很遗憾,IndexReader也是抽象类. 想知道内幕?先找找IndexReader实现类。

如果按照用户手册的方法进行搜索, IndexReader的一个静态方法将被调用,它返回我们需要的一个IndexReader实现:SegmentReader, 这是整个查询中用到的reader。

顺藤摸瓜,很容易找到SegmentTermDocs这个类,也就是默认查询中SegmentReader使用的TermDocs,大部分查询结果通过这个类的实例来遍历.现在是时候翻它老底了,看看它怎么遍历数据,这些数据又从哪来.
<code>
class IndexReader{
public TermDocs termDocs(Term term) throws IOException {
TermDocs termDocs = termDocs();
termDocs.seek(term);
return termDocs;
}
...
}

class SegmentReader extends IndexReader{
public final TermDocs termDocs() throws IOException {
return new SegmentTermDocs(this);
}
...
}
</code>

从已经列出的代码中, 能清晰地看到SegmentTermDocs从创建到传递给scorer前进行的一系列动作:

1. SegmentTermDocs构造: 根据parent设定自己的属性
2. IndexReader调用TermDocs.seek(term); 实现类中这一步具体化为SegmentReader调用SegmentTermDocs.seek(term)

第二步中, SegmentTermDocs进行了实际对index文件的读取. 而为了进行这些IO操作, 像前边说的, 必须依靠IndexReader才能完成, 这就是SegmentTermDocs构造是需要参数SegmentReader的原因.

seek (term)方法中SegmentTermDocs利用构造函数的唯一参数IndexReader(也就是创建它的那个reader, 称作parent"), 在硬盘索引文件中定位指定的term, 读入相关信息:df(包含term的文档数), 以及满足该term的文档集合在index文件中的位置. 这个位置后面, 是创建索引时就已排好的包含这个term的文档信息.

seek 完成后, TermDoc已经准备好读取数据了, 只要一声令下, TermDoc.read方法立刻能把每一篇文档的id和该term在这篇文档中的次数tf. 前面的记载是, scorer对象调用read方法, 尔后遍历其返回的全部文档, 把他们一个个塞到Collector中

精妙繁复的步骤: seek如何完成?

这要涉及索引结构, 现在可以掀开索引文件的一个角, 偷窥下.

tis文件: Term InformationS
frq文件: FReQuency

必须注意到IO动作一定是在IndexReader的几个成员中作的, 所有其他类中的IO要么用这些成员的Clone来完成, 要么直接代理给IndexReader. SegmentTermDocs.seek(term)动作是通过IndexReader进行的, SegmentTermDocs把创建他的IndexReader尊为parent, 在seek这种关键时刻利用IndexReader来读取索引数据. 没办法, 索引文件的读取(输入流的建立和定位)全由IndexReader负责.
seek方法中为了实现定位而利用了IndexReader一个负责 Term定位的成员tis, 从他的类名TermInfoReader看就知道有什么用途. 这个tis从.tis文件中找到我们指定的term, 读出一切我们需要的信息: 这个term在多少个文档中出现过(df)/这些文档记录在frq文件的什么位置(起始位置) 等等.

得到这些信息后, TermDoc再自己seek, 这一步很简单, 除了几个加法和赋值, 唯一有特色的是对.frq文件的输入流(FileInputStream)进行seek(), seek()的数量正好是tis返回的"文档记录在frq文件中的位置". 这个流是IndexReader初始化时创建的, 专门从frq文件读数据. IndexReader创建TermDoc时, TermDoc把这个输入流Clone()了一下, 赋给自己的成员. 这一seek()把.frq文件的输入指针定位好, 以后真正需要这个流的地方只有从frq文件读文档数据那一阵. 读数据的过程就发生在屡次提到过的termDoc.read()里, 现在我知道这个方法的实现是SegmentTermDocs.read().

read ()的实现是简单的顺序读取文件流, 具体过程涉及Lucene索引文件的二进制结构, 我不想这时候过多地纠缠. 大致了解termDoc如何定位数据, 心中的疑惑就能解开一半. 关于索引文件结构、各文件的关系、程序如何厘清这些关系, 还值得更多的讨论.

到这一步, 结合已熟知的scorer调用TermDoc的方式, 查询过程的基本途径已经隐约呈现出来了.

BlogSpot 限制访问解决方法

2007-11-13T17:46:00.000+08:00

对于BlogSpot的博客，我发现通过修改hosts文件还是可以间接访问的，具体方法是：编辑WINDOWS\system32\drivers\ etc\hosts 文件，然后加入72.14.219.190 xxx.blogspot.com ，其中xxx是你的用户名，即可访问到你自己的BlogSpot了。

网络解释-- Yahoo VS Yodao

2007-11-10T19:31:00.001+08:00

网络词典中的网络解释或网络释义这种功能，想象大家都比较喜欢，今天试着比较了yahoo的网络解释和

有道的网络释义，查了很多，结论居然是 yahoo 远远不如有道，真是晕到！

看看下面的例子：

其实看看一些细节，就会明白强大的yahoo为什么中文搜索做不好，用户少，为什么163一直活的挺滋润的。

网络解释 (mad cow disease)

疯牛病

macroelement 宏量元素
Mad Cow Disease 疯牛病
magnesium 镁
http://www.foodmate.net/english/speciality/11177.html - 搜索相关网页
狂牛症

德鲁克告诉你组织是什么和为什么,汉迪告诉你面对组织时个人该怎么办。.Unit 2 Deer Dying from Mad Cow Disease 鹿只死于狂牛症 Unit 3 Dolphins Can Recognize Themselves in Mirrors.
http://www.joyo.com/book/detail.asp?prodid=zjbk355885&... - 搜索相关网页
一则有关英国狂牛病

展开模式   折叠模式   偏好设置

Mad Cow Disease:

1. 疯牛病

牛海绵状脑病(BSE),又称疯牛病(Mad Cow Disease),是牛的一种神经性、渐进性、致死性疾病.病牛临床表现为对触、听、视三觉过敏.
www.ilib.cn/A-xjxmy200201020.html - 搜索相关网页  -  基于95个网页

2. 狂牛病

生物学词汇英语翻译(M-P)--个人娱乐大全 ...
macular lutea 黄斑
mad cow disease 狂牛病
madreporic canal 石管 ...
pipi302.bioon.cn/go.asp?logid=45440 - 搜索相关网页  -  基于27个网页

3. 疯牛症

本类热门文章 ...
Japanese Encephalitis ***脑炎
Mad Cow Disease 疯牛症
Malaria 疟疾 ...
0352en.cn/hyyy/sort092/sort093/7412.html - 搜索相关网页  -  基于8个网页

lucene HitCollector 的作用

2007-11-09T14:55:00.001+08:00

HitCollector 的作用很简单，通过collect（）方法控制检索返回的结果，下面是lucene自带的一个例子----使用一个优先队列，返回指定数目的Top n Doc。

package org.apache.lucene.search;

/**
* Copyright 2004 The Apache Software Foundation
*
* Licensed under the Apache License, Version 2.0 (the "License");
* you may not use this file except in compliance with the License.
* You may obtain a copy of the License at
*
* http://www.apache.org/licenses/LICENSE-2.0
*
* Unless required by applicable law or agreed to in writing, software
* distributed under the License is distributed on an "AS IS" BASIS,
* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or
implied.
* See the License for the specific language governing permissions and
* limitations under the License.
*/

import java.io.IOException;
import java.util.BitSet;

import org.apache.lucene.store.Directory;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.Term;
import org.apache.lucene.util.PriorityQueue;

/** A {@link HitCollector} implementation that collects the top-
scoring
* documents, returning them as a {@link TopDocs}. This is used by
{@link
* IndexSearcher} to implement {@link TopDocs}-based search.
*
* This may be extended, overriding the collect method to, e.g.,
* conditionally invoke <code>super()</code> in order to filter which
* documents are collected.
**/
public class TopDocCollector extends HitCollector {
private int numHits;
private float minScore = 0.0f;

int totalHits;
PriorityQueue hq;

/** Construct to collect a given number of hits.
   * @param numHits the maximum number of hits to collect
   */
public TopDocCollector(int numHits) {
    this(numHits, new HitQueue(numHits));
}

TopDocCollector(int numHits, PriorityQueue hq) {
this.numHits = numHits;
this.hq = hq;
}

// javadoc inherited
public void collect(int doc, float score) {
 if (score > 0.0f) {
 totalHits++;
 if (hq.size() < numHits || score >= minScore) {
 hq.insert(new ScoreDoc(doc, score));
 minScore = ((ScoreDoc)hq.top()).score; // maintain minScore
 }
 }
}

/** The total number of documents that matched this query. */
public int getTotalHits() { return totalHits; }

/** The top-scoring hits. */
public TopDocs topDocs() {
    ScoreDoc[] scoreDocs = new ScoreDoc[hq.size()];
    for (int i = hq.size()-1; i >= 0; i--)      // put docs in array
      scoreDocs[i] = (ScoreDoc)hq.pop();

    float maxScore = (totalHits==0)
      ? Float.NEGATIVE_INFINITY
      : scoreDocs[0].score;

return new TopDocs(totalHits, scoreDocs, maxScore);
}
}

yahoo web seacher api 参数说明

2007-11-09T14:00:00.000+08:00

yahoo搜索引擎api，用起来还是挺不错的，虽然在国内没有google api 当然搜索词数有限制，只能5000/per_ip /perday……,api功能非常全面，搜索结果的语言，国家，格式等都可以非常容易的设置。个人现在用yahoo api 就行网页去重，已经还有基于搜索引擎的网络挖掘等方面的研究工作！下面是一些参数，作为备忘之用！

http://developer.yahoo.com/search/web/V1/webSearch.html

http://developer.yahoo.com/search/languages.html 支持语言说明

Supported Languages

The following language codes are supported in language parameter requests:

Language	Code
arabic	ar
bulgarian	bg
catalan	ca
chinese-simplified	szh
chinese-traditional	tzh
croatian	hr
czech	cs
danish	da
dutch	nl
english	en
estonian	et
finnish	fi
french	fr
german	de
greek	el
hebrew	he
hungarian	hu
icelandic	is
indonesian	id
italian	it
japanese	ja
korean	ko
latvian	lv
lithuanian	lt
norwegian	no
persian	fa
polish	pl
portuguese	pt
romanian	ro
russian	ru
slovak	sk
serbian	sr
slovenian	sl
spanish	es
swedish	sv
thai	th
turkish	tr

Request parameters

See information on constructing REST queries

Parameter	Value	Description
appid	string (required)	The application ID. See Application IDs for more information.
query	string (required)	The query to search for (UTF-8 encoded). This query supports the full search language of Yahoo! Search, including meta keywords. Total size of he query must be less than 1KB. For details on constructing queries, see Search Tips.
region	string: default us	The regional search engine on which the service performs the search. For example, region=uk will give you the search engine at uk.search.yahoo.com. Supported Regions.
type	all (default), any, or phrase	The kind of search to submit: all returns results with all query terms. any returns results with one or more of the query terms. phrase returns results containing the query terms as a phrase.
results	integer: default 10, max 100	The number of results to return.
start	integer: default 1	The starting result position to return (1-based). The finishing position (start + results - 1) cannot exceed 1000.
format	any (default), html, msword, pdf, ppt, rss, txt, xls	Specifies the kind of file to search for.
adult_ok	no value (default), or 1	Specifies whether to allow results with adult content. Enter a 1 to allow adult content.
similar_ok	no value (default), or 1	Specifies whether to allow multiple results with similar content. Enter a 1 to allow similar content.
language	string: default no value (all languages)	The language the results are written in. Supported Languages.
country	string: default no value	The country in which to restrict your search results. Only results on web sites within this country are returned. Supported Country Codes.
site	string: default no value	A domain to restrict your searches to (e.g. www.yahoo.com). You may submit up to 30 values (site=www.yahoo.com&site=www.cnn.com).
subscription	string: default no value	Any subscriptions to premium content that should also be searched. You may submit multiple values. Supported Subscription Codes.
license	any (default), cc_any, cc_commercial, cc_modifiable	The Creative Commons license that the contents are licensed under. You may submit multiple values (e.g. license=cc_commercial&license=cc_modifiable).
output	string: xml (default), json, php	The format for the output. If json is requested, the results will be returned in JSON format. If php is requested, the results will be returned in Serialized PHP format.
callback	string	The name of the callback function to wrap around the JSON data. The following characters are allowed: A-Z a-z 0-9 . [] and _. If output=json has not been requested, this parameter has no effect. More information on the callback can be found in the Yahoo! Developer Network JSON Documentation.

Sample Request Url: http://search.yahooapis.com/WebSearchService/V1/webSearch?appid=YahooDemo&query=madonna&results=2

Response fields

The schema document for this service response is located at http://search.yahooapis.com/WebSearchService/V1/WebSearchResponse.xsd

Field	Description
ResultSet	Contains all of the query responses. Has attributes: totalResultsAvailable: The number of query matches in the database. totalResultsReturned: The number of query matches returned. This may be lower than the number of results requested if there were fewer total results available. firstResultPosition: The position of the first result in the overall search.
Result	Contains each individual response.
Title	The title of the web page.
Summary	Summary text associated with the web page.
Url	The URL for the web page.
ClickUrl	The URL for linking to the page. See URL linking for more information.
MimeType	The MIME type of the page
ModificationDate	The date the page was last modified, in unix timestamp format.
Cache	The URL of the cached result, and its size in bytes. Rate Limit The Web Search service is limited to 5,000 queries per IP address per day. See information on rate limiting and our Usage Policy to learn about acceptable uses and how to request additional queries. Errors The Web Search service returns the standard errors. There are no service-specific errors.

哈工大分词接口稍微修改点

2007-11-09T13:26:00.001+08:00

package IRdll;

import java.io.File;
import java.io.Reader;
import java.io.FileInputStream;
import java.io.*;
import java.util.Date;
import java.util.HashSet;

/**
* Title: Java中文分词接口
* Description: 本组件以哈工大分词系统为基础，在其基础之上开发
* 本组件仅供学习和研究用途，任何商业用途将自行承担法律后果，与组件编写人无关。
* Copyright: Copyright (c) 2006
* Company: dalian univercity of techology
* @author ：yezheng
* @version 1.0
*/

public class IRSplit {

private static IRSplit instance = null; //instance时类中一成员，所以可以访问其中被private修饰的变量或方法
private static StringBuffer stringb = new StringBuffer(102400);
private static StringBuffer longSentence = new StringBuffer(10240);

//私有构造方法
private IRSplit() {
 System.out.println("正在加载词典……");
 this.LoadSegRes();
 System.out.println("加载结束");
}

//获得一个实例
public static IRSplit getInstance() {
 if (instance == null) {
 instance = new IRSplit();
 }
 return instance;
}

//本地方法
private native void LoadSegRes();

private native void ReleaseSegger();

private native String split(String sentence);

//对一句话分词
public String splitSentence(String sentence) {
 if (sentence.length() < 1 || sentence == null)
 return "";
 else
 return split(sentence);
}

public String splitLongSentence(String sentence) {
 if (sentence.length() < 1 || sentence == null)
 return "";
 else
 {
 this.longSentence.setLength(0);
 int start = 0 ; int end = 0;
 for (int i = 0; i < sentence.length(); i++)
 {
 char c = sentence.charAt(i);
 switch (Character.getType(c))
 {
 case 24:
 end++;
 //System.out.println(sentence.substring(start, end));
 this.longSentence.append(split(sentence.substring(start, end)));
 start = end;
 break;
 default:
 end++;
 break;
 }
 }
 if(start < end)
 {
 longSentence.append(split(sentence.substring(start, end)));
 }
 return longSentence.toString();
 }
}

public void ReleaseSeggers() {
 instance = null;
 ReleaseSegger();
}

//对一个文件分词
public void splitFile(File file, File outfile) {
 try {
 FileInputStream fis = new FileInputStream(file);
 BufferedReader br = new BufferedReader(new InputStreamReader(fis));
 this.stringb.setLength(0);
 String ts;
 while ( (ts = br.readLine()) != null) {
 if (ts.length() != 0) {
 stringb.append(splitLongSentence(ts) + '\r' + '\n'); //进行分词
 }
 else {
 stringb.append('\r');
 stringb.append('\n');
 }
 }
 br.close();
 fis.close();

 FileWriter writer = new FileWriter(outfile);
 writer.write(stringb.toString());
 writer.close();
 }
 catch (FileNotFoundException ex) {
 System.out.println(file.toString() + "File not Found");
 }
 catch (IOException ex1) {
 System.out.println(file.toString() + "IO errors");
 }
}

public void splitFile(String source, String destination) {
 File file = new File(source);
 File outfile = new File(destination);
 if (file.isFile()) {
 splitFile(file, outfile);
 }
}

public Reader splitFile(Reader reader) {
 BufferedReader br = new BufferedReader(reader);
 StringBuffer stringb = new StringBuffer();

 try {
 String ts;
 while ( (ts = br.readLine()) != null) {
 if (ts.length() != 0) {
 stringb.append(splitSentence(ts) + '\r' + '\n'); //进行分词
 }
 else {
 stringb.append('\r');
 stringb.append('\n');
 }
 }
 reader = new StringReader(stringb.toString());
 }
 catch (IOException ex) {
 }
 return reader;
}

//处理一个目录下的所有文件
public void splitFiles(String sourceDir, String destinationDir) { //参数：源文件目录和目标文件目录
 File directory = new File(sourceDir);
 File dirdes = new File(destinationDir);
 //FilenameFilter txtFilter = new myFilter("txt");
 File files[] = directory.listFiles();
 for (int i = 0; i < files.length; i++) {
 if (files[i].isFile()) {
 File outfile = new File(destinationDir + "/" +
 files[i].getName());
 //System.out.println(directory.getName() + ":" + dirdes.getName());
 splitFile(files[i], outfile);
 }
 else if (files[i].isDirectory()) {

 File tempdir = new File(destinationDir + "/" + files[i].getName());
 if (!tempdir.exists() || !tempdir.isDirectory()) {
 tempdir.mkdir();
 }
 splitFiles(sourceDir + "/" + files[i].getName(),
 tempdir.getAbsolutePath());
 }
 }
}

static {
 System.loadLibrary("IRdll");
}

public static void main(String[] args) {

 IRSplit split = IRSplit.getInstance(); //其它类使用

 long start = System.currentTimeMillis();
 Date startdate = new Date();

 //split.splitFiles("clean", "out");
 split.splitLongSentence(ss);

 Date enddate = new Date();

 System.out.println(startdate);
 System.out.println(enddate);
 System.out.println(enddate.getTime()- startdate.getTime());
}

}

求职应聘:百度网上笔试题

2007-11-09T13:24:00.001+08:00

1 编程：

　　用C语言实现一个revert函数，它的功能是将输入的字符串在原串上倒序后返回。

　　2 编程：

　　用C语言实现函数void * memmove(void *dest,const void *src,size_t n)。memmove

　　函数的功能是拷贝src所指的内存内容前n个字节

　　到dest所指的地址上。

　　3 英文拼写纠错：

　　在用户输入英文单词时，经常发生错误，我们需要对其进行纠错。假设已经有一个包

　　含了正确英文单词的词典，请你设计一个拼写纠错的程序。

　　(1)请描述你解决这个问题的思路；

　　(2)请给出主要的处理流程，算法，以及算法的复杂度；

　　(3)请描述可能的改进(改进的方向如效果，性能等等，这是一个开放问题)。

　　4 寻找热门查询：

　　搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串

　　的长度为1-255字节。假设目前有一千万个记录，

　　这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个

　　。一个查询串的重复度越高，说明查询它的用户越多，

　　也就是越热门。请你统计最热门的10个查询串，要求使用的内存不能超过1G。

　　(1)请描述你解决这个问题的思路；

　　(2)请给出主要的处理流程，算法，以及算法的复杂度。

　　5 集合合并：

　　给定一个字符串的集合，格式如：

　　{aaa bbb ccc}， {bbb ddd}，{eee fff}，{ggg}，{ddd hhh}

　　要求将其中交集不为空的集合合并，要求合并完成后的集合之间无交集，例如上例应

　　输出

　　{aaa bbb ccc ddd hhh}，{eee fff}， {ggg}

　　(1)请描述你解决这个问题的思路；

　　(2)请给出主要的处理流程，算法，以及算法的复杂度

　　(3)请描述可能的改进(改进的方向如效果，性能等等，这是一个开放问题)。

搜索引擎学习资源收集

2007-11-09T13:22:00.001+08:00

http://www.zhihere.com/bbs/dispbbs.asp?boardid=8&id=630

一、搜索引擎技术/动态资源

<一>、综合类

1、卢亮的搜索引擎研究 [URL=http://www.wespoke.com/][/URL]http://www.wespoke.com/

卢亮属于搜索引擎开发上的专家，以前开发过一个搜索引擎"博索"([URL=http://booso.com/][/URL]http://booso.com/),好像现在已经停止开发了，目前他服务于博客网。在他的这个blog上可以了解许多搜索引擎开发的技术和经验，值得持续关注。

2、laolu\'blog

有不少来自国外的关于搜索引擎方面的资料，偏重于资料和数字

3、哈斯日志 [URL=http://www.loverty.org/][/URL]http://www.loverty.org/

在这里可以看到国内外几大搜索引擎的最新动态，值得关注搜索发展形势的人多看看

4、北京奕天锐新科技有限公司 [URL=http://www.21cnbj.com/][/URL]http://www.21cnbj.com/

搜索引擎、SEO、SEM等行业新闻动态

5、中文搜索引擎指南网 [URL=http://www.sowang.com/][/URL]http://www.sowang.com/

搜索引擎最新动态，各种搜索技巧、方法

6、中文全文检索网 [URL=http://www.fullsearcher.com/][/URL]http://www.fullsearcher.com/

FullSearcher.Com是有两个对搜索爱好的年轻人创办，我们的目标是让中文互联网全面进入搜索时代，让搜索无处不在。通过搜索改变人们的生活。
FullSearcher提供全文检索的相关知识、垂直搜索引擎知识、搜索的相关新闻等搜索相关内容。

<二>、Google动态

Google官方博客：Google 黑板报 [URL=http://googlechinablog.com/][/URL]http://googlechinablog.com/

Google 中国的博客网志，走近我们的产品、技术和文化

screen.width-333)this.width=screen.width-333" border=0>

1、Gfans [URL=http://gfans.org/][/URL]http://gfans.org/

一群Google的粉丝

这里没有 PageRank，没有 HillTop，没有 SEO。如果 Google 是龙井，我希望这里便是虎跑，去化开那馥郁如兰之香。观于沧海者难为水，搜于 Google 者难为言，Google 已不只是文化，他是我的信仰。

本站文章约法三章：

不讨论 SEO 及相关；

不得无聊转载；

严禁侮辱百度。
2、幻灭的麦克风 [URL=http://www.kenwong.cn/][/URL]www.kenwong.cn

Google天地

3、google 观察 [URL=http://blog.donews.com/googleview/][/URL]http://blog.donews.com/googleview/

<二>、其他搜索引擎动态

1、雅虎搜索日志 [URL=http://ysearchblog.cn/][/URL]http://ysearchblog.cn/

记录雅虎搜索引擎的动态、产品、技术等

screen.width-333)this.width=screen.width-333" border=0>

二、搜索引擎代码资源

一>、搜索引擎/网络蜘蛛程序代码

国外开发的相关程序

1、Nutch

screen.width-333)this.width=screen.width-333" border=0>

官方网站 [URL=http://www.nutch.org/][/URL]http://www.nutch.org/
中文站点 [URL=http://www.nutchchina.com/][/URL]http://www.nutchchina.com/
最新版本：Nutch 0.7.2 Released

Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具，可以建立自己内部网的搜索引擎，也可以针对整个网络建立搜索引擎。自由(Free)而免费(Free)。

2、Lucene

[B][/B]
screen.width-333)this.width=screen.width-333" border=0>

官方网站 [URL=http://lucene.apache.org/][/URL]http://lucene.apache.org
中文站点 [URL=http://www.lucene.com.cn/][/URL]http://www.lucene.com.cn/

Lucene 是apache软件基金会 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包[用Java写的]，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。

3、Larbin: [URL=http://larbin.sourceforge.net/index-eng.html][/URL]http://larbin.sourceforge.net/index-eng.html

larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人 Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。

国内开发的相关程序

1、SQLET - 开放源码的中文搜索引擎

官方网站 [URL=http://www.sqlet.com/][/URL]http://www.sqlet.com/

SQLET，是Search & Query &Link, 加后缀 let，表示小的，小型的意思.打算建立一个能搜上亿张网页的基于主题功能的中文搜索引擎.支持3种索引方式：MySql_table_Index， Lucene_Index，SQLET_Index.网页抓取可以保存在文件系统及数据库里。自带WebServer.

2、菲度垂直搜索引擎代码

菲度[URL=http://www.faydu.net/][/URL]http://www.faydu.net 为一个垂直在线搜索的演示版，主要对国内一些购物站点进行搜索整理，

现在开源测试版本的代码，供大家讨论。下载说明：

1》因为本程序是在服务器上运行，是在多个处理器下运行的，个人电脑上请控制线程数量

2》包含一个data 的数据库还原到sql server

3》收集完毕默认在bin目录有licene生成的反排的索引文件

4》下载地址：[URL=http://www.faydu.net/download/code.rar][/URL]http://www.faydu.net/download/code.rar

开放日期：2006-4-18 来源:http://blog.csdn.net/faydu/archive/2006/04/18/667997.aspx
语言：VB.net(c#)

二>、中文分词程序代码

1、计算所汉语词法分析系统 ICTCLAS

中国科学院计算技术研究所在多年研究基础上，耗时一年研制出了基于多层隐马模型的汉语词法分析系统 ICTCLAS (Institute of Computing Technology, Chinese Lexical Analysis System)，该系统的功能有：中文分词；词性标注；未登录词识别。分词正确率高达97.58%(最近的973专家组评测结果)，基于角色标注的未登录词识别能取得高于90% 召回率，其中中国人名的识别召回率接近98%，分词和词性标注处理速度为31.5KB/s。ICTCLAS 和计算所其他14项免费发布的成果被中外媒体广泛地报道，国内很多免费的中文分词模块都或多或少的参考过ICTCLAS的代码。

下载页面：[URL=http://www.nlp.org.cn/project/project.php?proj_id=6][/URL]http://www.nlp.org.cn/project/project.php?proj_id=6

由于 ICTCLAS 是由 C 语言写成的，现在主流的开发工具用起来不太方便，于是有一些热心的程序员把 ICTCLAS 改为 Java 和 C# 等其他语言。

（1）fenci，Java 的 ICTCLAS，下载页面：[URL=http://www.xml.org.cn/printpage.asp?BoardID=2&id=11502][/URL]http://www.xml.org.cn/printpage.asp?BoardID=2&id=11502

（2）AutoSplit，另一个 Java 的 ICTCLAS，已经找不到下载页面，点击本地下载

（3）小叮咚中文分词，曾经有下载页面，现在找不到了。据作者介绍，从 ICTCLAS 中改进，有 Java，C# 和 C++ 三个版本，介绍页面：[URL=http://www.donews.net/accesine][/URL]http://www.donews.net/accesine

2、海量智能分词研究版

海量智能计算技术研究中心为了使中文信息处理领域的研究者们能够共同分享海量智能中心的研究成果，共同提高中文信息处理水平，特此发布《海量智能分词研究版》，供专家、学者和爱好者进行研究。

下载页面：[URL=http://www.hylanda.com/cgi-bin/download/download.asp?id=8][/URL]http://www.hylanda.com/cgi-bin/download/download.asp?id=8

3、其他

（1）CSW中文智能分词组件

运行环境：Windows NT、2000、XP 或更高，可以在 ASP，VB 等微软的开发语言中调用。

简介: CSW中文智能分词DLL组件，可将一段文本自动的按常规汉语词组进行拆分,并以指定方式进行分隔，且可对其拆分后的词组进行语义、词频标注。其广范应用于各行各业的信息资料检索、分析。

下载页面：[URL=http://www.vgoogle.net/][/URL]http://www.vgoogle.net/

（2） C# 写的中文分词组件

据作者介绍，一个 DLL 文件，可以做中英文分词组件。完全C#托管代码编写，独立开发。

下载页面：[URL=http://www.rainsts.net/article.asp?id=48][/URL]http://www.rainsts.net/article.asp?id=48

三>、开源spider一览

spider是搜索引擎的必须模块.spider数据的结果直接影响到搜索引擎的评价指标.

第一个spider程序由MIT的Matthew K Gray操刀该程序的目的是为了统计互联网中主机的数目

Spier定义(关于Spider的定义,有广义和狭义两种).

狭义:利用标准的http协议根据超链和web文档检索的方法遍历万维网信息空间的软件程序.
广义:所有能利用http协议检索web文档的软件都称之为spider.
其中Protocol Gives Sites Way To Keep Out The \'Bots Jeremy Carl, Web Week, Volume 1, Issue 7, November 1995 是和spider息息相关的协议,大家有兴趣参考robotstxt.org.

Heritrix

Heritrix is the Internet Archive\'s open-source, extensible, web-scale, archival-quality web crawler project.

Heritrix (sometimes spelled heretrix, or misspelled or missaid as heratrix/heritix/ heretix/heratix) is an archaic word for heiress (woman who inherits). Since our crawler seeks to collect and preserve the digital artifacts of our culture for the benefit of future researchers and generations, this name seemed apt.

语言:JAVA, (下载地址)

WebLech URL Spider

WebLech is a fully featured web site download/mirror tool in Java, which supports many features required to download websites and emulate standard web-browser behaviour as much as possible. WebLech is multithreaded and comes with a GUI console.

语言:JAVA, (下载地址)

JSpider

A Java implementation of a flexible and extensible web spider engine. Optional modules allow functionality to be added (searching dead links, testing the performance and scalability of a site, creating a sitemap, etc ..

语言:JAVA, (下载地址)

WebSPHINX

WebSPHINX is a web crawler (robot, spider) Java class library, originally developed by Robert Miller of Carnegie Mellon University. Multithreaded, tollerant HTML parsing, URL filtering and page classification, pattern matching, mirroring, and more.

语言:JAVA, (下载地址)

PySolitaire

PySolitaire is a fork of PySol Solitaire that runs correctly on Windows and has a nice clean installer. PySolitaire (Python Solitaire) is a collection of more than 300 solitaire and Mahjongg games like Klondike and Spider.

语言:Python , (下载地址)

The Spider Web Network Xoops Mod Team

The Spider Web Network Xoops Module Team provides modules for the Xoops community written in the PHP coding language. We develop mods and or take existing php script and port it into the Xoops format. High quality mods is our goal.

语言:php , (下载地址)

Fetchgals

A multi-threaded web spider that finds free porn thumbnail galleries by visiting a list of known TGPs (Thumbnail Gallery Posts). It optionally downloads the located pictures and movies. TGP list is included. Public domain perl script running on Linux.

语言:perl , (下载地址)

Where Spider

The purpose of the Where Spider software is to provide a database system for storing URL addresses. The software is used for both ripping links and browsing them offline. The software uses a pure XML database which is easy to export and import.

语言:XML , (下载地址)

[B][/B]Sperowider

Sperowider Website Archiving Suite is a set of Java applications, the primary purpose of which is to spider dynamic websites, and to create static distributable archives with a full text search index usable by an associated Java applet.

语言:Java , (下载地址)

SpiderPy

SpiderPy is a web crawling spider program written in Python that allows users to collect files and search web sites through a configurable interface.

语言:Python , (下载地址)

[B][/B]Spidered Data Retrieval

Spider is a complete standalone Java application designed to easily integrate varied datasources. * XML driven framework * Scheduled pulling * Highly extensible * Provides hooks for custom post-processing and configuration

语言:Java , (下载地址)

[B][/B]webloupe

WebLoupe is a java-based tool for analysis, interactive visualization (sitemap), and exploration of the information architecture and specific properties of local or publicly accessible websites. Based on web spider (or web crawler) technology.

语言:java , (下载地址)

ASpider

Robust featureful multi-threaded CLI web spider using apache commons httpclient v3.0 written in java. ASpider downloads any files matching your given mime-types from a website. Tries to reg.exp. match emails by default, logging all results using log4j.

语言:java , (下载地址)

larbin

Larbin is an HTTP Web crawler with an easy interface that runs under Linux. It can fetch more than 5 million pages a day on a standard PC (with a good network).

语言:C++, (下载地址)

三、SEO相关资源

1、域名信息查询

　 ★ 查询国际顶级域名的信息(.aero, .arpa, .biz, .com, .coop, .edu, .info, .int, .museum, .net, .org)，可以通过ICANN授权的域名注册商来查询，也可以直接到INTERNIC网站查询，网址是

　　[URL=http://www.internic.com/whois.html][/URL]http://www.internic.com/whois.html

[URL=http://www.iwhois.com/][/URL]http://www.iwhois.com/

　　★ 查询全球各个地理顶级域名是否已经被注册可以到下列网址查询（其中也包括国内域名.cn）：

　　[URL=http://www.uwhois.com/cgi/domains.cgi?User=NoAds][/URL]http://www.uwhois.com/cgi/domains.cgi?User=NoAds

　　★ 查询国内域名的注册情况，

　　[URL=http://ewhois.cnnic.net.cn/index.jsp][/URL]http://ewhois.cnnic.net.cn/index.jsp

★ 万网的域名注册信息查询

[URL=http://www.net.cn/][/URL]http://www.net.cn/

★ IP地址查询、域名注册信息Whois查询

[URL=http://ip.zahuopu.com/][/URL]http://ip.zahuopu.com/

2、alexa相关与搜索排行榜

★ 中文排名500强

[URL=http://www.alexa.com/site/ds/top_sites?ts_mode=lang&lang=zh_gb2312][/URL]http://www.alexa.com/site/ds/top_sites?ts_mode=lang&lang=zh_gb2312

★ Google Zeitgeist--Google搜索排行榜

[URL=http://www.google.com/press/intl-zeitgeist.html#cn][/URL]http://www.google.com/press/intl-zeitgeist.html#cn

★ 百度中文搜索风云榜

[URL=http://top.baidu.com/][/URL]http://top.baidu.com/

★ 雅虎搜索排行榜

[URL=http://misc.yahoo.com.cn/top_index.html][/URL]http://misc.yahoo.com.cn/top_index.html

★ 搜狗搜索指数

[URL=http://www.sogou.com/top/][/URL]http://www.sogou.com/top/

3、搜索关键词查询

   ★  google关键字查询   https://adwords.google.com/select/KeywordSandbox
   ★ 百度关键字查询   [URL=http://www2.baidu.com/inquire/dsquery.php][/URL]http://www2.baidu.com/inquire/dsquery.php
   ★ 搜狐关键词   [URL=http://db.sohu.com/regurl/pv_price/query_consumer.asp][/URL]http://db.sohu.com/regurl/pv_price/query_consumer.asp

4、seo项目/工具

  ★网页质量    [URL=http://category.booso.com/cgi-bin/category/category.cgi][/URL]http://category.booso.com/cgi-bin/category/category.cgi
  ★关键词密度   [URL=http://www.21ql.com/seo/keyword.asp][/URL]http://www.21ql.com/seo/keyword.asp
  ★搜索引擎蜘蛛模拟器  [URL=http://www.webconfs.com/search-engine-spider-simulator.php][/URL]http://www.webconfs.com/search-engine-spider-simulator.php

★Google Dance查询工具：[URL=http://www.google-dance-tool.com/][/URL]http://www.google-dance-tool.com/

5、seo网站

英文网站：

搜索观察 [URL=http://www.searchenginewatch.com/][/URL]http://www.searchenginewatch.com/
seochat [URL=http://www.seochat.com/][/URL]http://www.seochat.com

中文网站

1>美国尚奇公司 [URL=http://www.zunch.cn/][/URL]http://www.zunch.cn

全球领先的网站设计和搜索引擎优化服务公司 ,目前中国区负责人为--柳焕斌

尚奇博客社区 blog.zunch.cn

screen.width-333)this.width=screen.width-333" border=0>
在这里可以获取最新的SEO行业信息

2>搜索引擎优化交流中心 [URL=http://www.seoonline.cn/][/URL]http://www.seoonline.cn

SEO从业者网站

1>尚奇中国区负责人为--柳焕斌 [URL=http://blog.zunch.cn/category/robinliu/][/URL]http://blog.zunch.cn/category/robinliu/

2>seo专业人士--bianyue [URL=http://www.bianyue.com/][/URL]http://www.bianyue.com/

四、各大搜索引擎公司相关资料

1、联系方式

Google

[URL=http://www.google.com/intl/zh-CN/contact.html][/URL]http://www.google.com/intl/zh-CN/contact.html
公司总部
1600 Amphitheatre Parkway
Mountain View, CA
94043 USA
phone: (650) 253-0000
fax: (650) 253-0001
电子邮件：chinese_s@google.com

百度

[URL=http://d.baidu.com/contact/index.html][/URL]http://d.baidu.com/contact/index.html
电话（010）82621188
传真（010）82607007 82607008
E-mail webmaster@baidu.com
地址北京市北四环西路58号理想国际大厦12层
邮编 100080

雅虎/一搜

[URL=http://cn.yahoo.com/docs/sales/040203_contact.htm][/URL]http://cn.yahoo.com/docs/sales/040203_contact.htm
总机：010-65811221
地址：北京市朝阳区光华东路和乔大厦B座5层雅虎中国搜索事业部
邮编：100026
传真：010-65812440
在线问题提交：[URL=http://www.yisou.com/search_feedback.html][/URL]http://www.yisou.com/search_feedback.html

中国搜索

[URL=http://www.zhongsou.com/kefu/kfzs.htm][/URL]http://www.zhongsou.com/kefu/kfzs.htm
地址：北京市西直门北大街42号华星大厦a座15.16层
邮编：100088
总机:010-62266296
传真: 010-82211302

搜狐搜索

[URL=http://www.sohu.com/about/lianxi.htm][/URL]http://www.sohu.com/about/lianxi.htm
地址：北京市海淀区中关村东路1号清华科技园9号威新国际大厦10层
邮编: 100084
电话： 86-10-62726666
传真： 86-10-62728300

新浪搜索

[URL=http://ads.sina.com.cn/contact.html][/URL]http://ads.sina.com.cn/contact.html
北京市北四环西路58号理想国际大厦20层
邮编：100080
Tel：(86-10)82628888
Fax：(86-10)82607166
搜索引擎咨询电话:010-82628888转6688
搜索引擎联系信箱 searchcn@staff.sina.com.cn

网易搜索

[URL=http://so.163.com/contactus.shtml][/URL]http://so.163.com/contactus.shtml
北京市东城区东长安街1号东方广场东方经贸城东三办公楼1901室
邮编/Zip：100738
网易搜索引擎客服热线：
电话：010-82110163-8350、8121、8136
E-mail：adp_complaint@service.netease.com

计算机类中文核心期刊

2007-11-09T01:01:00.001+08:00

计算机类中文核心期刊

计算机类中文核心期刊简介在实际工作中，常有些读者在职称评审、投稿、申报项目时，需要查找计算机类中文权威、核心期刊目录或编辑部地址、联系方式等，为给计算机系的师生们提供方便，现汇编、整理了这份"计算机类中文核心期刊简介"，供有需求的师生参考。

计算机类中文核心期刊目录如下：

1.《软件学报》（月刊） EI、ISTIC收录
主办单位：中国计算机学会中国科学院软件研究所
地址：北京8718信箱北京海淀区中关村《软件学报》编辑委员会
邮编：100080
邮发代号：82－367
E-mail:jos@iscas.ac.cn
http://www.jos.org.cn http://www.jos.org.cn

2.《计算机学报》（月刊） EI、ISTIC收录
主办单位：中国计算机学会中国科学院计算技术研究所
地址：北京2704信箱中国科学院计算技术研究所《计算机学报》编辑部
邮编：100080
邮发代号：2－833
E-mail: cjc@ict.ac.cn
http://www.ict.ac.cn/cjc/cjc.html cjc@ict.ac.cn http://www.ict.ac.cn/cjc/cjc.html

3.《计算机研究与发展》（月刊） ISTIC收录
主办单位：中国科学院计算技术研究所中国计算机学会
地址：北京2704信箱中国科学院计算技术研究所《计算机研究与发展》编辑委员会
邮编：100080
邮发代号：2－654 E-mail:crad@ict.ac.cn
http:// crad.ict.ac.cn

4.《计算机工程（半月刊）》 ISTIC收录
主办单位：华东计算技术研究所上海市计算机学会
地址：上海市漕河泾桂林路418号《计算机工程》编辑部
邮编：200233
邮发代号：4－310
E-mail:hdsce@china.com
http://www.jsjc.chinajournal.net.cn http://www.jsjc.chinajournal.net.cn

5.《自动化学报》（双月刊） EI、ISTIC收录
主办单位：中国自动化学会中国科学院自动化研究所
地址：北京中关村中国科学院自动化所《自动化学报》编辑部
邮编：100080
邮发代号：2-180
E-mail:aas@iamail.ia.ac.cn http://www.chinainfo.gov.cn/periodical/zdhxb http://www.chinainfo.gov.cn/periodical/zdhxb

6 .《模试识别与人工智能》（季刊） ISTIC收录
主办单位：中国自动化学会国家智能计算机研究开发中心
地址：合肥1130信箱中国科学院合肥智能机械研究所《模式识别与人工智能》编辑部
邮编230031
邮发代号：26-69
E-mail:bjb@mail.iim.ac.cn

7.《小型微型计算机系统》（月刊） ISTIC收录
主办单位：中科院沈阳计算技术研究所地址：沈阳市和平区三好街100号中科院沈阳计算技术研究所《小型微型计算机系统》编辑部
邮编：110004
邮发代号：8－108
E-mail:xwjxt@sict.ac.cn
http://www. sict.ac.cn

8.《计算机科学》（月刊） ISTIC收录
主办单位：国家科技部西南信息中心
地址：重庆市渝中区胜利路132号《计算机科学》杂志社
邮编：400013
邮发代号：78－68
E-mail:jsjkx@swic.ac.cn

9.《计算机应用与软件》（月刊）
主办单位：上海市计算技术研究所上海计算机软件技术开发中心
地址：上海市愚园路546号《计算机应用与软件》编辑部
邮编：200040
邮发代号：4－379

10.《数值计算与计算机应用》（季刊） ISTIC收录
主办单位：中国科学院计算数学与科学工程计算研究所
地址：北京市2719信箱《数值计算与计算机应用》编辑部
邮编：100080
邮发代号：2-413
E-mail:SZJS@chinajournal.net.cn http://www.chinainfo.gov.cn/periodical http://www.chinainfo.gov.cn/periodical

11.《计算机工程与应用》（旬刊） ISTIC收录
主办单位：华北计算技术研究所
地址：北京市北四环中路211号北京619信箱26分箱《计算机工程与应用》杂志社
邮编：100083
邮发代号：82－605
投稿信箱： tjit@public2.bat.net.cn
cea@163bj.com
http://www.chinainfo.gov.cn/periodical/ tjit@public2.bat.net.cn cea@163bj.com
http://www.chinainfo.gov.cn/periodical/

12.《计算机应用研究》（月刊） ISTIC收录
主办单位：四川省电子计算机应用研究中心
地址：成都市人民南路4段11号附1号《计算机应用研究》杂志社
邮编：610041
邮发代号：62－68
E-mail：SRCCA@SICHUAN.NET.CNSRCCA@SICHUAN.NET.CN

13.《计算机工程与科学》（双月刊） ISTIC收录
主办单位：国防科技大学计算机学院
地址：湖南长沙砚瓦池正街47号《计算机工程与科学》编辑部
邮编：410073
邮发代号：42－153
E-mail：cchunxi@163.net
cchunxi@163.net

14.《中文信息学报》（双月刊） ISTIC收录
主办单位：中国科学院软件研究所中国中文信息学会
地址：北京8718信箱《中文信息学报》编辑部
邮编：100080
E-mail:cips@admin.iscas.ac.cn

15.《计算机应用》（月刊） ISTIC收录
主办单位：中科院成都计算机应用研究所四川省计算机学会
地址：成都市人民南路四段九号成都237信箱《计算机应用》编辑部
邮编：610041
邮发代号：62－110
E-mail:bjb@computerapplications.com.cn http://www.computerapplications.com.cn

16.《计算机辅助设计与图形学学报》（月刊） ISTIC收录
主办单位：中国计算机学会
地址：北京2704信箱中国科学院计算技术研究所
邮编：100080
邮发代号：82－456
E-mail:jcad@ict.ac.cn
http://jcad.ict.ac.cn
http://jcad.ict.ac.cn

17.《计算机科学与技术》（英文版）（双月刊） SCIE、EI收录
主办单位：中国科学院计算技术研究所
地址：北京2704信箱
邮编：100080
邮发代号：2－578
E-mail:jcst@ict.ac.cn
http://jcst.ict.ac.cn
http://jcst.ict.ac.cn

18.《计算机工程与设计》（月刊）
主办单位：中国航天科工集团二院706所
地址：北京142信箱406分箱《计算机工程与设计》编辑部
邮编：100854
邮发代号：82－425
E-mail:ced@httx.com.cn
ced@httx.com.cn

19.《微电子学与计算机》（月刊）
主办单位：中国航天科技集团公司西安微电子技术研究所
地址：西安市81号信箱《微电子学与计算机》编辑部
邮编：710054
邮发代号：52－16
说明：检索系统摘引情况选定三个系统，即SCI(科学引文索引)、EI(工程索引)和 ISTIC (中国科技期刊引证报告统计源期刊)，未注明者为非统计源期刊, 参照1999年度的数据。

	1.	疯牛病
		牛海绵状脑病(BSE),又称疯牛病(Mad Cow Disease),是牛的一种神经性、渐进性、致死性疾病.病牛临床表现为对触、听、视三觉过敏. www.ilib.cn/A-xjxmy200201020.html - 搜索相关网页 - 基于95个网页
	2.	狂牛病
		生物学词汇英语翻译(M-P)--个人娱乐大全 ... macular lutea 黄斑 mad cow disease 狂牛病 madreporic canal 石管 ... pipi302.bioon.cn/go.asp?logid=45440 - 搜索相关网页 - 基于27个网页
	3.	疯牛症
		本类热门文章 ... Japanese Encephalitis ***脑炎 Mad Cow Disease 疯牛症 Malaria 疟疾 ... 0352en.cn/hyyy/sort092/sort093/7412.html - 搜索相关网页 - 基于8个网页

互联网好文搜藏

未处理的好友请求，请处理

你好！

Doug Bowman离职激起千层浪啊

Sent to you by jeffye via Google Reader:

Doug Bowman离职激起千层浪啊

Things you can do from here:

经常要用到的英文短语

经常要用到的英文短语

气量狭小是缺点么？

Jeff 通过 Google 阅读器发送给您的内容：

气量狭小是缺点么？

可从此处完成的操作：

实用美国虚拟主机提供商介绍一览

Jeff 通过 Google 阅读器发送给您的内容：

实用美国虚拟主机提供商介绍一览

Related Post

可从此处完成的操作：

荷塘月色 : 介绍两种国内访问Blogger.com的方式

荷塘月色 : 介绍两种国内访问Blogger.com的方式

我的Wordpress模板修改 | 某瓜的瓜棚

哈斯日志: Google中文搜索的快照和部分关键词被屏蔽

Eclipse快捷键[转贴]

语义搜索引擎综述(zhuan)

1．网络搜索引擎的现状

2．网络搜索引擎的工作原理

3．网络搜索引擎的评价指标

4．网络搜索引擎的主要技术

5．语义搜索的兴起

6．语义搜索当前的应用

7．总结

【搜索引擎技术普及 - 5]信息检索的一些初步知识 --来源：sogoulab

Bash 实例，第 3 部分

Bash 实例，第 2 部分

Bash 实例，第一部分

java HashMap 如何排序后输出

java Map的访问方法备忘，Comparator例子

博客有偿供稿，大势所趋

如何读取Lucene索引数据1

Lucene源码分析(1) -- 如何读取Lucene索引数据

NekoHTML学习笔记 (zhuan)

Inside Lucene/超人气搜索引擎学习

BlogSpot 限制访问解决方法

网络解释-- Yahoo VS Yodao

网络解释 (mad cow disease)

疯牛病

狂牛症

一则有关英国狂牛病

lucene HitCollector 的作用

yahoo web seacher api 参数说明

Supported Languages

Request parameters

Response fields

Rate Limit

Errors

哈工大分词接口稍微修改点

求职应聘:百度网上笔试题

搜索引擎学习资源收集

计算机类中文核心期刊