Category: 技术文章

Lion经验两则

Nov 02

IUSR技术文章 mac No Comments

最近经历的Lion下比较想记一笔的经验，凑个数吧。

无厘头的DNS无法解析问题。

不知道为什么我总是碰见这个问题… 网上搜了搜似乎也不是很常见。

症状很简单：DNS无法解析，重设DNS服务器地址、DHCP的话重新续租等等都没法解决。

解决方法：重启mDNSResponder服务。

似乎有些简单粗暴了，不过确实没找到其他方法。记得Lion之前，这个mDNSResponder服务就总给我找事儿，不过那时的症状很明显，一般是从休眠唤醒之后，mDNSResponder进程的CPU使用率异常高，占满一个CPU核心；升级到Lion之后就再也没遇到这个问题，当时还觉得这个升级的钱花的值得。结果，后来就时不时地遇见DNS无法解析的问题了，无论怎么修改DNS相关设置都没法解决，syslog、dmesg输出也没有任何异常信息。后来想起来mDNSResponder最近很是消停，就上网搜了搜，才知道原来这个服务不像名字暗示的那样只负责mDNS，而是负责所有解析了。也许咱家接触Mac太晚了，不知道这个服务的渊源，我只记得Ubuntu下关掉Avahi是不影响其他DNS解析的。

于是老方法重启了mDNSResponder服务，问题解决。
```
launchctl stop com.apple.mDNSResponder
launchctl start com.apple.mDNSResponder
```
果然咬人的狗不叫。
把用户追加到其他组。

各种userxxx命令在Lion下都是没有地，只有万能的dscl。简短截说，一个例子：
```
dscl localhost -append /Local/Default/Groups/wheel GroupMembership iusr
```
其实刚开始也就是知道dscl这么个东西而已，不过好在有-list命令可以去遍历“/”下的各个节点，然后就比较简单了。需要注意的也就是不同版本的Mac OS X的本地目录（此目录非彼目录哇～）下的用户组的路径不太相同，本地目录作为数据源的名称也不同，这些不同之处基本上不带参数跑一下dscl也就看出来了，就不废话了。

哦，网上有人说用水果官方的Server Admin Tools来做这个事儿，不过我试验了一下，类似wheel这种组是看不到的，dscl下反正是可以看见，命令行也简单直白，所以就不纠结Server Admin Tools了。

以上～自行su/sudo。

安装gevent，Lion上

Oct 17

IUSR咿咿呀呀, 技术文章 python No Comments

不出所料，凡是带本地绑定的Python库，在Mac上多多少少都别扭一些。

今天是pip install gevent的时候出错：

In file included from gevent/core.c:225:
gevent/libevent.h:9:19: error: event.h: No such file or directory
gevent/libevent.h:38:20: error: evhttp.h: No such file or directory
gevent/libevent.h:39:19: error: evdns.h: No such file or directory

……

gevent/core.c: At top level:
gevent/core.c:21272: error: expected ‘)’ before ‘val’
lipo: can’t figure out the architecture type of: /var/tmp//cceaLjtd.out
error: Setup script exited with error: command ‘gcc-4.2′ failed with exit status 1

没仔细看pip怎么传-I、-L的参数去，环境变量也烦得慌，反正直接python setup.py可以接受这两个参数就好了。

直接下载gevent的源代码包，然后

sudo python setup.py install -I /usr/local/include/ -L /usr/local/lib

即可。因为/usr/local 是给brew指定的默认PREFIX，libevent也是通过brew安装来的。

有关并发

May 30

IUSR技术文章 CS 4 Comments

最近那个靠谱的小朋友开始看OpenJDK 6的源代码，相比之下真是让我汗颜，我机器里的代码都扔在那儿很久了。

不知道这个小朋友是不是也从main()开始看，还是为了搞明白一些问题而有针对性地去看。反正最近跟我讨论了一些并发、多线程方面的事情，很多概念和算法都是上学时就学了的，但是不出意料我也已经都忘了。于是，呃，现在看来最方便的查资料方式莫过于wikipedia.org了，也不知道会不会出些纰漏，不过英文版比中文版要好很多，内容多，引用和批注看起来也比较充实，暂且相信这么多人的劳动成果吧。摘录一些基本概念：

Critical Section：

临界区。本质上是段代码，其中包含一定需要确保同时只能被一个执行这段代码的线程访问的资源。临界区本身来说并不是实现对资源互斥访问的算法或者机制，一般都需要借用互斥量、信号量之类的结构来确保这种多个线程对这个资源的互斥访问。

Mutex：

mutual exclusion，互斥量，互斥体，互斥锁，whatever，基本带上“互斥”就行，也很常见。最简单的用来确保临街区并发安全的算法或者机制，同时也是用来指代负责在多个线程中协调互斥操作的那个数据结构，我想后面这个用途应该更常见，一般说进入了某个mutex保护的临界区以内为 “持有/获得了某个mutex” 。

Mutex有硬件和软件的实现。硬件实现方面，单处理器机器上一般就是临时禁掉中断和上下文切换，多处理器机上一般用原子的test-and-set操作让几个线程通过一个共享的标志变量做busy-wait，也叫做“自旋锁”（spinlock）；软件实现就太多了：Dekker算法，Peterson算法，还有发明Paxos的大神Lamport的面包店算法，以及最近才知道的一个Szymanski算法。这几个算法应该都是lock-free的 (???)。

Semaphore：

信号量有一个初始值用来控制进入临界区的进程/线程数量，从而将并发访问的进程/线程数目控制在初始值限定的数量以下。说到信号量，其实这倒是一个可以从互斥量延展开的概念：互斥量可以看做初始值为1的信号量，而且有些实现里信号量和互斥量的也很类似。信号量有两种操作：P和V，P操作用来将限制并发访问的数值减1，V操作相反。所以一般情况下使用信号量访问共享的资源/数据的时候以P操作开始而以V操作结束，而进行P操作的时候如果信号量的用来控制并发访问的值已经降为0的话，调用P操作的进程/线程就没办法进入临界区而要等待其他进程/线程做完V操作。有的情景中也会把P操作叫做wait，V操作叫做signal。

Monitor：

监视器，对于Java程序员来说这是最熟悉的并发控制单元和概念。简单来说，监视器类似mutex加上wait+signal操作：排他，而且支持不同的线程彼此通过wait和signal操作进行通信。多个线程彼此之间需要协作和某种意义上的通信也算是个可以理解的需求，而无论是获取mutex还是semaphore的P/V操作，都没办法满足多个线程在临界区以内互相协调，所以如果真的遇到了这种需求，只好想方法变通去。监视器正是可以支持多个线程在临界区内进行一些更细粒度的协作——通过wait和signal操作，而且必须保证多个线程在临界区内执行的排他特性。

和信号量的P/V操作——有些时候也会被叫做wait/signal——不同，监视器的wait和signal操作可以让当前线程暂时释放掉已经持有的监视器，当然，因为这个时候当前线程已经进入临界区，所以暂时释放掉监视器以后就不能再继续执行了；然后在其他线程执行同一监视器上的signal方法后，这个暂时释放掉监视器的线程就可以在调用signal的线程离开临界区以后继续从上次调用wait的地方执行。其实对于signal调用后具体应该要决定哪个线程该继续执行也是有两种争论：一是把调用signal的线程挂起，把原来在wait的线程唤起；另一种正相反，调用完signal的线程继续跑，离开临界区之后才轮到原来在wait的线程继续执行。Java应该是后面一种。

基本上应该就这些了吧，没涉及到分布式条件下的互斥和同步。没有太仔细看所以出错了的话还望斧正。

解决一个JCC编译构建问题

May 01

IUSR技术文章 python 2 Comments

首先是环境：


iusr-mbp:~ iusr$ uname -a
Darwin iusr-mbp 10.7.0 Darwin Kernel Version 10.7.0: Sat Jan 29 15:17:16 PST 2011; root:xnu-1504.9.37~1/RELEASE_I386 i386

iusr-mbp:~ iusr$ python -V
Python 2.7

JCC是最新的pylucene-3.1.0-1里面的那份儿。

起因是想做个小东西，预计要用到Lucene。别看我不怎么用它，可我还真嫌java干起来太麻烦…虽然做这个也想为了方便工作时用，可也算业余时间折腾吧，实在懒得一本正经地Java。所以选择了PyLucene，自然，以前也没接触过。

按照http://lucene.apache.org/pylucene/jcc/documentation/install.html上的说明，看起来不难，可惜，果不其然，到了我这里就出问题了，诶。

出问题时的输出：


iusr-mbp:jcc iusr$ python setup.py build
running build
running build_py
writing /private/tmp/pylucene-3.1.0-1/jcc/jcc/config.py
copying jcc/config.py -> build/lib.macosx-10.5-fat3-2.7/jcc
copying jcc/classes/org/apache/jcc/PythonVM.class -> build/lib.macosx-10.5-fat3-2.7/jcc/classes/org/apache/jcc
copying jcc/classes/org/apache/jcc/PythonException.class -> build/lib.macosx-10.5-fat3-2.7/jcc/classes/org/apache/jcc
running build_ext
building 'jcc' extension
gcc-4.0 -fno-strict-aliasing -fno-common -dynamic -arch i386 -arch ppc -arch x86_64 -g -O2 -DNDEBUG -g -O3 -dynamiclib -D_jcc_lib -DJCC_VER="2.8" -I/System/Library/Frameworks/JavaVM.framework/Headers -I_jcc -Ijcc/sources -I/Library/Frameworks/Python.framework/Versions/2.7/include/python2.7 -c jcc/sources/jcc.cpp -o build/temp.macosx-10.5-fat3-2.7/jcc/sources/jcc.o -DPYTHON -fno-strict-aliasing -Wno-write-strings
/usr/libexec/gcc/powerpc-apple-darwin10/4.0.1/as: assembler (/usr/bin/../libexec/gcc/darwin/ppc/as or /usr/bin/../local/libexec/gcc/darwin/ppc/as) for architecture ppc not installed
Installed assemblers are:
/usr/bin/../libexec/gcc/darwin/x86_64/as for architecture x86_64
/usr/bin/../libexec/gcc/darwin/i386/as for architecture i386
lipo: can't open input file: /var/folders/Gy/Gyqx+dxCGlGc5LULCWn6Zk+++TI/-Tmp-//ccr6jC50.out (No such file or directory)
error: command 'gcc-4.0' failed with exit status 1

也不知道是不是因为XCode刚更新过，给PPC的as明明是在 /usr/libexec/gcc/powerpc-apple-darwin10/4.0.1/as ，好吧，ln -s 一下到/usr/local/libexec/gcc/darwin/ppc/as 下面。结果还是不行…换了个错误：


iusr-mbp:jcc iusr$ python setup.py build
running build
running build_py
writing /private/tmp/pylucene-3.1.0-1/jcc/jcc/config.py
copying jcc/config.py -> build/lib.macosx-10.5-fat3-2.7/jcc
copying jcc/classes/org/apache/jcc/PythonVM.class -> build/lib.macosx-10.5-fat3-2.7/jcc/classes/org/apache/jcc
copying jcc/classes/org/apache/jcc/PythonException.class -> build/lib.macosx-10.5-fat3-2.7/jcc/classes/org/apache/jcc
running build_ext
building 'jcc' extension
gcc-4.0 -fno-strict-aliasing -fno-common -dynamic -arch i386 -arch ppc -arch x86_64 -g -O2 -DNDEBUG -g -O3 -dynamiclib -D_jcc_lib -DJCC_VER="2.8" -I/System/Library/Frameworks/JavaVM.framework/Headers -I_jcc -Ijcc/sources -I/Library/Frameworks/Python.framework/Versions/2.7/include/python2.7 -c jcc/sources/jcc.cpp -o build/temp.macosx-10.5-fat3-2.7/jcc/sources/jcc.o -DPYTHON -fno-strict-aliasing -Wno-write-strings
/usr/bin/../local/libexec/gcc/darwin/ppc/as: can't fork a new process to execute: /usr/bin/../local/libexec/gcc/darwin/ppc/as (Resource temporarily unavailable)
lipo: can't open input file: /var/folders/Gy/Gyqx+dxCGlGc5LULCWn6Zk+++TI/-Tmp-//ccNXEZps.out (No such file or directory)
error: command 'gcc-4.0' failed with exit status 1

郁闷了。折腾来折腾去都不行，直接cp过去给PPC的as也是不行，而且，真想不通为啥去为PPC编译，反正只是本地自己用。然后只好用python -v setup.py build 看了下输出，查到了编译前要调到distutils.unixcompiler.py，于是看了看源代码，看到有个_darwin_compiler_fixup方法很是可疑——敢情，这方法是会考虑ARCHFLAGS这个环境变量的——是啊！当初折腾编译、make时要折腾的若干叉叉叉FLAGS环境变量之一啊！看来后来一直都是被各种自动化工具养得白痴了，看来生命还是在于折腾。

于是乎，


iusr-mbp:jcc iusr$ export ARCHFLAGS="-arch x86_64 -arch i386"

x86_64和i386怎么都够我用了～然后再python setup.py build以及python setup.py install，成功。这一来就不用考虑诸如Xapian这样的东西了，长的跟“下片儿”似的。

P.S.，distutils.unixcompiler._darwin_compiler_fixup前面的一段注释挺好玩，as usual。

QCon Beijing 2011 Day 1

Apr 10

IUSR咿咿呀呀, 技术文章, 补充两句 qcon 7 Comments

继续。对今天的讲座多少有些失望，同去的同事们也这么说。也算说明一个问题：别以为站在台上的就都是无比牛气的。我看着失望还无所谓，一牛人同事也觉得今天的session比较失望，那就是问题了。

今天的选择：

09:00	2011年的企业级Java和超越：从JavaEE 6到云计算 (幻灯片下载) 讲师：Juergen Hoeller 大宴会厅（设同声传译）
10:00	百度离线集群整合之道 (幻灯片下载) 讲师：吴波大宴会厅（设同声传译）
11:10	基于云计算架构构建Netflix (幻灯片下载) 讲师：Adrian Crockcroft 大宴会厅（设同声传译）
13:00	“稳定压倒一切”——银行应用中的稳定性考量 (幻灯片下载) 讲师：周伟然大宴会厅
14:20	淘宝前台系统优化实践 (幻灯片下载) 讲师：蒋江伟大宴会厅
15:50	在云中操控Netflix (幻灯片下载) 讲师：Adrian Crockcroft 第六会议室（同声传译）
17:10	网游服务器性能优化 (幻灯片下载) 讲师：谢廷宝第一会议室

想去而没法去的是：淘宝网线上线下性能跟踪体系和容量规划 (幻灯片下载) ，讲师：吴毓雄；基于Spring 3.1的现代组件设计 (幻灯片下载)，讲师：Juergen Hoeller；艺龙旅行网架构案例分享 (幻灯片下载)，讲师：贾志峰；企业级软件的组件化和动态化开发实践 (幻灯片下载) ，讲师：池建强。

今天的内容感觉没啥意思，所以也不想太多点评了，诶。

2011年的企业级Java和超越：从JavaEE 6到云计算：本来人家名字是Jürgen Höller，结果被替成了Juergen Hoeller，怪不得一直没认出来这是谁是干啥的呢（呃，我承认没仔细看QCon的讲师介绍材料）。直到幻灯片一开始，看到了名字，才想起来，SpringSource的。这个session整体来说，比昨天Oracle的Chuk Munn的演讲要“亲切”得多。都是讨论Java EE和云计算，Oracle一副一家独大不容置疑的样子，发明出来那一堆乱七八糟的东西（虽然Chuk Munn强调过那些小发明只是目前的状态，以后完全可能改变），而这位出身SpringSource的大叔对各种业界已经在用的云计算平台起码表示一种承认和尊重，虽然也没忘了给Spring框架做广告。总的来说是对现有很多和话题相关的技术的一个不错的覆盖和介绍。哦，让我比较高兴的是老大预料太依靠状态的范式应该会逐渐减少直至消失，至于JSF这种强烈依赖状态的东西八成就要消失——但愿，一直觉得JSF麻烦得要命，IDE支持又比不了ASP.NET，真白搭。
值得一说的是幻灯片里特别提到了新的ForkJoinPool，也就是执行fork-join风格任务的线程池。这应该是Java 7会装备的特性，看上去是并发的map/filter & reduce，诶，Java总算也有这么个东西了。不过就像java.util.concurrent第一次引入一样，不涉及任何语言变化，纯粹是为了提升开发效率。不知道新的ParallelArray类能不能解决好诸如locality的问题——诶，跟神人习得的词汇，现趸现卖了
还提了一个问题：假如在服务的低谷时段，在线用户数量比CPU核心数量还少得时候，应用该怎么办？噻，我从来没想过这个问题，总之服务器是不会因为买卖儿不好就想不开自尽的吧。
百度离线集群整合之道：这个算是今天觉得比较不错的一个session。内容讲的是BVC——Baidu Volunteer Computing——这一系统，试图利用现有服务器的剩余计算能力为其他应用服务。Volunteer Computing不是啥新鲜事物了，我也是SETI@home和BOINC项目的N多年的资深计算节点老板了。BVC挺有想法的，不过不怎么明白的是怎么会有那么多剩余资源，多到需要建这么一个系统来统一管理？没规划好么？会后和公司的牛人讨论这个话题，还是觉得，涉及到分布式解决方案的设计的时候，明显感觉很多系统有同质化的趋势，听多了就没什么惊喜了。也没办法，就那些算法和范式。
基于云计算架构构建Netflix：见到了Adrian Crockcroft，所以很激动来着，然后发现这个session基本是Amazon的云计算产品展示会… 好在下午的内容没让人失望。此处省略好几百字。
“稳定压倒一切”——银行应用中的稳定性考量：呃，这个吧，听上去还是以前企业应用的那些东西呃，顺便说了说ESB和SOA神马的。整体来说没什么感觉。
淘宝前台系统优化实践：说实话抱着很大希望来听的！结果好像此前台非彼前台啊。想必淘宝整体架构太庞大了，所以前台就是他们的web页面服务，不是折腾浏览器这头儿的东西。总的来说，这个session是多半场Java培训，至少我表示没有压力啊没有压力。后面的性能对比部分里的经验分享算是比较多的，不过很多背景、配置、步骤什么的都没有说，我觉着这些都不提，直接上来就做对比，有点儿不太严谨。至少，列一下JVM参数，做没做适当的预热，etc.，都要介绍一下吧，结果是都没有说。感觉做这个session的淘宝的小朋友可能是个比较嫩的孩纸换做JavaEye上的某些资深牛人来做，应该会很严谨的吧。
幻灯片刚讲到前几张执行时间对比的饼图里，我眼还算比较尖，看到了Velocity的身影，所以在微博上感慨淘宝还算有眼光。Velocity我自己因为实习的关系接触得比较早，也还算比较深刻，喜欢它的简单，所以当时火爆的FreeMarker我根本一点都看不进去。我想淘宝的Java团队之所以能顺利地把Velocity的模板引擎从解释性改造为编译性，Velocity本身的简单应该也有些好处的吧——不过说这个编译化改动做了2、3个月，有点儿吓人呢，回来研究一下以现在的可用工具能用多久改造完毕。不太喜欢JSP。
在云中操控Netflix：这次Adrian Crockcroft总是讲到了些经验分享的东西。一上来还是些Amazon WS的产品展示… 然后逐渐有了些和开发相关的经验分享，比如很多anti-patterns，还有一些比较详细的中间层的设计——感觉这一点有些想东家的企业产品线里的设计和实现：由专门的team以库的方式提供这个封装好的中间层，然后底层服务是轻易不会被允许直接访问的。
Netflix服务器的部署和升级，都是用一些自动化工具去完成，用版本控制工具管理的，而且基本没有针对机器上老版本服务器应用的升级，而是直接创建新的AWS节点部署新版本的应用，逐渐使其上线，测试OK以后直接把运行老版本的节点摘下线，最终完全销毁——比较灵活和经济的方法，而且借助了AWS的一些API，也减轻了很多重复的人力劳动，避免因为重复导致人为失误。这个幻灯片一定要再看一次，里面有不少Java开发方面的内容。
网游服务器性能优化：这个还是因为公司牛人想听这个我才后来改变主意的。感觉讲师应该有很多想要和大家分享的，不过一是时间不够，二是…有些优化和问题听上去有些…弱了… 演讲做的还是很真诚的，容量很大，不过也许我真该按原计划去池建强的业级软件的组件化和动态化开发实践，毕竟这是今天“设计优良的架构”系列的主持人啊！

今天主要的感受就是对大部分sessions比较失望，而且似乎其他来参加QCon的人也是这样的感觉，很多人频繁地来回穿梭，我就当作是在找好session听吧。一个session讲好了能让人坐下听完不走，真是不易。很多做技术出身的人都缺乏这个能力。有时我会觉得听讲座的人不该坐下后听5分钟就觉得无聊走人，也许后面的很精彩呢；另一方面也觉得做讲演的人开篇5分钟没法吸引到别人的话，水平还真的有待提高，毕竟一共就只有1个小时而已，大家都不想耽误不想花冤枉钱来听些讲的不太好的内容。

明天最后一天了，感觉大会故意安排了几个不错的来压轴吧，诶。下次中国再有QCon的话就要斟酌一下了，都是这样的session的话真不如去JavaONE了。

QCon Beijing 2011 Day 0

Apr 09

IUSR咿咿呀呀, 技术文章, 补充两句 qcon No Comments

标题显得很NB吧？哇哈哈…

难得这次东家能应允让我这么个打杂的来参加这么高端的集会啊，感谢感谢。

结果今天的选择是：