我虽然见过一些DSR的实现方式，然而只不过是阅读架构文档而已，想当然来的东西跟最后实际实施出来的东西肯定有差距，所以把自己认为的设计思路记录下来，看看最终是否可行。

首先是拓扑图：

介绍一下简单的信息：

首先从数据流角度来看（红色箭头上的标号）：

这个过程与传统NAT方式的Load Balance的区别在于，LB不修改目的地址，直接将数据报通过路由的方式转发给服务器集群。然而这里的难点就在于：如果不修改目的IP，那必须让Server能够对发往虚拟IP的请求做出响应，那就必须要把虚拟IP绑定在Server端，因此虚拟IP就同时出现在了两个地方：LB和Server，解决这个冲突就是完成DSR的关键所在。对于此点引用delphij的原话：

实现DSR结构的关键是，通往Internet路由器的那个网络上，只有负载平衡设备在网络上宣示虚拟出来的那个IP的MAC地址，这样，当请求进来的时候，数据会发到负载平衡设备，而不是某一台服务器上。

Delphij采用的方法是，将服务器上网卡的ARP功能关闭，这样服务器虽然绑定了虚拟IP，但不会对外界对于虚拟IP的MAC地址解析请求做出响应，所以完美解决了IP重复的问题。缺点是ARP一关Server自己会找不到Router或者网络内的其他服务器，因此需要手工维护一个静态ARP表。

而我所采用的方式，是不将虚拟IP绑定在实际网卡上，只是绑定在Server的还回(lo)上，这样依旧可以起到缩减ARP响应域的作用。

Delphij认为这样会需要一个额外的Public IP，不过我认为如果Server放在私有地址VLAN的话，应该是不需要额外的IP，在如图的这种拓扑中应该可以完美的工作。只要LB和Server中作出如下配置（红色罗马数字）：

I.  Load Balancer要特别设置的地方有：

这里引用delphij的pf命令为例，如下，round-robin是负载均衡算法，keep-state(slopppy)是宽松状态匹配，这一点对于DSR也是尤为重要，因为DSR的特点就是从Server发回的响应不经过LB，LB看不见回去的响应包，所以Session track必须能容忍这种半吊子连接。而且这里似乎也必须修改Session的timeout时间，否则会有问题，这里无关者略过：

FreeBSD pf规则举例：pass in on em0 route-to { em1 内网IP1, em1 内网IP2, em1 内网IP3 } round-robin proto tcp from any to 公网IP port http keep state (sloppy)

II.  Server端需要的设置：

III. Router上应该不需要什么特殊设置，知道把发往Internet的包路由出去就行

这样整个DSR就应该能走通了，不过这个玩法我也只是想出来而已，还没有经过实践，当初看到过F5的nPath实现，应该就是这么种玩法，不过估计实际应用时应该会有我这里没有想到得地方，所以有时间的话，最好还是找几个设备搭一下看看吧，先把设想架构放这儿，改天回来验证。说实话，delphij指出这里必须要有一个额外的公网IP才能保证知道出去的包怎么走，我这点还是没有想通。不管怎样，写出来让大家指正吧，至少在写这篇的过程中，我已经将自己以前没考虑到得一些细节补充完整了，对于自己来说，也算是不小的收获。

看了一下版本号，没想到已经是beta3了，这应该是Release前最后一个beta了吧，难道传说的这个Release不会跳票真的实现了？？ XD

接下来要做的是将一部分陈旧资料（其实主要是电影存档）搬到ZFS去，然后是恐怖的gnome升级至2.20，希望顺利。时间上就凭一个破P4已经没什么奢望了，做好长期开机build的准备。

另外今天make world时发现有一个变量是可以不让make delete-old时老提示是否删除的，记录之

make BATCH_DELETE_OLD_FILES=YES delete-old

亏得以前按到手软…..

 用 MD5 散列加密的密码通常要比用 DES 散列得到的长一些， 并且以 $1$ 字符开始。 以 $2a$ 开始的口令是通过 Blowfish 散列函数加密的。 DES 密码字符没有任何可以用于鉴别的特征， 但他们要比 MD5 短， 并且以不包括 $ 在内的 64 个可显示字符来表示，因此相对比较短的、没有以美元符号开头的字符串很可能是一个 DES 口令。

XXD

测试看这里：

http://blogs.freebsdish.org/clement/2007/10/18/more-on-zfs/

对于一个Sysadmin来说，如何加固系统是一个长盛不衰的话题。然而再坚固的系统也有失守的时候，有时就可能因为非常细小的一点疏漏，导致整个系统被攻破。所以对于Sysadmin来说，尽可能地保证系统安全是其一，其二还要会更快速有效地发现系统被入侵或者控制这种行为。因此完善的日志体系是必要的。然而还有很多日志无法记录的入侵和破坏行为，这就要求从其他方面想办法。对于Windows操作系统，从Win2k起就有一个SFC系统，一旦系统核心文件被更改，就会提醒管理员并生成审计日志。这玩艺在Win2003又进一步发展，不过貌似也是非常不好用。MS在即将发布的Windows 2008里面建立了一种名为Trusted Platform的框架，进一步完善了SFC，其原理大体应该也是核心部件的数字签名以及认证机制，只不过做的更完善一些了。我现在的PC就是因为某P2P网络电视修改了tcpip.sys导致不断生成这个模块的error日志，大体说明这玩艺还是堪用的。不过Windows更难于发现的破坏行为大多在注册表而不是文件系统，所以此方面恐怕还要更为复杂一些。

扯远了，对于unix类操作系统来说，这方面就没有那么复杂了，因为一个系统本身设计哲学的原因：一切皆是文件。因此，只要能有效监控文件系统的更改，就可以抓住一切针对系统的不良行为。以前有过不少人写过Linux系统可以对整个根做md5sum来实现，这个对于其他Unix类系统也适用。然而对于FreeBSD来说，有一个更为方便的工具–mtree。

其实mtree这东西本来是用于安装系统或软件时预先创建目录树的，因为其有散列计算以及权限对比等能力，将其作为一个文件系统完整性审计工具也是刚好。另外还有一个很重要的原因是这个工具为基本发行版所附带，属于随手拈来的东西。假使系统被入侵，基础命令集像ps，top被替换地乱七八糟，也很少会有人想到在mtree上动手脚。即使为了万全的可信任概率考虑，也可以使用rescue CD里的这个工具，还有它依赖的运行库也是非常之少，甚至临时从其他系统cp一个来用也完全可以。 说了这么多废话，其实用法非常简单，如下：

-c代表输出至stdout，然后用转向定位到文件。

-K代表使用的散列方法，sha256可谓足够安全了吧。

-p代表要做mtree的目录，指定根自然是对整个文件系统做了。如果按照实际使用需求，其实不应该包含入一些被更改频率很高的目录，例如/var/log等。想做得更完善一点就可以写个脚本读取某文件里的目录列表挨个mtree了。

完成后mtree.txt里面就是我们要获取的审计信息了。 根据mtree.txt再来对照文件系统来检查更改情况则用以下命令：

无输出则表示文件系统没更改，如果有输出，应该是以下类型的结果：

changed代表文件有变动，extra则代表为新建的文件，missing自然是代表文件没了。一目了然。

这样我们所要做的就是定期为文件系统做一个mtree.txt并妥善保管好，并在系统疑似出问题时拿出它来检查了。

这次论战现在又有学院派的高人卷进来了，恰逢FreeBSD的ULE调度器3.0发布不久，所以ULE的作者Jeff Roberson (jeffr)也写了一篇文发表了自己的看法，见此：http://jeffr-tech.livejournal.com/12933.html

 jeffr的文章是从设计角度来讨论了这三个调度器实现的不同点，基本上也就是使用的数据结构和算法不同带来的性能影响，有兴趣可以仔细看看，比起LKM那些论战来，不需要懂得那几个大牛之间的前恩宿怨，应该要好看一些。

另外看看用户而不是开发者的comments也是挺好玩的：http://osnews.com/comment.php?news_id=18401

不过毕竟是看过代码才有发言权，普通用户的言论看过就好，没必要较真，真要了解细节还只能看代码。话说回来看完代码估计也不一定就了解。Scheduler设计真是每个变量都要考虑到毫厘，象我这种仅仅是结合几部书讲解调度器的章节过了一遍O(1)和初代ULE的人，还是不理解为什么这样设计或为什么不那样做。所以还是继续看大牛们的热闹吧。

这里要注意的很关键的一点，就是校时并不是一个一次性工作，也就是说绝对不是系统安装好对照手表上的“北京时间”将系统时间设置好就算万事大吉了的。因为有很多内部或外部因素都会导致系统时间逐渐地出现误差，例如RTC晶片本身的误差，重负载系统导致的时钟滴答丢失等等等等都可能成为时间漂移的因素，因此不可能有一劳永逸绝对精准的时间，只能是持续不断地实施校时。 网络上的标准时间服务器，是挂接了专用的硬件来保证本地时间的准确，并向外发布NTP服务的，因此我们所谓的网络校时只不过是通过NTP协议链接到这些时间服务器，并取回准确时间。目前常用的方法有两种，一种是类似ntpdate工具这样周期性得连接某时间服务器并修改本地时间，这是最简单有效的方法，所要做的不过是将一条ntpdate命令加入到cron中去，一般以小时为单位运行这个命令来实现时间同步。这对于普通状况应该是足够了。象Windows，Ubuntu的桌面版本都是用此类机制实现的，一般来说，以数小时间隔对时不会有任何问题。但是在某些比较极端情况下，例如某个不合格的RTC可能跑1个小时就有5s误差这种的残疾系统，以此类方式对时会导致突然的时间跃迁，在对时完成的瞬间会产生时间突然超前或滞后5s的情况。如果此时恰好在运行高度时间敏感的程序，则可能导致程序出现不可预料的后果。因此也就有了第二种对时方法：ntpd。

ntpd是一个守护进程，它通过对比本地时间与时间服务器的时间差，来进行渐次逼近地对时，也就是说一次修正很小的误差，通过多次修正慢慢逼近准确的时间，所以能避免前面方式的缺陷，因此，在服务器环境下，使用ntpd方式会更好一些，在下认为，即使是只有单独一台服务期的情况下，也尽量使用只为本机服务的ntpd来进行网络校时，而不要使用ntpdate方式。

废话说完，开始实干，以FreeBSD系统为例，具体配置如下：

FreeBSD本身已经带有了ntpd服务，所以直接写配置文件启用即可。

1，修改/etc/rc.conf，加入一行ntpd_enable=”YES”。

2修改/etc/ntp.conf，按照自己要求写入配置选项。如果无此文件新建即可，范例配置文件附下。

3运行/etc/rc.d/ntpd start启动服务。

范例配置文件在此，取自RedHat发行版，使用了ntp.org的时间服务期作为源，限制只为本机服务，可谓适应性非常广的配置了，用于其他系统的ntpd配置也完全可以：

restrict default nomodify notrap noquery #default acl restrict 127.0.0.1

server 127.127.1.0 # local clock fudge 127.127.1.0 stratum 10

# — OUR TIMESERVERS —– server 0.pool.ntp.org server 1.pool.ntp.org server 2.pool.ntp.org

到此就算架设完工，不过还有以下几点需要注意：

 1，启动ntpd之前需要运行ntpdate pool.ntp.org先同步一下时间，避免因为系统时间与时间服务期时间相差太大导致渐次逼近无法实施而造成的ntpd运行失败。

2，如果此ntpd服务需要对网络内其他服务期开放校时服务，可以加一条acl实现，如下：

restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

3，启动或者重启ntpd成功后过一段时间才会进行真正的校时服务，大约是320s吧，要记住效果不是立即出现的。

4，可以通过ntpq -p命令来检查当前ntpd服务状态，注意看输出的表格中st这一项值，必须小于16，16代表无法连接时间服务器，如果都为16，则对时不能完成，需要检查网络原因。

5，ntpd服务需要开放对udp端口123的访问。

概念

Jail是chroot机制的一种进化后的机制，可以提高更为高级和灵活的隔离和监管机制，除了文件系统监管外，还实现了设备隔离，用户隔离，系统资源隔离，使其更像是一种虚拟机机制了，与此相似的概念有linux下的openvz，以及Solaris下的Container。在下认为此类的技术会与虚拟化技术逐渐融合并逐渐集成入操作系统本身甚至硬件，最终成为新的操作系统资源分配机制（继多用户，多进程，Virtual Memory架构之后新的隔离机制）。

设计 Jail可以说是一种轻量级的虚拟机制，就我目前所了解到的资料来看，它实现了文件系统隔离，进程隔离，用户隔离，设备隔离。比较起linux下的openvz，差的地方有网络地址分配，共享库控制这两大方面，当然细节会有很大不同了。

部署

写了一大堆废话，下面才是真正开始安装使用了。

构建一个Jail，必备的几个参数有Jail的根目录，用户态程序，主机名以及IP地址，还有一个可选的dev。根据用户态程序的不同考虑可以将Jail做成完整的系统型Jail以及服务型Jail。下面搞的一种，其实个人比较感兴趣的是服务型Jail，但是handbook没有提及，资料也较少。

时至当前6.2的版本，各项脚本以及工具可以说是十分成熟了，因此也就有一个比较统一的部署和管理方式了，基本可以按照handbook来做了，具体如下：

1，构建Jail的根目录，假设建立一个名为test的Jail，放在/jail/test下。很简单，就一句命令：

#mkdir /jail/test

2，构建用户态程序，因为是完整的系统型Jail，自然这些用户态程序也就是FreeBSD的world了，make world实现：

# cd /usr/src # make world DESTDIR=/jail/test

这里make world=make buildworld + make installworld，因此如果以前做过buildworld的话可以偷懒直接用以前build好的安装，可以节省大量时间，也就是

#make installworld DESTDIR=/jail/test

3，构建jail内系统运行需要的配置文件，也就是jail的etc了，也就一条：

# make distribution DESTDIR=/jail/test

4，修改rc.conf添加jail服务运行的必要参数，必备的有： jail_enable="YES" # 如果设为 NO 则表示不自动启动 jail jail_list="test" # 以空格分隔的 jail 名字列表

还需指定单个jail的必备参数： jail_test_rootdir="/jail/test" # jail 的根目录 jail_test_hostname="jail.dawnh.net" # jail 的主机名 jail_test_ip="192.168.1.81" # jail 的 IP 地址

另外还有可选的devfs，可用于控制jail里面可以使用哪些设备

jail_test_devfs_enable="YES" # 在 jail 中挂接 devfs jail_test_devfs_ruleset="test_ruleset" # 在 jail 中应用的devfs 规则集

至此Jail基本就建立完成了，可以启动了。

这里注意还有一点是handbook没有提到但必须做的事情，就是设置IP，前面虽然为Jail指定了IP，但这个IP似乎是指定这个Jail可以从宿主系统接受数据报的IP，要其真正起作用，还必须在宿主系统配置上这个IP才可以，一般的做法是在宿主系统的接口上设置alias，命令如下：

#ifconfig re0 inet 192.168.1.81 netmask 255.255.255.0 alias

这样才算真正完成了，然后就是启动这个jail了。

#/etc/rc.d/jail [...]]]> 以前零零散散的玩过，没有一个系统的理解，正好趁放假研究了一下，主要资料来自handbook。

概念

Jail是chroot机制的一种进化后的机制，可以提高更为高级和灵活的隔离和监管机制，除了文件系统监管外，还实现了设备隔离，用户隔离，系统资源隔离，使其更像是一种虚拟机机制了，与此相似的概念有linux下的openvz，以及Solaris下的Container。在下认为此类的技术会与虚拟化技术逐渐融合并逐渐集成入操作系统本身甚至硬件，最终成为新的操作系统资源分配机制（继多用户，多进程，Virtual Memory架构之后新的隔离机制）。

设计

Jail可以说是一种轻量级的虚拟机制，就我目前所了解到的资料来看，它实现了文件系统隔离，进程隔离，用户隔离，设备隔离。比较起linux下的openvz，差的地方有网络地址分配，共享库控制这两大方面，当然细节会有很大不同了。

部署

写了一大堆废话，下面才是真正开始安装使用了。

构建一个Jail，必备的几个参数有Jail的根目录，用户态程序，主机名以及IP地址，还有一个可选的dev。根据用户态程序的不同考虑可以将Jail做成完整的系统型Jail以及服务型Jail。下面搞的一种，其实个人比较感兴趣的是服务型Jail，但是handbook没有提及，资料也较少。

时至当前6.2的版本，各项脚本以及工具可以说是十分成熟了，因此也就有一个比较统一的部署和管理方式了，基本可以按照handbook来做了，具体如下：

1，构建Jail的根目录，假设建立一个名为test的Jail，放在/jail/test下。很简单，就一句命令：

#mkdir /jail/test

2，构建用户态程序，因为是完整的系统型Jail，自然这些用户态程序也就是FreeBSD的world了，make world实现：

# cd /usr/src
# make world DESTDIR=/jail/test

这里make world=make buildworld + make installworld，因此如果以前做过buildworld的话可以偷懒直接用以前build好的安装，可以节省大量时间，也就是

#make installworld DESTDIR=/jail/test

3，构建jail内系统运行需要的配置文件，也就是jail的etc了，也就一条：

# make distribution DESTDIR=/jail/test

4，修改rc.conf添加jail服务运行的必要参数，必备的有：
jail_enable="YES" # 如果设为 NO 则表示不自动启动 jail
jail_list="test" # 以空格分隔的 jail 名字列表

还需指定单个jail的必备参数：
jail_test_rootdir="/jail/test" # jail 的根目录
jail_test_hostname="jail.dawnh.net" # jail 的主机名
jail_test_ip="192.168.1.81" # jail 的 IP 地址

另外还有可选的devfs，可用于控制jail里面可以使用哪些设备

jail_test_devfs_enable="YES" # 在 jail 中挂接 devfs
jail_test_devfs_ruleset="test_ruleset" # 在 jail 中应用的devfs 规则集

至此Jail基本就建立完成了，可以启动了。

这里注意还有一点是handbook没有提到但必须做的事情，就是设置IP，前面虽然为Jail指定了IP，但这个IP似乎是指定这个Jail可以从宿主系统接受数据报的IP，要其真正起作用，还必须在宿主系统配置上这个IP才可以，一般的做法是在宿主系统的接口上设置alias，命令如下：

#ifconfig re0 inet 192.168.1.81 netmask 255.255.255.0 alias

这样才算真正完成了，然后就是启动这个jail了。

#/etc/rc.d/jail start

如果前面做的都没问题的话可以看到Jail服务正常启动。

使用

然后的问题就是怎么进到这个Jail里面去使用了。因为刚构建好的Jail类似刚安装好的FreeBSD，是一个任何服务都没启用，连root密码都为空的系统，此时只能从控制台登陆进去配置各项服务，然而这里关键的问题就是–Jail是没有控制台的！

当然不会有人傻到对这种问题束手无策，最容易想到的是直接通过宿主系统进到/jail/test/etc里去修改各种配置文件，貌似这也是大部分网上有的资料所写的办法。然而由于我玩openvz的习惯，总以为会有那么一个jailctl enter test的命令可以直接从宿主进入到jail中去，不幸的是–没有。

然而我却找到了jexec这样一个命令可以执行jail里的命令，于是就简单多了，按照安装FreeBSD系统的经验，装好后第一步就是设置root密码并开启ssh，这样才方便下面登陆进去管理嘛，于是这样做：

#jls

此命令列出当前运行的jail，这里的关键是取得这个jail的jid，因为下面要用到。我这里假设id为1

#jexec 1 passwd root

要求输入密码了，和平时该密码一样的效果。

#jexec /etc/rc.d/sshd forcestart

启动ssh

至此这个Jail就可以ssh上去管理了。

• 2009/09/18 -- 有关DSR的网络拓扑结构和实现方法 (1)
• 2007/11/22 -- 升级至FreeBSD 7.0-BETA3 (2)
• 2007/11/01 -- 区分几种知名散列算法的散列值的方法 (0)
• 2007/10/30 -- ZFS under FreeBSD performace (0)
• 2007/09/10 -- Sysadmin手记:如何利用mtree做FreeBSD操作系统文件完整性审计 (2)
• 2007/08/07 -- A comment abount SD, CFS Schedulers,from ULE’s author (15)
• 2007/06/06 -- FreeBSD架设ntpd服务手记 (0)
• 2007/06/05 -- FreeBSD操作系统利用powerd服务减轻系统功耗 (0)
• 2007/04/15 -- 超低级失误–误删除/etc (0)

刚才在调试自己的FreebBSD box来玩ZFS的时候，因为7-Current的一个配置文件路径的变更，/etc/zfs被挪到了/boot/zfs下。我本意是要删除/etc/zfs的，结果不知怎么在敲到rm -rf /etc的时候就按下了回车，当回过神来的时候，就对着那个“#”欲哭无泪…..

还好只是自己玩的系统，不然损失就大了，即使是这样，也要想办法尽可能的挽回。简单想了一下，目前对于这个box上etc下面我并没有作太大的修改，几乎自己改过的配置应该都还记得是哪些文件，所以问题的焦点就在于：怎么把原始的/etc文件弄回来。

其实这本也应该不是什么困难的事情，只需要从安装CD中恢复一份原始copy即可，可我这个box是没光驱的！即使是ISO，我也没有7-Current的！而在现在/etc整个消失的情况下，可以说是几乎所有的网络工具都瘫痪-_-

再仔细想了一下，刚好前两天刚做过make world，而/usr/src下面的东西还没删除，就从这里入手了！第一个想到的就是mergemaster，运行失败，提示找不到root用户-_-…..ah……出歪招了，touch /etc/passwd /etc/master.passwd /etc/group，然后mergemaster -p，提示cvs id更新，一阵窃喜，一路i下去，这样最重要的用户和组结构就恢复了，立刻passwd root改密码，接下来就是mergemaster -U，满屏的create，i按到手软，终于创建完了，哈哈。

剩下的就是清理工作了，该改配置的改配置。