中文姓名的自动辨识孙茂松，黄昌宁，高海燕，方捷（清华大学计算机科学系，烟台大学计算机应用 系）【摘要】中文姓名的辨识对汉语自动分词研究具有重要意义。本文提出了一种在中文文本中自 动辨识中文姓名的算法。我们从新华通讯社新闻语料库中随机抽取了３００个包含中文姓名的句子 作为测试样本。实验结果表明，召回率达到了９９．７７％。关键词中文姓名自动辨识，
生词处理 ，
汉语自动分词，中文信息处理一、引言汉语自动分词是中文信息处理的基础课题之一。虽已有十 年的研究历史，但始终未见真正实用的系统面世。困扰此项研究的困难主要有二：歧义切分问题与 生词处理问题。本文所讨论的属于第二个问题的范畴之内。中文姓名一般来说具有任意性，或典雅 浑成，或粗俗率真，或简单明了，或深奥晦涩，洋洋洒洒，繁若星沙，随心所欲，实难预期。无论 分词词典如何庞大，都不可能用穷举的办法将它们囊括进去（著名人物除外）。中文姓名在文章中 的出现频率虽然不高，但绝非可以忽视。由于中文姓名不象印欧语言那样可以通过大写字母来辨识 ，其中的姓氏和名字用字不少又可同时以普通词或普通词一部分的身分参与句子的活动，因此如果 不予处理，将导致为数可观的分词错误。例如：郑杰士来时遇见了林红。（例１）刘清楚楚动人。 （例２）利用从左向右扫描的最大匹配法进行切分，得到：郑杰士来时遇见了林红。刘清楚楚动人 。注意，例１中姓名＂郑杰士＂＂林红＂被生硬地拆裂成字串。例２中因未认为＂刘清＂是一个姓 名，导致分用错误蔓延。由此可见，中文姓名的自动辨识对建立一个健壮的自动分词系统具有重要 意义。清华大学智能技术与系统国家重点实验室开放基金资助项目迄今为止，这方面研究见诸报道 的，主要有文献［１，２，３］。［１］完全以中文姓名的概率作为辨识依据，并将之融入限制式 满足求解过程中．虽然取得了令人注目的结果，但存在两点局限：（１）姓名语料库偏小，仅包含 １８５４１个姓名样本．一般认为，这类语料库需要１０万个以上姓名样本才算足够大；（２）仅 利用了关于姓名的统计信息，而没有充分挖掘其它各种行之有效的手段．［２］，［３］则进一步 从不同的角度进行了有益的尝试。二、辨识中文姓名的当用资源２．１．姓氏频率表ＸＦＬ与名字 用字频率表ＭＣＦＬ中文姓名由姓氏和名字两个部分组成．表ＸＦＬ和ＭＣＦＬ取自［４］，系根 据１９８２年中国全国人口普查资料，使用计算机对１７４，９００个中文姓名进行抽样综合统计 的结果。姓名样本分别从中国六大区的七个省市抽取（北京、上海、辽宁、陕西、四川、广东和福 建，各随机抽取２５，０００个左右），覆盖面广，代表性强，比较合理、科学。统计结果显示： （１）当今仍然使用、活跃的中文姓氏远没有某些姓氏典籍所列举的那么多。统计共得到７２９个 姓氏，虽遗漏固属难免，但姓氏数目的量级大致应是这样．宋《姓解》收录了姓氏２５６８个，明 《万姓统谱》收录了３５５７个，大陆出版的《中华大词典》收录了１９４２个，台湾出版的《中 国姓氏集》收录了５５４４个，其中绝大部分已成＂死＂姓，不复流行；（２）姓氏分布很不均匀 ，但相对集中．７２９个姓氏中，＂王、陈、李、张、刘＂这５大姓就占了姓名样本数的３２．０ ％，前１４个姓占４９．５％，前１１４个姓占９０．０％，前３６５个姓占９９．０％。而其余 ３６４个姓氏仅占不到１．０％。中国俗语所谓＂张王李赵刘，普遍天下走＂＂陈蔡李林王半天下 ＂，即是这种分布趋势的形象反映；（３）某些姓氏可用作单字词，其中不乏高频单字词。常用的 姓氏如＂王、黄、马、高、于＂等，不常用的姓氏如＂是、过、来、从、那＂等；（４）名字用字 分布较姓氏要平缓、分散。共得到３３４５个名字用字，频率最高的前６个字（＂英、华、玉、秀 、明、珍＂）的覆盖率为１０．４％，前２８个字为３０．１％，前４１０个为９０．０％，前１ １４１字为９９．０％；（５）名字用字涉及范围很广。从所属的词类看，不仅有实词，也有各类 虚词。如副词＂再、常、太、必、就、非、最、更、也、极、又、仅、皆＂，介词＂以、向、从、 于、稻，连词＂而、虽、且、与＂等。从感情色彩看，多使用褒义字和中性字，但也出现了一些贬 义字或不太雅的字，如＂虫、狗、鸡、狼、愚、暴、恶、悲＂等；（６）某些汉字既可用作姓氏， 又可用作名字用字。如＂林、方、金、江、万、颜、童、柳＂等。上述各点，（１）、（２）、（ ４）赋予中文姓名具有统计意义上的可区别性，（３）、（５）使得部分姓名边界模糊，（６）则 导致相邻候选姓名之间产生交叉歧义。２．２中文姓名的概率分布一般来说，中文姓名分单名ｓｎ 和双名ｐｎ两类。单名形如：ｓｎ＝ｘ（姓氏）ｍｌ（名字首字）双名形如：ｐｎ＝ｘ（姓名）ｍ ｌ（名字首字）ｍ２（名字末字）姓氏又可分为单姓（如＂赵、钱、孙、李＂）和复姓（如＂诸葛 、司马、欧阳＂）。冠夫性（如＂李杨、刘张、陈王＂）本文暂不予考虑．单姓形如：ｘ＝ｘ１复 性形如：ｘ＝ｘ１ｘ２（以上ｘ１，ｘ２，ｍ１，ｍ２均代表汉字）令：ｆｘ（ｘ０｜ｘ０∈姓氏 ）表示姓氏ｘ０的使用频率；ｆｍ（ｍｏ｜ｍ０∈名字用字）表示名字用字ｍ０的使用频率则根据 表ＸＦＬ及ＭＣＦＬ，可给出姓名的概率估值；ｐ（ｓｎ）＝ｆｘ（ｘ）＊ｆｍ（ｍ１）Ｐ（ｐｎ ）＝ｆｘ（ｘ）＊ｆｍ（ｍ１）＊ｆｍ（ｍ２）利用这两个公式，我们对清华大学近１０年共２３ ，１７５名学生的姓名（计单名８，５９４个，双名１４，５８１，单名与双名之比约为３７．２ ％：６２．８％）进行了概率估值，从而得到中文姓名的概率分布曲线：图１单名概率分布曲线图 ２双名概率分布曲线显然，这种概率分布是姓名辨识算法所乐见的。另，单名与双名的概率分布曲 线非常相似。２．３绝对封闭式、相对封闭式和开放式名字用字根据构词能力，名字用字可划分成 三类：绝对封闭式名字用字一类名字用字，既不可作单字词，又不能作构词成分．若这类字落在某 个姓氏的作用域内，则必为该姓名的一部分．进一步地，若落在姓名的ｍ２位置，则该姓名的右边 界定．如＂李逵＂中的＂逵＂，＂郑筱云＂中的＂筱＂，＂刘仲藜＂中的＂藜＂字等．相对封闭式 名字用字胡戎睿十分聪明．（例３ａ）胡戎睿智过人．（例３ｂ）＂睿＂不是单字词，但可构词， 如＂睿智＂．当不存在相应的构词语境时，这类字的作用与绝对封闭式名字用字完全相同（例３ａ 中，＂胡戎睿＂应判成姓名）．否则，应与姓名脱离（例３ｂ中，＂睿＇属＇睿智＂，＂胡戎＂为 姓名）．开放式名字用字张玉爱读小说．（例４）例４中的＂爱＂字，可成为姓名的一部分，同时 又可以单字词的身份参与句子的活动。这将导致在形式上，句子有两种可能的解释：张玉爱读小说 。张玉爱读小说。从姓名的角度来看，如果这类字出现在姓名的ｍ２位置上，那么该姓名的右边界 是不确定的（即应保留＂ｘｍ１＂及＂ｘｍ１ｍ２＂两种可能）。故称之为开放式名字用字。２． ４称谓表称谓常与姓名联袂出现，因此对辨识姓名有指示作用。省长李长春赶到了抗灾现场。（例 ５）这是王继宁教授的学生。（例６）例５中，由称谓＂省长＂指示姓名的左边界；例６中，由称 谓＂教授＂指示姓名的右边界。称谓具有三种属性：只能用于姓名之后，如＂之流＂＂阁下＂等； 只能用于姓名之前，如＂青年＂＂战士＂＂运动员＂等；用于姓名前后均可，如＂先生＂＂同志＂ ＂市长＂＂司令员＂等。与称谓表相配合，我们还设置了一个称谓前缀表，存放＂副、总、代、代 理、助理、常务、名誉、荣誉＂等，以减少称谓表的冗余度。通过简单的组合即可处理＂代理副总 经理＂之类较为复杂的称谓。２．５简单上下文指界动词一些动词，如＂说、是、指出、认为、表 示、参加＂等，常紧接姓名的后面，故可用来帮助判断姓名的右边界。如：姬鹏飞指出，…（例７ ）匹配模式某些模式，如：＂…的＜姓名＞＂、＂以＜姓名＞｛称谓｝为＜称谓＞＂（大括号表可 缺省）等，亦具界定姓名左右的功效。如：毕业于同济大学分校的叶冬梅１９８３年分到局机关后 ，……（例８）以潘杜泉为团长的香港工会代表团和以欧少雄为团长的澳门工会代表团是应中华全 国总工会邀请，…（例９）三、算法设计３．１预切分、标志数组及概率初筛选输入文本分割成句 子后送入数组ＳＥＮＴ，并在常用词表的支持下，利用最大匹配法对ＳＥＮＴ进行分词，分词结果 仍存回ＳＥＮＴ，且保持ＳＥＮＴ的长度不变（不妨认为切分出的词与词之间存在隐式的＂空＂分 割符）．然后，根据上节所述资源，建立一个与经分词处理后的数组ＳＥＮＴ具有－一对应关系的 标志数组ＦＬＡＧ．赋加标志遵循的规则是：对句内任一位置ｐｔ（０＜ｐｔ＜ｌｅｎｇｔｈ（Ｓ ＥＮＴ）－１）若ＳＥＮＴ［Ｐｔ］为孤立字且该字不可作单字词ＦＬＡＧ［ｐｔ］←′０′，若 ＳＥＮＴ［ｐｔ］为孤立字且该字可作单字词ＦＬＡＧ［ｐｔ］←′１′；若ＳＥＮＴ［ｐｔ］属 于某个多字词（含双字词）ＦＬＡＧ［ｐｔ］←′２′；若ＳＥＮＴ［ｐｔ］属于某个称谓ＦＬＡ Ｇ［ｐｔ］←＇３＇；若ＳＥＮＴ［ｐｔ］属于某个指界动词（
单字词）ＦＬＡＧ［ｐｔ］←＇４ ＇；若ＳＥＮＴ［ｐｔ］属于某个指界动词（双字词）ＦＬＡＧ［ｐｔ］←＇５＇；若ＳＥＮＴ［ ｐｔ］是分隔符（数字、字母、标点等非汉字）ＦＬＡＧ［ｐｔ］←＇６＇； 赋加标志的优先权 ：＇４＇＞＇１＇；＇３＇＞＇５＇＞＇２＇接着，算法将寻找ＳＥＮＴ中所有可能的潜在姓名。 设ＳＥＮＴ中任一连续汉字串ＣＳＴＲＣＩＣ２：若有Ｃ１（单姓）∈ＸＦＬ，Ｃ２∈ＭＣＦＬ； 或／＊单姓单名＊／Ｃ１Ｃ２Ｃ３：若有Ｃ１（单姓）∈ＸＦＬ，Ｃ２，Ｃ３∈ＭＣＦＬ；或／＊ 单姓双名＊／Ｃ１Ｃ２Ｃ３：若有Ｃ１Ｃ２（复姓）∈ＸＦＬ，Ｃ３∈ＭＣＦＬ；或／＊双姓单名＊／Ｃ１Ｃ２Ｃ３Ｃ４：若有Ｃ１Ｃ２（复姓）∈ＸＦＬ，Ｃ３，Ｃ４Ｅ∈ＣＦＬ／＊双姓双名＊／则ＣＳＴＲ即被视作一潜在姓名ｃｎ，并将之添加到潜在姓名表ＣＮＬ中。注意，此操作的作用范围并不受分词结果的制约，即使是已经切出来的多字词，仍可能成为姓名的一部分（这也正是引