MysqlMATCH()AGAINST()(MATCH+AGAINST)MySQL 全⽂搜索
到 3.23.23 时,MySQL 开始⽀持全⽂索引和搜索。全⽂索引在 MySQL 中是⼀个 FULLTEXT 类型索引。FULLTEXT 索引⽤于 MyISAM 表,可以在 CREATE TABLE 时或之后使⽤ ALTER TABLE 或 CREATE INDEX 在 CHAR、VARCHAR 或 TEXT 列上创建。对于⼤的数据库,将数据装载到⼀个没有 FULLTEXT 索引的表中,然后再使⽤ ALTER TABLE (或 CREATE INDEX) 创建索引,这将是⾮常快的。将数据装载到⼀个已经有 FULLTEXT 索引的表中,将是⾮常慢的。
全⽂搜索通过 MATCH() 函数完成。
mysql> CREATE TABLE articles (
->  id INT UNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY,
->  title VARCHAR(200),
->  body TEXT,
->  FULLTEXT (title,body)
-> );
Query OK, 0 rows affected (0.00 sec)
mysql> INSERT INTO articles VALUES
-> (NULL,'MySQL Tutorial', 'DBMS stands for DataBase ...'),
-> (NULL,'How To Use MySQL Efficiently', 'After you went through a ...'),
-> (NULL,'Optimising MySQL','In this tutorial we will show ...'),
-> (NULL,'1001 MySQL Tricks','1. Never run mysqld as root. 2. ...'),
-> (NULL,'MySQL vs. YourSQL', 'In the following database comparison ...'),
-> (NULL,'MySQL Security', 'When configured properly, MySQL ...');
Query OK, 6 rows affected (0.00 sec)
Records: 6 Duplicates: 0 Warnings: 0
mysql> SELECT * FROM articles
-
>          WHERE MATCH (title,body) AGAINST ('database');
+----+-------------------+------------------------------------------+
| id | title            | body                                    |
+----+-------------------+------------------------------------------+
| 5 | MySQL vs. YourSQL | In the following database comparison ... |
| 1 | MySQL Tutorial    | DBMS stands for DataBase ...            |
+----+-------------------+------------------------------------------+
2 rows in set (0.00 sec)
函数 MATCH() 对照⼀个⽂本集(包含在⼀个 FULLTEXT 索引中的⼀个或多个列的列集)执⾏⼀个⾃然语⾔搜索⼀个字符串。搜索字符串做为AGAINST() 的参数被给定。搜索以忽略字母⼤⼩写的⽅式执⾏。对于表中的每个记录⾏,MATCH() 返回⼀个相关性值。即,在搜索字符串与记录⾏在 MATCH() 列表中指定的列的⽂本之间的相似性尺度。
当 MATCH() 被使⽤在⼀个 WHERE ⼦句中时 (参看上⾯的例⼦),返回的记录⾏被⾃动地以相关性从⾼到底的次序排序。相关性值是⾮负的浮点数字。零相关性意味着不相似。相关性的计算是基于:词在记录⾏中的数⽬、在⾏中唯⼀词的数⽬、在集中词的全部数⽬和包含⼀个特殊词的⽂档(记录⾏)的数⽬。
它也可以执⾏⼀个逻辑模式的搜索。这在下⾯的章节中被描述。
前⾯的例⼦是函数 MATCH() 使⽤上的⼀些基本说明。记录⾏以相似性递减的顺序返回。
下⼀个⽰例显⽰如何检索⼀个明确的相似性值。如果即没有 WHERE 也没有 ORDER BY ⼦句,返回⾏是不排序的。
mysql> SELECT id,MATCH (title,body) AGAINST ('Tutorial') FROM articles;
+----+-----------------------------------------+
| id | MATCH (title,body) AGAINST ('Tutorial') |
+----+-----------------------------------------+
| 1 |                        0.64840710366884 |
| 2 |                                      0 |
| 3 |                        0.66266459031789 |
| 4 |                                      0 |
| 5 |                                      0 |
| 6 |                                      0 |
+----+-----------------------------------------+
6 rows in set (0.00 sec)
下⾯的⽰例更复杂⼀点。查询返回相似性并依然以相似度递减的次序返回记录⾏。为了完成这个结果,你应该指定 MATCH() 两次。这不会引起附加的开销,因为 MySQL 优化器会注意到两次同样的 MATCH() 调⽤,并只调⽤⼀次全⽂搜索代码。
mysql> SELECT id, body, MATCH (title,body) AGAINST
-> ('Security implications of running MySQL as root') AS score
-> FROM articles WHERE MATCH (title,body) AGAINST
-> ('Security implications of running MySQL as root');
+----+-------------------------------------+-----------------+
| id | body                                | score          |
+----+-------------------------------------+-----------------+
| 4 | 1. Never run mysqld as root. 2. ... | 1.5055546709332 |
| 6 | When configured properly, MySQL ... |  1.31140957288 |
+----+-------------------------------------+-----------------+
2 rows in set (0.00 sec)
MySQL 使⽤⼀个⾮常简单的剖析器来将⽂本分隔成词。⼀个“词”是由⽂字、数据、“'” 和 “_” 组成的任何字符序列。任何在 stopword 列表上出现的,或太短的(3 个字符或更少的)的 “word” 将被忽略。
在集和查询中的每个合适的词根据其在集与查询中的重要性衡量。这样,⼀个出现在多个⽂档中的词将有较低的权重(可能甚⾄有⼀个零权重),因为在这个特定的集中,它有较低的语义值。否则,如果词是较少的,它将得到⼀个较⾼的权重。然后,词的权重将被结合⽤于计算记录⾏的相似性。
这样⼀个技术⼯作可很好地⼯作与⼤的集(实际上,它会⼩⼼地与之谐调)。对于⾮常⼩的表,词分类不⾜以充份地反应它们的语义值,有时这个模式可能产⽣奇怪的结果。
mysql> SELECT * FROM articles WHERE MATCH (title,body) AGAINST ('MySQL');
Empty set (0.00 sec)
在上⾯的例⼦中,搜索词 MySQL 却没有得到任何结果,因为这个词在超过⼀半的记录⾏中出现。同样的,它被有效地处理为⼀个 stopword (即,⼀个零语义值的词)。这是最理想的⾏为 -- ⼀个⾃然语⾔的查询不应该从⼀个 1GB 的表中返回每个次⾏(second row)。
匹配表中⼀半记录⾏的词很少可能到相关⽂档。实际上,它可能会发现许多不相关的⽂档。我们都知道,当我们在互联⽹上通过搜索引擎试图搜索某些东西时,这会经常发⽣。因为这个原因,在这个特殊的数据集中,这样的⾏被设置⼀个低的语义值。
到 4.0.1 时,MySQL 也可以使⽤ IN BOOLEAN MODE 修饰语来执⾏⼀个逻辑全⽂搜索。
mysql> SELECT * FROM articles WHERE MATCH (title,body)
->    AGAINST ('+MySQL -YourSQL' IN BOOLEAN MODE);
+----+------------------------------+-------------------------------------+
| id | title                        | body                                |
+----+------------------------------+-------------------------------------+
| 1 | MySQL Tutorial              | DBMS stands for DataBase ...        |
| 2 | How To Use MySQL Efficiently | After you went through a ...        |
| 3 | Optimising MySQL            | In this tutorial we will show ...  |
| 4 | 1001 MySQL Tricks            | 1. Never run mysqld as root. 2. ... |
| 6 | MySQL Security              | When configured properly, MySQL ... |
+----+------------------------------+-------------------------------------+
这个查询返回所有包含词 MySQL 的记录⾏(注意: 50% 的阈值没有使⽤),但是它没有包含词 YourSQL。注意,⼀个逻辑模式的搜索不会⾃动地以相似值的降序排序记录⾏。你可以从上⾯的结果出看得出来,最⾼的相似值(包含 MySQL 两次的那个) 最列在最后,⽽不是第⼀位。⼀个逻辑全⽂搜索即使在没有⼀个 FULLTEXT 索引的情况下也可以⼯作,然⽽它慢些。
逻辑全⽂搜索⽀持下⾯的操作符:
+
⼀个领头的加号表⽰,该词必须出现在每个返回的记录⾏中。
-
⼀个领头的减号表⽰,该词必须不出现在每个返回的记录⾏中。
缺省的 (当既没有加号也没有负号被指定时)词是随意的,但是包含它的记录⾏将被排列地更⾼⼀点。这个模仿没有 IN BOOLEAN MODE 修饰词的 MATCH() ... AGAINST() 的⾏为。
< >
这两个操作符⽤于改变⼀个词的相似性值的基值。< 操作符减少基值,> 操作符则增加它。参看下⾯的⽰例。
( )
圆括号⽤于对⼦表达式中的词分组。
~
⼀个领头的否定号的作⽤象⼀个否定操作符,引起⾏相似性的词的基值为负的。它对标记⼀个噪声词很有⽤。⼀个包含这样的词的记录将被排列得低⼀点,但是不会被完全的排除,因为这样可以使⽤ - 操作符。
*
⼀个星号是截断操作符。不想其它的操作符,它应该被追加到⼀个词后,不加在前⾯。
"
短语,被包围在双引号"中,只匹配包含这个短语(字⾯上的,就好像被键⼊的)的记录⾏。
这⾥是⼀些⽰例:
apple banana
⾄少包含上⾯词中的⼀个的记录⾏
+apple +juice
... 两个词均在被包含
+apple macintosh
... 包含词 “apple”,但是如果同时包含 “macintosh”,它的排列将更⾼⼀些
+apple -macintosh
... 包含 “apple” 但不包含 “macintosh”
+apple +(>pie <strudel)
... 包含 “apple” 和 “pie”,或者包含的是 “apple” 和 “strudel” (以任何次序),但是 “apple pie” 排列得⽐ “apple strudel” 要⾼⼀点
apple*
... 包含 “apple”,“apples”,“applesauce” 和 “applet”
"some words"
... 可以包含 “some words of wisdom”,但不是 “some noise words”
6.8.1 全⽂的限制
MATCH() 函数的所有参数必须是从来⾃于同⼀张表的列,同时必须是同⼀个FULLTEXT 索引中的⼀部分,除⾮ MATCH() 是 IN BOOLEAN MODE 的。
MATCH() 列列表必须确切地匹配表的某⼀ FULLTEXT 索引中定义的列列表,除⾮ MATCH() 是 IN BOOLEAN MODE 的。
AGAINST() 的参数必须是⼀个常量字符串。
6.8.2 微调 MySQL 全⽂搜索
不幸地,全⽂搜索仍然只有很少的⽤户可调参数,虽然增加⼀些在 TODO 上排列很⾼。如果你有⼀个
MySQL 源码发⾏(查看章节 2.3 安装⼀个 MySQL 源码发⾏),你可以发挥对全⽂搜索的更多控制。
注意,全⽂搜索为最佳的搜索效果,被仔细地调整了。修改默认值的⾏为,在⼤多数情况下,只会使搜索结果更糟。不要修改 MySQL 的源代码,除⾮你知道你在做什么!
被索引的词的最⼩长度由 MySQL 变量 ft_min_word_len 指定。查看章节 4.5.6.4 SHOW VARIABLES。将它改为你所希望的值,并重建你的FULLTEXT 索引。 (这个变量只从 MySQL 4.0 开始被⽀持)
stopword 列表可以从 ft_stopword_file 变量指定的⽂件中读取。查看章节 4.5.6.4 SHOW VARIABLES。在修改了 stopword 列表后,重建你的 FULLTEXT 索引。(这个变量只从 MySQL 4.0.10 开始被⽀持)
50% 阈值选择由所选择的特殊的衡量模式确定。为了禁⽌它,修改 `myisam/ftdefs.h' ⽂件中下⾯的⼀⾏:
#define GWS_IN_USE GWS_PROB
改为:
mysql下载的vs库放在那个文件里
#define GWS_IN_USE GWS_FREQ
然后重新编译 MySQL。在这种情况下,不需要重建索引。注意:使⽤了这个,将严重地减少 MySQL 为 MATCH() 提供⾜够的相似性值的能⼒。如果你确实需要搜索这样的公共词,最好使⽤ IN BOOLEAN MODE 的搜索代替,它不遵守 50% 的阈值。
有时,搜索引擎维护员希望更改使⽤于逻辑全⽂搜索的操作符。这些由变量 ft_boolean_syntax 定义。查看章节 4.5.6.4 SHOW VARIABLES。然⽽,这个变量是只读的,它的值在 `myisam/ft_static.c' 中被设置。
对于这些更改,要求你重建你的 FULLTEXT 索引,对于⼀个 MyISAM 表,最容易的重建索引⽂件的⽅式如下⾯的语句:
mysql> REPAIR TABLE tbl_name QUICK;
6.8.3 全⽂搜索 TODO
使所有对 FULLTEXT 索引的操作更快
邻近(Proximity)操作符
对 "always-index words" 的⽀持。他们可以是⽤户希望视为⼀个词处理的任意字符串,例如 "C++"、"AS/400"、"TCP/IP",等等
⽀持在 MERGE 表中的全⽂搜索
对多字节字符的⽀持
依照数据的语⾔建⽴ stopword 列表
Stemming (当然,依赖于数据的语⾔)
Generic user-suppliable UDF preparser.
使模式更加灵活 (通过为 CREATE/ALTER TABLE 中的 FULLTEXT 增加某些可调整参数)
到 3.23.23 时,MySQL 开始⽀持全⽂索引和搜索。全⽂索引在 MySQL 中是⼀个 FULLTEXT 类型索引。FULLTEXT 索引⽤于 MyISAM 表,可以在 CREATE TABLE 时或之后使⽤ ALTER TABLE 或 CREATE INDEX 在 CHAR、VARCHAR 或 TEXT 列上创建。对于⼤的数据库,将数据装载到⼀个没有 FULLTEXT 索引的表中,然后再使⽤ ALTER TABLE (或 CREATE INDEX) 创建索引,这将是⾮常快的。将数据装载到⼀个已经有 FULLTEXT 索引的表中,将是⾮常慢的。
全⽂搜索通过 MATCH() 函数完成。
mysql> CREATE TABLE articles (
->  id INT UNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY,
->  title VARCHAR(200),
->  body TEXT,
->  FULLTEXT (title,body)
-> );
Query OK, 0 rows affected (0.00 sec)
mysql> INSERT INTO articles VALUES
-> (NULL,'MySQL Tutorial', 'DBMS stands for DataBase ...'),
-> (NULL,'How To Use MySQL Efficiently', 'After you went through a ...'),
-> (NULL,'Optimising MySQL','In this tutorial we will show ...'),
-> (NULL,'1001 MySQL Tricks','1. Never run mysqld as root. 2. ...'),
-
> (NULL,'MySQL vs. YourSQL', 'In the following database comparison ...'),
-> (NULL,'MySQL Security', 'When configured properly, MySQL ...');
Query OK, 6 rows affected (0.00 sec)
Records: 6 Duplicates: 0 Warnings: 0
mysql> SELECT * FROM articles
->          WHERE MATCH (title,body) AGAINST ('database');
+----+-------------------+------------------------------------------+
| id | title            | body                                    |
+----+-------------------+------------------------------------------+
| 5 | MySQL vs. YourSQL | In the following database comparison ... |
| 1 | MySQL Tutorial    | DBMS stands for DataBase ...            |
+----+-------------------+------------------------------------------+
2 rows in set (0.00 sec)
函数 MATCH() 对照⼀个⽂本集(包含在⼀个 FULLTEXT 索引中的⼀个或多个列的列集)执⾏⼀个⾃然语⾔搜索⼀个字符串。搜索字符串做为AGAINST() 的参数被给定。搜索以忽略字母⼤⼩写的⽅式执⾏。对于表中的每个记录⾏,MATCH() 返回⼀个相关性值。即,在搜索字符串与记录⾏在 MATCH() 列表中指定的列的⽂本之间的相似性尺度。
当 MATCH() 被使⽤在⼀个 WHERE ⼦句中时 (参看上⾯的例⼦),返回的记录⾏被⾃动地以相关性从⾼到底的次序排序。相关性值是⾮负的浮点数字。零相关性意味着不相似。相关性的计算是基于:词在记录⾏中的数⽬、在⾏中唯⼀词的数⽬、在集中词的全部数⽬和包含⼀个特殊词的⽂档(记录⾏)的数⽬。
它也可以执⾏⼀个逻辑模式的搜索。这在下⾯的章节中被描述。
前⾯的例⼦是函数 MATCH() 使⽤上的⼀些基本说明。记录⾏以相似性递减的顺序返回。
下⼀个⽰例显⽰如何检索⼀个明确的相似性值。如果即没有 WHERE 也没有 ORDER BY ⼦句,返回⾏是不排序的。
mysql> SELECT id,MATCH (title,body) AGAINST ('Tutorial') FROM articles;
+----+-----------------------------------------+
| id | MATCH (title,body) AGAINST ('Tutorial') |
+----+-----------------------------------------+
| 1 |                        0.64840710366884 |
| 2 |                                      0 |
| 3 |                        0.66266459031789 |
| 4 |                                      0 |
| 5 |                                      0 |
| 6 |                                      0 |
+----+-----------------------------------------+
6 rows in set (0.00 sec)
下⾯的⽰例更复杂⼀点。查询返回相似性并依然以相似度递减的次序返回记录⾏。为了完成这个结果,你应该指定 MATCH() 两次。这不会引起附加的开销,因为 MySQL 优化器会注意到两次同样的 MATCH() 调⽤,并只调⽤⼀次全⽂搜索代码。
mysql> SELECT id, body, MATCH (title,body) AGAINST
-> ('Security implications of running MySQL as root') AS score
-> FROM articles WHERE MATCH (title,body) AGAINST
-> ('Security implications of running MySQL as root');
+----+-------------------------------------+-----------------+
| id | body                                | score          |
+----+-------------------------------------+-----------------+
| 4 | 1. Never run mysqld as root. 2. ... | 1.5055546709332 |
| 6 | When configured properly, MySQL ... |  1.31140957288 |
+----+-------------------------------------+-----------------+
2 rows in set (0.00 sec)
MySQL 使⽤⼀个⾮常简单的剖析器来将⽂本分隔成词。⼀个“词”是由⽂字、数据、“'” 和 “_” 组成的任何字符序列。任何在 stopword 列表上出现的,或太短的(3 个字符或更少的)的 “word” 将被忽略。
在集和查询中的每个合适的词根据其在集与查询中的重要性衡量。这样,⼀个出现在多个⽂档中的词将有较低的权重(可能甚⾄有⼀个零权重),因为在这个特定的集中,它有较低的语义值。否则,如果词是较少的,它将得到⼀个较⾼的权重。然后,词的权重将被结合⽤于计算记录⾏的相似性。
这样⼀个技术⼯作可很好地⼯作与⼤的集(实际上,它会⼩⼼地与之谐调)。对于⾮常⼩的表,词分类不⾜以充份地反应它们的语义值,有时这个模式可能产⽣奇怪的结果。
mysql> SELECT * FROM articles WHERE MATCH (title,body) AGAINST ('MySQL');
Empty set (0.00 sec)
在上⾯的例⼦中,搜索词 MySQL 却没有得到任何结果,因为这个词在超过⼀半的记录⾏中出现。同样的,它被有效地处理为⼀个 stopword (即,⼀个零语义值的词)。这是最理想的⾏为 -- ⼀个⾃然语⾔的查询不应该从⼀个 1GB 的表中返回每个次⾏(second row)。
匹配表中⼀半记录⾏的词很少可能到相关⽂档。实际上,它可能会发现许多不相关的⽂档。我们都知道,当我们在互联⽹上通过搜索引擎试图搜索某些东西时,这会经常发⽣。因为这个原因,在这个特殊的数据集中,这样的⾏被设置⼀个低的语义值。
到 4.0.1 时,MySQL 也可以使⽤ IN BOOLEAN MODE 修饰语来执⾏⼀个逻辑全⽂搜索。
mysql> SELECT * FROM articles WHERE MATCH (title,body)
->    AGAINST ('+MySQL -YourSQL' IN BOOLEAN MODE);
+----+------------------------------+-------------------------------------+
| id | title                        | body                                |
+----+------------------------------+-------------------------------------+
| 1 | MySQL Tutorial              | DBMS stands for DataBase ...        |
| 2 | How To Use MySQL Efficiently | After you went through a ...        |
| 3 | Optimising MySQL            | In this tutorial we will show ...  |
| 4 | 1001 MySQL Tricks            | 1. Never run mysqld as root. 2. ... |
| 6 | MySQL Security              | When configured properly, MySQL ... |
+----+------------------------------+-------------------------------------+
这个查询返回所有包含词 MySQL 的记录⾏(注意: 50% 的阈值没有使⽤),但是它没有包含词 YourSQL。注意,⼀个逻辑模式的搜索不会⾃动地以相似值的降序排序记录⾏。你可以从上⾯的结果出看得出来,最⾼的相似值(包含 MySQL 两次的那个) 最列在最后,⽽不是第⼀位。⼀个逻辑全⽂搜索即使在没有⼀个 FULLTEXT 索引的情况下也可以⼯作,然⽽它慢些。
逻辑全⽂搜索⽀持下⾯的操作符:
+
⼀个领头的加号表⽰,该词必须出现在每个返回的记录⾏中。
-
⼀个领头的减号表⽰,该词必须不出现在每个返回的记录⾏中。
缺省的 (当既没有加号也没有负号被指定时)词是随意的,但是包含它的记录⾏将被排列地更⾼⼀点。这个模仿没有 IN BOOLEAN MODE 修饰词的 MATCH() ... AGAINST() 的⾏为。
< >
这两个操作符⽤于改变⼀个词的相似性值的基值。< 操作符减少基值,> 操作符则增加它。参看下⾯的⽰例。
( )
圆括号⽤于对⼦表达式中的词分组。