532 lines
30 KiB
Python
532 lines
30 KiB
Python
"""Japanese search language: includes routine to split words."""
|
||
|
||
# Python Version of TinySegmenter
|
||
# (http://chasen.org/~taku/software/TinySegmenter/)
|
||
# TinySegmenter is super compact Japanese tokenizer.
|
||
#
|
||
# TinySegmenter was originally developed by Taku Kudo <taku(at)chasen.org>.
|
||
# Python Version was developed by xnights <programming.magic(at)gmail.com>.
|
||
# For details, see http://programming-magic.com/?id=170
|
||
|
||
from __future__ import annotations
|
||
|
||
import os
|
||
import re
|
||
import sys
|
||
from typing import TYPE_CHECKING, Any, Dict, List
|
||
|
||
try:
|
||
import MeCab
|
||
native_module = True
|
||
except ImportError:
|
||
native_module = False
|
||
|
||
try:
|
||
import janome.tokenizer
|
||
janome_module = True
|
||
except ImportError:
|
||
janome_module = False
|
||
|
||
from sphinx.errors import ExtensionError, SphinxError
|
||
from sphinx.search import SearchLanguage
|
||
from sphinx.util import import_object
|
||
|
||
|
||
class BaseSplitter:
|
||
def __init__(self, options: dict) -> None:
|
||
self.options = options
|
||
|
||
def split(self, input: str) -> list[str]:
|
||
"""
|
||
:param str input:
|
||
:return:
|
||
:rtype: list[str]
|
||
"""
|
||
raise NotImplementedError
|
||
|
||
|
||
class MecabSplitter(BaseSplitter):
|
||
def __init__(self, options: dict) -> None:
|
||
super().__init__(options)
|
||
self.ctypes_libmecab: Any = None
|
||
self.ctypes_mecab: Any = None
|
||
if not native_module:
|
||
self.init_ctypes(options)
|
||
else:
|
||
self.init_native(options)
|
||
self.dict_encode = options.get('dic_enc', 'utf-8')
|
||
|
||
def split(self, input: str) -> list[str]:
|
||
if native_module:
|
||
result = self.native.parse(input)
|
||
else:
|
||
result = self.ctypes_libmecab.mecab_sparse_tostr(
|
||
self.ctypes_mecab, input.encode(self.dict_encode))
|
||
return result.split(' ')
|
||
|
||
def init_native(self, options: dict) -> None:
|
||
param = '-Owakati'
|
||
dict = options.get('dict')
|
||
if dict:
|
||
param += ' -d %s' % dict
|
||
self.native = MeCab.Tagger(param)
|
||
|
||
def init_ctypes(self, options: dict) -> None:
|
||
import ctypes.util
|
||
|
||
lib = options.get('lib')
|
||
|
||
if lib is None:
|
||
if sys.platform.startswith('win'):
|
||
libname = 'libmecab.dll'
|
||
else:
|
||
libname = 'mecab'
|
||
libpath = ctypes.util.find_library(libname)
|
||
elif os.path.basename(lib) == lib:
|
||
libpath = ctypes.util.find_library(lib)
|
||
else:
|
||
libpath = None
|
||
if os.path.exists(lib):
|
||
libpath = lib
|
||
if libpath is None:
|
||
raise RuntimeError('MeCab dynamic library is not available')
|
||
|
||
param = 'mecab -Owakati'
|
||
dict = options.get('dict')
|
||
if dict:
|
||
param += ' -d %s' % dict
|
||
|
||
fs_enc = sys.getfilesystemencoding() or sys.getdefaultencoding()
|
||
|
||
self.ctypes_libmecab = ctypes.CDLL(libpath)
|
||
self.ctypes_libmecab.mecab_new2.argtypes = (ctypes.c_char_p,)
|
||
self.ctypes_libmecab.mecab_new2.restype = ctypes.c_void_p
|
||
self.ctypes_libmecab.mecab_sparse_tostr.argtypes = (ctypes.c_void_p, ctypes.c_char_p)
|
||
self.ctypes_libmecab.mecab_sparse_tostr.restype = ctypes.c_char_p
|
||
self.ctypes_mecab = self.ctypes_libmecab.mecab_new2(param.encode(fs_enc))
|
||
if self.ctypes_mecab is None:
|
||
raise SphinxError('mecab initialization failed')
|
||
|
||
def __del__(self) -> None:
|
||
if self.ctypes_libmecab:
|
||
self.ctypes_libmecab.mecab_destroy(self.ctypes_mecab)
|
||
|
||
|
||
class JanomeSplitter(BaseSplitter):
|
||
def __init__(self, options: dict) -> None:
|
||
super().__init__(options)
|
||
self.user_dict = options.get('user_dic')
|
||
self.user_dict_enc = options.get('user_dic_enc', 'utf8')
|
||
self.init_tokenizer()
|
||
|
||
def init_tokenizer(self) -> None:
|
||
if not janome_module:
|
||
raise RuntimeError('Janome is not available')
|
||
self.tokenizer = janome.tokenizer.Tokenizer(udic=self.user_dict, udic_enc=self.user_dict_enc)
|
||
|
||
def split(self, input: str) -> list[str]:
|
||
result = ' '.join(token.surface for token in self.tokenizer.tokenize(input))
|
||
return result.split(' ')
|
||
|
||
|
||
class DefaultSplitter(BaseSplitter):
|
||
patterns_ = {re.compile(pattern): value for pattern, value in {
|
||
'[一二三四五六七八九十百千万億兆]': 'M',
|
||
'[一-龠々〆ヵヶ]': 'H',
|
||
'[ぁ-ん]': 'I',
|
||
'[ァ-ヴーｱ-ﾝﾞｰ]': 'K',
|
||
'[a-zA-Zａ-ｚＡ-Ｚ]': 'A',
|
||
'[0-9０-９]': 'N',
|
||
}.items()}
|
||
BIAS__ = -332
|
||
BC1__ = {'HH': 6, 'II': 2461, 'KH': 406, 'OH': -1378}
|
||
BC2__ = {'AA': -3267, 'AI': 2744, 'AN': -878, 'HH': -4070, 'HM': -1711,
|
||
'HN': 4012, 'HO': 3761, 'IA': 1327, 'IH': -1184, 'II': -1332,
|
||
'IK': 1721, 'IO': 5492, 'KI': 3831, 'KK': -8741, 'MH': -3132,
|
||
'MK': 3334, 'OO': -2920}
|
||
BC3__ = {'HH': 996, 'HI': 626, 'HK': -721, 'HN': -1307, 'HO': -836, 'IH': -301,
|
||
'KK': 2762, 'MK': 1079, 'MM': 4034, 'OA': -1652, 'OH': 266}
|
||
BP1__ = {'BB': 295, 'OB': 304, 'OO': -125, 'UB': 352}
|
||
BP2__ = {'BO': 60, 'OO': -1762}
|
||
BQ1__ = {'BHH': 1150, 'BHM': 1521, 'BII': -1158, 'BIM': 886, 'BMH': 1208,
|
||
'BNH': 449, 'BOH': -91, 'BOO': -2597, 'OHI': 451, 'OIH': -296,
|
||
'OKA': 1851, 'OKH': -1020, 'OKK': 904, 'OOO': 2965}
|
||
BQ2__ = {'BHH': 118, 'BHI': -1159, 'BHM': 466, 'BIH': -919, 'BKK': -1720,
|
||
'BKO': 864, 'OHH': -1139, 'OHM': -181, 'OIH': 153, 'UHI': -1146}
|
||
BQ3__ = {'BHH': -792, 'BHI': 2664, 'BII': -299, 'BKI': 419, 'BMH': 937,
|
||
'BMM': 8335, 'BNN': 998, 'BOH': 775, 'OHH': 2174, 'OHM': 439, 'OII': 280,
|
||
'OKH': 1798, 'OKI': -793, 'OKO': -2242, 'OMH': -2402, 'OOO': 11699}
|
||
BQ4__ = {'BHH': -3895, 'BIH': 3761, 'BII': -4654, 'BIK': 1348, 'BKK': -1806,
|
||
'BMI': -3385, 'BOO': -12396, 'OAH': 926, 'OHH': 266, 'OHK': -2036,
|
||
'ONN': -973}
|
||
BW1__ = {',と': 660, ',同': 727, 'B1あ': 1404, 'B1同': 542, '、と': 660,
|
||
'、同': 727, '」と': 1682, 'あっ': 1505, 'いう': 1743, 'いっ': -2055,
|
||
'いる': 672, 'うし': -4817, 'うん': 665, 'から': 3472, 'がら': 600,
|
||
'こう': -790, 'こと': 2083, 'こん': -1262, 'さら': -4143, 'さん': 4573,
|
||
'した': 2641, 'して': 1104, 'すで': -3399, 'そこ': 1977, 'それ': -871,
|
||
'たち': 1122, 'ため': 601, 'った': 3463, 'つい': -802, 'てい': 805,
|
||
'てき': 1249, 'でき': 1127, 'です': 3445, 'では': 844, 'とい': -4915,
|
||
'とみ': 1922, 'どこ': 3887, 'ない': 5713, 'なっ': 3015, 'など': 7379,
|
||
'なん': -1113, 'にし': 2468, 'には': 1498, 'にも': 1671, 'に対': -912,
|
||
'の一': -501, 'の中': 741, 'ませ': 2448, 'まで': 1711, 'まま': 2600,
|
||
'まる': -2155, 'やむ': -1947, 'よっ': -2565, 'れた': 2369, 'れで': -913,
|
||
'をし': 1860, 'を見': 731, '亡く': -1886, '京都': 2558, '取り': -2784,
|
||
'大き': -2604, '大阪': 1497, '平方': -2314, '引き': -1336, '日本': -195,
|
||
'本当': -2423, '毎日': -2113, '目指': -724, 'Ｂ１あ': 1404, 'Ｂ１同': 542,
|
||
'｣と': 1682}
|
||
BW2__ = {'..': -11822, '11': -669, '――': -5730, '−−': -13175, 'いう': -1609,
|
||
'うか': 2490, 'かし': -1350, 'かも': -602, 'から': -7194, 'かれ': 4612,
|
||
'がい': 853, 'がら': -3198, 'きた': 1941, 'くな': -1597, 'こと': -8392,
|
||
'この': -4193, 'させ': 4533, 'され': 13168, 'さん': -3977, 'しい': -1819,
|
||
'しか': -545, 'した': 5078, 'して': 972, 'しな': 939, 'その': -3744,
|
||
'たい': -1253, 'たた': -662, 'ただ': -3857, 'たち': -786, 'たと': 1224,
|
||
'たは': -939, 'った': 4589, 'って': 1647, 'っと': -2094, 'てい': 6144,
|
||
'てき': 3640, 'てく': 2551, 'ては': -3110, 'ても': -3065, 'でい': 2666,
|
||
'でき': -1528, 'でし': -3828, 'です': -4761, 'でも': -4203, 'とい': 1890,
|
||
'とこ': -1746, 'とと': -2279, 'との': 720, 'とみ': 5168, 'とも': -3941,
|
||
'ない': -2488, 'なが': -1313, 'など': -6509, 'なの': 2614, 'なん': 3099,
|
||
'にお': -1615, 'にし': 2748, 'にな': 2454, 'によ': -7236, 'に対': -14943,
|
||
'に従': -4688, 'に関': -11388, 'のか': 2093, 'ので': -7059, 'のに': -6041,
|
||
'のの': -6125, 'はい': 1073, 'はが': -1033, 'はず': -2532, 'ばれ': 1813,
|
||
'まし': -1316, 'まで': -6621, 'まれ': 5409, 'めて': -3153, 'もい': 2230,
|
||
'もの': -10713, 'らか': -944, 'らし': -1611, 'らに': -1897, 'りし': 651,
|
||
'りま': 1620, 'れた': 4270, 'れて': 849, 'れば': 4114, 'ろう': 6067,
|
||
'われ': 7901, 'を通': -11877, 'んだ': 728, 'んな': -4115, '一人': 602,
|
||
'一方': -1375, '一日': 970, '一部': -1051, '上が': -4479, '会社': -1116,
|
||
'出て': 2163, '分の': -7758, '同党': 970, '同日': -913, '大阪': -2471,
|
||
'委員': -1250, '少な': -1050, '年度': -8669, '年間': -1626, '府県': -2363,
|
||
'手権': -1982, '新聞': -4066, '日新': -722, '日本': -7068, '日米': 3372,
|
||
'曜日': -601, '朝鮮': -2355, '本人': -2697, '東京': -1543, '然と': -1384,
|
||
'社会': -1276, '立て': -990, '第に': -1612, '米国': -4268, '１１': -669}
|
||
BW3__ = {'あた': -2194, 'あり': 719, 'ある': 3846, 'い.': -1185, 'い。': -1185,
|
||
'いい': 5308, 'いえ': 2079, 'いく': 3029, 'いた': 2056, 'いっ': 1883,
|
||
'いる': 5600, 'いわ': 1527, 'うち': 1117, 'うと': 4798, 'えと': 1454,
|
||
'か.': 2857, 'か。': 2857, 'かけ': -743, 'かっ': -4098, 'かに': -669,
|
||
'から': 6520, 'かり': -2670, 'が,': 1816, 'が、': 1816, 'がき': -4855,
|
||
'がけ': -1127, 'がっ': -913, 'がら': -4977, 'がり': -2064, 'きた': 1645,
|
||
'けど': 1374, 'こと': 7397, 'この': 1542, 'ころ': -2757, 'さい': -714,
|
||
'さを': 976, 'し,': 1557, 'し、': 1557, 'しい': -3714, 'した': 3562,
|
||
'して': 1449, 'しな': 2608, 'しま': 1200, 'す.': -1310, 'す。': -1310,
|
||
'する': 6521, 'ず,': 3426, 'ず、': 3426, 'ずに': 841, 'そう': 428,
|
||
'た.': 8875, 'た。': 8875, 'たい': -594, 'たの': 812, 'たり': -1183,
|
||
'たる': -853, 'だ.': 4098, 'だ。': 4098, 'だっ': 1004, 'った': -4748,
|
||
'って': 300, 'てい': 6240, 'てお': 855, 'ても': 302, 'です': 1437,
|
||
'でに': -1482, 'では': 2295, 'とう': -1387, 'とし': 2266, 'との': 541,
|
||
'とも': -3543, 'どう': 4664, 'ない': 1796, 'なく': -903, 'など': 2135,
|
||
'に,': -1021, 'に、': -1021, 'にし': 1771, 'にな': 1906, 'には': 2644,
|
||
'の,': -724, 'の、': -724, 'の子': -1000, 'は,': 1337, 'は、': 1337,
|
||
'べき': 2181, 'まし': 1113, 'ます': 6943, 'まっ': -1549, 'まで': 6154,
|
||
'まれ': -793, 'らし': 1479, 'られ': 6820, 'るる': 3818, 'れ,': 854,
|
||
'れ、': 854, 'れた': 1850, 'れて': 1375, 'れば': -3246, 'れる': 1091,
|
||
'われ': -605, 'んだ': 606, 'んで': 798, 'カ月': 990, '会議': 860,
|
||
'入り': 1232, '大会': 2217, '始め': 1681, '市': 965, '新聞': -5055,
|
||
'日,': 974, '日、': 974, '社会': 2024, 'ｶ月': 990}
|
||
TC1__ = {'AAA': 1093, 'HHH': 1029, 'HHM': 580, 'HII': 998, 'HOH': -390,
|
||
'HOM': -331, 'IHI': 1169, 'IOH': -142, 'IOI': -1015, 'IOM': 467,
|
||
'MMH': 187, 'OOI': -1832}
|
||
TC2__ = {'HHO': 2088, 'HII': -1023, 'HMM': -1154, 'IHI': -1965,
|
||
'KKH': 703, 'OII': -2649}
|
||
TC3__ = {'AAA': -294, 'HHH': 346, 'HHI': -341, 'HII': -1088, 'HIK': 731,
|
||
'HOH': -1486, 'IHH': 128, 'IHI': -3041, 'IHO': -1935, 'IIH': -825,
|
||
'IIM': -1035, 'IOI': -542, 'KHH': -1216, 'KKA': 491, 'KKH': -1217,
|
||
'KOK': -1009, 'MHH': -2694, 'MHM': -457, 'MHO': 123, 'MMH': -471,
|
||
'NNH': -1689, 'NNO': 662, 'OHO': -3393}
|
||
TC4__ = {'HHH': -203, 'HHI': 1344, 'HHK': 365, 'HHM': -122, 'HHN': 182,
|
||
'HHO': 669, 'HIH': 804, 'HII': 679, 'HOH': 446, 'IHH': 695,
|
||
'IHO': -2324, 'IIH': 321, 'III': 1497, 'IIO': 656, 'IOO': 54,
|
||
'KAK': 4845, 'KKA': 3386, 'KKK': 3065, 'MHH': -405, 'MHI': 201,
|
||
'MMH': -241, 'MMM': 661, 'MOM': 841}
|
||
TQ1__ = {'BHHH': -227, 'BHHI': 316, 'BHIH': -132, 'BIHH': 60, 'BIII': 1595,
|
||
'BNHH': -744, 'BOHH': 225, 'BOOO': -908, 'OAKK': 482, 'OHHH': 281,
|
||
'OHIH': 249, 'OIHI': 200, 'OIIH': -68}
|
||
TQ2__ = {'BIHH': -1401, 'BIII': -1033, 'BKAK': -543, 'BOOO': -5591}
|
||
TQ3__ = {'BHHH': 478, 'BHHM': -1073, 'BHIH': 222, 'BHII': -504, 'BIIH': -116,
|
||
'BIII': -105, 'BMHI': -863, 'BMHM': -464, 'BOMH': 620, 'OHHH': 346,
|
||
'OHHI': 1729, 'OHII': 997, 'OHMH': 481, 'OIHH': 623, 'OIIH': 1344,
|
||
'OKAK': 2792, 'OKHH': 587, 'OKKA': 679, 'OOHH': 110, 'OOII': -685}
|
||
TQ4__ = {'BHHH': -721, 'BHHM': -3604, 'BHII': -966, 'BIIH': -607, 'BIII': -2181,
|
||
'OAAA': -2763, 'OAKK': 180, 'OHHH': -294, 'OHHI': 2446, 'OHHO': 480,
|
||
'OHIH': -1573, 'OIHH': 1935, 'OIHI': -493, 'OIIH': 626, 'OIII': -4007,
|
||
'OKAK': -8156}
|
||
TW1__ = {'につい': -4681, '東京都': 2026}
|
||
TW2__ = {'ある程': -2049, 'いった': -1256, 'ころが': -2434, 'しょう': 3873,
|
||
'その後': -4430, 'だって': -1049, 'ていた': 1833, 'として': -4657,
|
||
'ともに': -4517, 'もので': 1882, '一気に': -792, '初めて': -1512,
|
||
'同時に': -8097, '大きな': -1255, '対して': -2721, '社会党': -3216}
|
||
TW3__ = {'いただ': -1734, 'してい': 1314, 'として': -4314, 'につい': -5483,
|
||
'にとっ': -5989, 'に当た': -6247, 'ので,': -727, 'ので、': -727,
|
||
'のもの': -600, 'れから': -3752, '十二月': -2287}
|
||
TW4__ = {'いう.': 8576, 'いう。': 8576, 'からな': -2348, 'してい': 2958,
|
||
'たが,': 1516, 'たが、': 1516, 'ている': 1538, 'という': 1349,
|
||
'ました': 5543, 'ません': 1097, 'ようと': -4258, 'よると': 5865}
|
||
UC1__ = {'A': 484, 'K': 93, 'M': 645, 'O': -505}
|
||
UC2__ = {'A': 819, 'H': 1059, 'I': 409, 'M': 3987, 'N': 5775, 'O': 646}
|
||
UC3__ = {'A': -1370, 'I': 2311}
|
||
UC4__ = {'A': -2643, 'H': 1809, 'I': -1032, 'K': -3450, 'M': 3565,
|
||
'N': 3876, 'O': 6646}
|
||
UC5__ = {'H': 313, 'I': -1238, 'K': -799, 'M': 539, 'O': -831}
|
||
UC6__ = {'H': -506, 'I': -253, 'K': 87, 'M': 247, 'O': -387}
|
||
UP1__ = {'O': -214}
|
||
UP2__ = {'B': 69, 'O': 935}
|
||
UP3__ = {'B': 189}
|
||
UQ1__ = {'BH': 21, 'BI': -12, 'BK': -99, 'BN': 142, 'BO': -56, 'OH': -95,
|
||
'OI': 477, 'OK': 410, 'OO': -2422}
|
||
UQ2__ = {'BH': 216, 'BI': 113, 'OK': 1759}
|
||
UQ3__ = {'BA': -479, 'BH': 42, 'BI': 1913, 'BK': -7198, 'BM': 3160,
|
||
'BN': 6427, 'BO': 14761, 'OI': -827, 'ON': -3212}
|
||
UW1__ = {',': 156, '、': 156, '「': -463, 'あ': -941, 'う': -127, 'が': -553,
|
||
'き': 121, 'こ': 505, 'で': -201, 'と': -547, 'ど': -123, 'に': -789,
|
||
'の': -185, 'は': -847, 'も': -466, 'や': -470, 'よ': 182, 'ら': -292,
|
||
'り': 208, 'れ': 169, 'を': -446, 'ん': -137, '・': -135, '主': -402,
|
||
'京': -268, '区': -912, '午': 871, '国': -460, '大': 561, '委': 729,
|
||
'市': -411, '日': -141, '理': 361, '生': -408, '県': -386, '都': -718,
|
||
'｢': -463, '･': -135}
|
||
UW2__ = {',': -829, '、': -829, '〇': 892, '「': -645, '」': 3145, 'あ': -538,
|
||
'い': 505, 'う': 134, 'お': -502, 'か': 1454, 'が': -856, 'く': -412,
|
||
'こ': 1141, 'さ': 878, 'ざ': 540, 'し': 1529, 'す': -675, 'せ': 300,
|
||
'そ': -1011, 'た': 188, 'だ': 1837, 'つ': -949, 'て': -291, 'で': -268,
|
||
'と': -981, 'ど': 1273, 'な': 1063, 'に': -1764, 'の': 130, 'は': -409,
|
||
'ひ': -1273, 'べ': 1261, 'ま': 600, 'も': -1263, 'や': -402, 'よ': 1639,
|
||
'り': -579, 'る': -694, 'れ': 571, 'を': -2516, 'ん': 2095, 'ア': -587,
|
||
'カ': 306, 'キ': 568, 'ッ': 831, '三': -758, '不': -2150, '世': -302,
|
||
'中': -968, '主': -861, '事': 492, '人': -123, '会': 978, '保': 362,
|
||
'入': 548, '初': -3025, '副': -1566, '北': -3414, '区': -422, '大': -1769,
|
||
'天': -865, '太': -483, '子': -1519, '学': 760, '実': 1023, '小': -2009,
|
||
'市': -813, '年': -1060, '強': 1067, '手': -1519, '揺': -1033, '政': 1522,
|
||
'文': -1355, '新': -1682, '日': -1815, '明': -1462, '最': -630, '朝': -1843,
|
||
'本': -1650, '東': -931, '果': -665, '次': -2378, '民': -180, '気': -1740,
|
||
'理': 752, '発': 529, '目': -1584, '相': -242, '県': -1165, '立': -763,
|
||
'第': 810, '米': 509, '自': -1353, '行': 838, '西': -744, '見': -3874,
|
||
'調': 1010, '議': 1198, '込': 3041, '開': 1758, '間': -1257, '｢': -645,
|
||
'｣': 3145, 'ｯ': 831, 'ｱ': -587, 'ｶ': 306, 'ｷ': 568}
|
||
UW3__ = {',': 4889, '1': -800, '−': -1723, '、': 4889, '々': -2311, '〇': 5827,
|
||
'」': 2670, '〓': -3573, 'あ': -2696, 'い': 1006, 'う': 2342, 'え': 1983,
|
||
'お': -4864, 'か': -1163, 'が': 3271, 'く': 1004, 'け': 388, 'げ': 401,
|
||
'こ': -3552, 'ご': -3116, 'さ': -1058, 'し': -395, 'す': 584, 'せ': 3685,
|
||
'そ': -5228, 'た': 842, 'ち': -521, 'っ': -1444, 'つ': -1081, 'て': 6167,
|
||
'で': 2318, 'と': 1691, 'ど': -899, 'な': -2788, 'に': 2745, 'の': 4056,
|
||
'は': 4555, 'ひ': -2171, 'ふ': -1798, 'へ': 1199, 'ほ': -5516, 'ま': -4384,
|
||
'み': -120, 'め': 1205, 'も': 2323, 'や': -788, 'よ': -202, 'ら': 727,
|
||
'り': 649, 'る': 5905, 'れ': 2773, 'わ': -1207, 'を': 6620, 'ん': -518,
|
||
'ア': 551, 'グ': 1319, 'ス': 874, 'ッ': -1350, 'ト': 521, 'ム': 1109,
|
||
'ル': 1591, 'ロ': 2201, 'ン': 278, '・': -3794, '一': -1619, '下': -1759,
|
||
'世': -2087, '両': 3815, '中': 653, '主': -758, '予': -1193, '二': 974,
|
||
'人': 2742, '今': 792, '他': 1889, '以': -1368, '低': 811, '何': 4265,
|
||
'作': -361, '保': -2439, '元': 4858, '党': 3593, '全': 1574, '公': -3030,
|
||
'六': 755, '共': -1880, '円': 5807, '再': 3095, '分': 457, '初': 2475,
|
||
'別': 1129, '前': 2286, '副': 4437, '力': 365, '動': -949, '務': -1872,
|
||
'化': 1327, '北': -1038, '区': 4646, '千': -2309, '午': -783, '協': -1006,
|
||
'口': 483, '右': 1233, '各': 3588, '合': -241, '同': 3906, '和': -837,
|
||
'員': 4513, '国': 642, '型': 1389, '場': 1219, '外': -241, '妻': 2016,
|
||
'学': -1356, '安': -423, '実': -1008, '家': 1078, '小': -513, '少': -3102,
|
||
'州': 1155, '市': 3197, '平': -1804, '年': 2416, '広': -1030, '府': 1605,
|
||
'度': 1452, '建': -2352, '当': -3885, '得': 1905, '思': -1291, '性': 1822,
|
||
'戸': -488, '指': -3973, '政': -2013, '教': -1479, '数': 3222, '文': -1489,
|
||
'新': 1764, '日': 2099, '旧': 5792, '昨': -661, '時': -1248, '曜': -951,
|
||
'最': -937, '月': 4125, '期': 360, '李': 3094, '村': 364, '東': -805,
|
||
'核': 5156, '森': 2438, '業': 484, '氏': 2613, '民': -1694, '決': -1073,
|
||
'法': 1868, '海': -495, '無': 979, '物': 461, '特': -3850, '生': -273,
|
||
'用': 914, '町': 1215, '的': 7313, '直': -1835, '省': 792, '県': 6293,
|
||
'知': -1528, '私': 4231, '税': 401, '立': -960, '第': 1201, '米': 7767,
|
||
'系': 3066, '約': 3663, '級': 1384, '統': -4229, '総': 1163, '線': 1255,
|
||
'者': 6457, '能': 725, '自': -2869, '英': 785, '見': 1044, '調': -562,
|
||
'財': -733, '費': 1777, '車': 1835, '軍': 1375, '込': -1504, '通': -1136,
|
||
'選': -681, '郎': 1026, '郡': 4404, '部': 1200, '金': 2163, '長': 421,
|
||
'開': -1432, '間': 1302, '関': -1282, '雨': 2009, '電': -1045, '非': 2066,
|
||
'駅': 1620, '１': -800, '｣': 2670, '･': -3794, 'ｯ': -1350, 'ｱ': 551,
|
||
'ｸﾞ': 1319, 'ｽ': 874, 'ﾄ': 521, 'ﾑ': 1109, 'ﾙ': 1591, 'ﾛ': 2201, 'ﾝ': 278}
|
||
UW4__ = {',': 3930, '.': 3508, '―': -4841, '、': 3930, '。': 3508, '〇': 4999,
|
||
'「': 1895, '」': 3798, '〓': -5156, 'あ': 4752, 'い': -3435, 'う': -640,
|
||
'え': -2514, 'お': 2405, 'か': 530, 'が': 6006, 'き': -4482, 'ぎ': -3821,
|
||
'く': -3788, 'け': -4376, 'げ': -4734, 'こ': 2255, 'ご': 1979, 'さ': 2864,
|
||
'し': -843, 'じ': -2506, 'す': -731, 'ず': 1251, 'せ': 181, 'そ': 4091,
|
||
'た': 5034, 'だ': 5408, 'ち': -3654, 'っ': -5882, 'つ': -1659, 'て': 3994,
|
||
'で': 7410, 'と': 4547, 'な': 5433, 'に': 6499, 'ぬ': 1853, 'ね': 1413,
|
||
'の': 7396, 'は': 8578, 'ば': 1940, 'ひ': 4249, 'び': -4134, 'ふ': 1345,
|
||
'へ': 6665, 'べ': -744, 'ほ': 1464, 'ま': 1051, 'み': -2082, 'む': -882,
|
||
'め': -5046, 'も': 4169, 'ゃ': -2666, 'や': 2795, 'ょ': -1544, 'よ': 3351,
|
||
'ら': -2922, 'り': -9726, 'る': -14896, 'れ': -2613, 'ろ': -4570,
|
||
'わ': -1783, 'を': 13150, 'ん': -2352, 'カ': 2145, 'コ': 1789, 'セ': 1287,
|
||
'ッ': -724, 'ト': -403, 'メ': -1635, 'ラ': -881, 'リ': -541, 'ル': -856,
|
||
'ン': -3637, '・': -4371, 'ー': -11870, '一': -2069, '中': 2210, '予': 782,
|
||
'事': -190, '井': -1768, '人': 1036, '以': 544, '会': 950, '体': -1286,
|
||
'作': 530, '側': 4292, '先': 601, '党': -2006, '共': -1212, '内': 584,
|
||
'円': 788, '初': 1347, '前': 1623, '副': 3879, '力': -302, '動': -740,
|
||
'務': -2715, '化': 776, '区': 4517, '協': 1013, '参': 1555, '合': -1834,
|
||
'和': -681, '員': -910, '器': -851, '回': 1500, '国': -619, '園': -1200,
|
||
'地': 866, '場': -1410, '塁': -2094, '士': -1413, '多': 1067, '大': 571,
|
||
'子': -4802, '学': -1397, '定': -1057, '寺': -809, '小': 1910, '屋': -1328,
|
||
'山': -1500, '島': -2056, '川': -2667, '市': 2771, '年': 374, '庁': -4556,
|
||
'後': 456, '性': 553, '感': 916, '所': -1566, '支': 856, '改': 787,
|
||
'政': 2182, '教': 704, '文': 522, '方': -856, '日': 1798, '時': 1829,
|
||
'最': 845, '月': -9066, '木': -485, '来': -442, '校': -360, '業': -1043,
|
||
'氏': 5388, '民': -2716, '気': -910, '沢': -939, '済': -543, '物': -735,
|
||
'率': 672, '球': -1267, '生': -1286, '産': -1101, '田': -2900, '町': 1826,
|
||
'的': 2586, '目': 922, '省': -3485, '県': 2997, '空': -867, '立': -2112,
|
||
'第': 788, '米': 2937, '系': 786, '約': 2171, '経': 1146, '統': -1169,
|
||
'総': 940, '線': -994, '署': 749, '者': 2145, '能': -730, '般': -852,
|
||
'行': -792, '規': 792, '警': -1184, '議': -244, '谷': -1000, '賞': 730,
|
||
'車': -1481, '軍': 1158, '輪': -1433, '込': -3370, '近': 929, '道': -1291,
|
||
'選': 2596, '郎': -4866, '都': 1192, '野': -1100, '銀': -2213, '長': 357,
|
||
'間': -2344, '院': -2297, '際': -2604, '電': -878, '領': -1659, '題': -792,
|
||
'館': -1984, '首': 1749, '高': 2120, '｢': 1895, '｣': 3798, '･': -4371,
|
||
'ｯ': -724, 'ｰ': -11870, 'ｶ': 2145, 'ｺ': 1789, 'ｾ': 1287, 'ﾄ': -403,
|
||
'ﾒ': -1635, 'ﾗ': -881, 'ﾘ': -541, 'ﾙ': -856, 'ﾝ': -3637}
|
||
UW5__ = {',': 465, '.': -299, '1': -514, 'E2': -32768, ']': -2762, '、': 465,
|
||
'。': -299, '「': 363, 'あ': 1655, 'い': 331, 'う': -503, 'え': 1199,
|
||
'お': 527, 'か': 647, 'が': -421, 'き': 1624, 'ぎ': 1971, 'く': 312,
|
||
'げ': -983, 'さ': -1537, 'し': -1371, 'す': -852, 'だ': -1186, 'ち': 1093,
|
||
'っ': 52, 'つ': 921, 'て': -18, 'で': -850, 'と': -127, 'ど': 1682,
|
||
'な': -787, 'に': -1224, 'の': -635, 'は': -578, 'べ': 1001, 'み': 502,
|
||
'め': 865, 'ゃ': 3350, 'ょ': 854, 'り': -208, 'る': 429, 'れ': 504,
|
||
'わ': 419, 'を': -1264, 'ん': 327, 'イ': 241, 'ル': 451, 'ン': -343,
|
||
'中': -871, '京': 722, '会': -1153, '党': -654, '務': 3519, '区': -901,
|
||
'告': 848, '員': 2104, '大': -1296, '学': -548, '定': 1785, '嵐': -1304,
|
||
'市': -2991, '席': 921, '年': 1763, '思': 872, '所': -814, '挙': 1618,
|
||
'新': -1682, '日': 218, '月': -4353, '査': 932, '格': 1356, '機': -1508,
|
||
'氏': -1347, '田': 240, '町': -3912, '的': -3149, '相': 1319, '省': -1052,
|
||
'県': -4003, '研': -997, '社': -278, '空': -813, '統': 1955, '者': -2233,
|
||
'表': 663, '語': -1073, '議': 1219, '選': -1018, '郎': -368, '長': 786,
|
||
'間': 1191, '題': 2368, '館': -689, '１': -514, 'Ｅ２': -32768, '｢': 363,
|
||
'ｲ': 241, 'ﾙ': 451, 'ﾝ': -343}
|
||
UW6__ = {',': 227, '.': 808, '1': -270, 'E1': 306, '、': 227, '。': 808,
|
||
'あ': -307, 'う': 189, 'か': 241, 'が': -73, 'く': -121, 'こ': -200,
|
||
'じ': 1782, 'す': 383, 'た': -428, 'っ': 573, 'て': -1014, 'で': 101,
|
||
'と': -105, 'な': -253, 'に': -149, 'の': -417, 'は': -236, 'も': -206,
|
||
'り': 187, 'る': -135, 'を': 195, 'ル': -673, 'ン': -496, '一': -277,
|
||
'中': 201, '件': -800, '会': 624, '前': 302, '区': 1792, '員': -1212,
|
||
'委': 798, '学': -960, '市': 887, '広': -695, '後': 535, '業': -697,
|
||
'相': 753, '社': -507, '福': 974, '空': -822, '者': 1811, '連': 463,
|
||
'郎': 1082, '１': -270, 'Ｅ１': 306, 'ﾙ': -673, 'ﾝ': -496}
|
||
|
||
# ctype_
|
||
def ctype_(self, char: str) -> str:
|
||
for pattern, value in self.patterns_.items():
|
||
if pattern.match(char):
|
||
return value
|
||
return 'O'
|
||
|
||
# ts_
|
||
def ts_(self, dict: dict[str, int], key: str) -> int:
|
||
if key in dict:
|
||
return dict[key]
|
||
return 0
|
||
|
||
# segment
|
||
def split(self, input: str) -> list[str]:
|
||
if not input:
|
||
return []
|
||
|
||
result = []
|
||
seg = ['B3', 'B2', 'B1']
|
||
ctype = ['O', 'O', 'O']
|
||
for t in input:
|
||
seg.append(t)
|
||
ctype.append(self.ctype_(t))
|
||
seg.append('E1')
|
||
seg.append('E2')
|
||
seg.append('E3')
|
||
ctype.append('O')
|
||
ctype.append('O')
|
||
ctype.append('O')
|
||
word = seg[3]
|
||
p1 = 'U'
|
||
p2 = 'U'
|
||
p3 = 'U'
|
||
|
||
for i in range(4, len(seg) - 3):
|
||
score = self.BIAS__
|
||
w1 = seg[i-3]
|
||
w2 = seg[i-2]
|
||
w3 = seg[i-1]
|
||
w4 = seg[i]
|
||
w5 = seg[i+1]
|
||
w6 = seg[i+2]
|
||
c1 = ctype[i-3]
|
||
c2 = ctype[i-2]
|
||
c3 = ctype[i-1]
|
||
c4 = ctype[i]
|
||
c5 = ctype[i+1]
|
||
c6 = ctype[i+2]
|
||
score += self.ts_(self.UP1__, p1)
|
||
score += self.ts_(self.UP2__, p2)
|
||
score += self.ts_(self.UP3__, p3)
|
||
score += self.ts_(self.BP1__, p1 + p2)
|
||
score += self.ts_(self.BP2__, p2 + p3)
|
||
score += self.ts_(self.UW1__, w1)
|
||
score += self.ts_(self.UW2__, w2)
|
||
score += self.ts_(self.UW3__, w3)
|
||
score += self.ts_(self.UW4__, w4)
|
||
score += self.ts_(self.UW5__, w5)
|
||
score += self.ts_(self.UW6__, w6)
|
||
score += self.ts_(self.BW1__, w2 + w3)
|
||
score += self.ts_(self.BW2__, w3 + w4)
|
||
score += self.ts_(self.BW3__, w4 + w5)
|
||
score += self.ts_(self.TW1__, w1 + w2 + w3)
|
||
score += self.ts_(self.TW2__, w2 + w3 + w4)
|
||
score += self.ts_(self.TW3__, w3 + w4 + w5)
|
||
score += self.ts_(self.TW4__, w4 + w5 + w6)
|
||
score += self.ts_(self.UC1__, c1)
|
||
score += self.ts_(self.UC2__, c2)
|
||
score += self.ts_(self.UC3__, c3)
|
||
score += self.ts_(self.UC4__, c4)
|
||
score += self.ts_(self.UC5__, c5)
|
||
score += self.ts_(self.UC6__, c6)
|
||
score += self.ts_(self.BC1__, c2 + c3)
|
||
score += self.ts_(self.BC2__, c3 + c4)
|
||
score += self.ts_(self.BC3__, c4 + c5)
|
||
score += self.ts_(self.TC1__, c1 + c2 + c3)
|
||
score += self.ts_(self.TC2__, c2 + c3 + c4)
|
||
score += self.ts_(self.TC3__, c3 + c4 + c5)
|
||
score += self.ts_(self.TC4__, c4 + c5 + c6)
|
||
# score += self.ts_(self.TC5__, c4 + c5 + c6)
|
||
score += self.ts_(self.UQ1__, p1 + c1)
|
||
score += self.ts_(self.UQ2__, p2 + c2)
|
||
score += self.ts_(self.UQ1__, p3 + c3)
|
||
score += self.ts_(self.BQ1__, p2 + c2 + c3)
|
||
score += self.ts_(self.BQ2__, p2 + c3 + c4)
|
||
score += self.ts_(self.BQ3__, p3 + c2 + c3)
|
||
score += self.ts_(self.BQ4__, p3 + c3 + c4)
|
||
score += self.ts_(self.TQ1__, p2 + c1 + c2 + c3)
|
||
score += self.ts_(self.TQ2__, p2 + c2 + c3 + c4)
|
||
score += self.ts_(self.TQ3__, p3 + c1 + c2 + c3)
|
||
score += self.ts_(self.TQ4__, p3 + c2 + c3 + c4)
|
||
p = 'O'
|
||
if score > 0:
|
||
result.append(word.strip())
|
||
word = ''
|
||
p = 'B'
|
||
p1 = p2
|
||
p2 = p3
|
||
p3 = p
|
||
word += seg[i]
|
||
|
||
result.append(word.strip())
|
||
return result
|
||
|
||
|
||
class SearchJapanese(SearchLanguage):
|
||
"""
|
||
Japanese search implementation: uses no stemmer, but word splitting is quite
|
||
complicated.
|
||
"""
|
||
lang = 'ja'
|
||
language_name = 'Japanese'
|
||
|
||
def init(self, options: dict) -> None:
|
||
dotted_path = options.get('type', 'sphinx.search.ja.DefaultSplitter')
|
||
try:
|
||
self.splitter = import_object(dotted_path)(options)
|
||
except ExtensionError as exc:
|
||
raise ExtensionError("Splitter module %r can't be imported" %
|
||
dotted_path) from exc
|
||
|
||
def split(self, input: str) -> list[str]:
|
||
return self.splitter.split(input)
|
||
|
||
def word_filter(self, stemmed_word: str) -> bool:
|
||
return len(stemmed_word) > 1
|
||
|
||
def stem(self, word: str) -> str:
|
||
return word
|