http-scws(基於scws的http協定中文分詞),軟體基於scws 1.1.7版本二次開發,基於libevent進行http封裝,請求更簡單。
簡介,功能,特點,
簡介
http-scws(基於scws的http協定中文分詞),軟體基於scws 1.1.7版本二次開發,基於libevent進行http封裝,請求更簡單。
功能
1.詞庫為文本檔案方式,增加、刪除更方便
2.支持gbk與utf-8(基於scws功能)
3.運行中可修改詞庫,不停服務只需一個命令即可使新詞庫生效
4.最大150K文本提交
5.可分詞、提取高頻詞
6.支持GET與POST方式
7.支持短詞、二元、主要單字、全部單字(基於scws功能)
8.支持標點過濾(基於scws功能)。
特點
簡單測試結果:
AMD 64位台式機四核CPU,程式載入詞庫後占用21M記憶體,使用10進程不間斷請求請求,記憶體無增加,CPU使用率在30%多
此項目開源,壓縮檔里有原始碼及編譯後的程式,有特殊需要的可自行修改源程式,編譯後程式的編譯環境為:amd 64位 4核CPU,centos 5.5 64位系統,核心為:2.6.18-194.el5。