pkuseg-demo

guozhen3 · guozhen3 · commit 7673794ab0e7 · 2019-12-20T14:09:38.000+08:00
diff --git a/data/cut_words.csv b/data/cut_words.csv
@@ -0,0 +1,120 @@
+��,12
+��,11
+Python,10
+��,7
+��,5
+����,4
+���,4
+��׼��,3
+ͨ��,3
+��,3
+�ṩ,3
+ģ��,3
+��,3
+ϵͳ,3
+����,2
+�ο�,2
+����,2
+��,2
+��,2
+��,2
+��,2
+��,2
+ѡ,2
+��,2
+��д,2
+����,2
+����,2
+ƽ̨,2
+����,2
+����,2
+����,1
+�﷨,1
+����,1
+��,1
+��,1
+��,1
+����,1
+��,1
+һͬ,1
+����,1
+��,1
+��,1
+���а�,1
+һЩ,1
+�ǳ�,1
+�Ӵ�,1
+�漰,1
+��Χ,1
+ʮ��,1
+�㷺,1
+����,1
+����,1
+����,1
+Ŀ¼,1
+��ʾ,1
+���,1
+��,1
+��,1
+����,1
+(,1
+C,1
+),1
+����Ա,1
+����,1
+����,1
+����,1
+ʵ��,1
+��,1
+����,1
+�ļ�,1
+I/O,1
+����,1
+����,1
+����,1
+�ճ�,1
+���,1
+����,1
+��׼,1
+���,1
+����,1
+����,1
+��Щ,1
+����,1
+ר��,1
+���,1
+ͨ��,1
+��,1
+�ض�,1
+����,1
+Ϊ,1
+����,1
+API,1
+����,1
+��ǿ,1
+����ֲ��,1
+Windows,1
+�汾,1
+��װ,1
+����,1
+����,1
+����,1
+����,1
+��,1
+Unix,1
+��,1
+�ֳ�,1
+һ,1
+ϵ��,1
+������,1
+���,1
+����,1
+��Ҫ,1
+ʹ��,1
+��,1
+����,1
+����,1
+��ȡ,1
+����,1
+��,1
+ȫ��,1
diff --git a/md/README.md b/md/README.md
@@ -61,14 +61,13 @@
 #### 六、文件操作
 1. [批量修改后缀名](./批量修改后缀名.md)
 2. [返回两个文件的不同行的编号](返回两个文件的不同行的编号.md)
-3. [查找指定文件格式文件](查找指定文件格式文件.md)
+3. [查找指定后缀名的文件](查找指定文件格式文件.md)
 4. [使用Python实现群发邮件功能](自动群发邮件.md)
 5. [xls批量转化为xlsx](xls批量转化为xlsx.md)
 6. [获取指定文件路径下文件修改时间](获取指定文件路径下文件修改时间.md)
-7. [计算指定日期当月最后一天的日期和该月天数](计算指定日期当月最后一天的日期和该月天数.md)
-8. [文件批量压缩](文件批量压缩.md)
-9. [文件读写操作](文件读写操作.md)
-10. [字符串32位加密](字符串32位加密.md)
+7. [文件批量压缩](文件批量压缩.md)
+8. [文件读写操作](文件读写操作.md)
+9. [字符串32位加密](字符串32位加密.md)
 
 
 #### 七、字符串、正则和爬虫
@@ -81,7 +80,7 @@
 7. [格式化数字使用大全](str.format() 格式化数字的多种方法.md)
 8. [字符串32位加密](字符串32位加密.md)
 9. [反转字符串](反转字符串1.md)
-
+10. [分词并保存结果](分词并保存结果.md)
 
 ####  八、绘图
 
diff --git a/md/分词并保存结果.md b/md/分词并保存结果.md
@@ -0,0 +1,45 @@
+**分词并保存结果**
+
+`pkuseg`是北大开源的一个中文分词工具包。它在多个分词数据集上都有非常高的分词准确率，比经常使用的`jieba`分词性能和效果要更好。
+
+下面使用`pkuseg`的`cut`函数，分词后统计前10频率词，并按照所有词的频次由高到低写入到文件`cut_words.csv` 中。
+
+这是需要切分的段落：
+```python
+mystr = """Python 语言参考 描述了 Python 语言的具体语法和语义，
+这份库参考则介绍了与 Python 一同发行的标准库。
+它还描述了通常包含在 Python 发行版中的一些可选组件。
+Python 标准库非常庞大，所提供的组件涉及范围十分广泛，
+正如以下内容目录所显示的。这个库包含了多个内置模块 (以 C 编写)，
+Python 程序员必须依靠它们来实现系统级功能，
+例如文件 I/O，此外还有大量以 Python 编写的模块，
+提供了日常编程中许多问题的标准解决方案。
+其中有些模块经过专门设计，
+通过将特定平台功能抽象化为平台中立的 API 来鼓励和加强 Python 程序的可移植性。
+Windows 版本的 Python 安装程序通常包含整个标准库，
+往往还包含许多额外组件。对于类 Unix 操作系统，
+Python 通常会分成一系列的软件包，
+因此可能需要使用操作系统所提供的包管理工具来获取部分或全部可选组件。"""
+```
+
+几行代码就完成上述工作：
+
+```python
+from pkuseg import pkuseg
+from collections import Counter
+
+seg = pkuseg()
+words = seg.cut(mystr)
+frequency_sort = Counter(words).most_common()
+with open('./data/cut_words.csv', 'w') as f:
+    for line in frequency_sort:
+        f.write(str(line[0])+',' + str(line[1])+"\n")
+
+print('writing done')
+```
+
+出现最高频的前10个词语：
+```python
+Counter(words).most_common(10)
+# [('的', 12), ('，', 11), ('Python', 10), ('。', 7), ('了', 5), ('包含', 4), ('组件', 4), ('标准库', 3), ('通常', 3), ('所', 3)]
+```
diff --git a/md/文件读写操作.md b/md/文件读写操作.md
@@ -18,12 +18,12 @@ def openfile(filename):
 
 
 # 写入文件信息
-
 # example1
 # w写入，如果文件存在，则清空内容后写入，不存在则创建
 f = open(r"./data/test.txt", "w", encoding="utf-8")
 print(f.write("测试文件写入"))
 f.close
+
 # example2
 # a写入，文件存在，则在文件内容后追加写入，不存在则创建
 f = open(r"./data/test.txt", "a", encoding="utf-8")
diff --git a/md/获取指定文件路径下文件修改时间.md b/md/获取指定文件路径下文件修改时间.md
@@ -1,5 +1,5 @@
 ```python
-#递归获取目录下文件的修改时间
+#获取目录下文件的修改时间
 import os
 import datetime
 print(f"当前时间：{datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')}")
diff --git a/src/use_pkuseg.py b/src/use_pkuseg.py
@@ -0,0 +1,21 @@
+from pkuseg import pkuseg
+from collections import Counter
+
+mystr = """Python 语言参考 描述了 Python 语言的具体语法和语义，这份库参考则介绍了与 Python 一同发行的标准库。它还描述了通常包含在 Python 发行版中的一些可选组件。
+
+Python 标准库非常庞大，所提供的组件涉及范围十分广泛，正如以下内容目录所显示的。这个库包含了多个内置模块 (以 C 编写)，Python 程序员必须依靠它们来实现系统级功能，例如文件 I/O，此外还有大量以 Python 编写的模块，提供了日常编程中许多问题的标准解决方案。其中有些模块经过专门设计，通过将特定平台功能抽象化为平台中立的 API 来鼓励和加强 Python 程序的可移植性。
+
+Windows 版本的 Python 安装程序通常包含整个标准库，往往还包含许多额外组件。对于类 Unix 操作系统，Python 通常会分成一系列的软件包，因此可能需要使用操作系统所提供的包管理工具来获取部分或全部可选组件。"""
+
+seg = pkuseg()
+words = seg.cut(mystr)
+top10 = Counter(words).most_common(10)
+# [('的', 12), ('，', 11), ('Python', 10), ('。', 7), ('了', 5), ('包含', 4), ('组件', 4), ('标准库', 3), ('通常', 3), ('所', 3)]
+print(top10)
+
+frequency_sort = Counter(words).most_common()
+with open('./data/cut_words.csv', 'w') as f:
+    for line in frequency_sort:
+        f.write(str(line[0])+',' + str(line[1])+"\n")
+
+print('writing done')

-Original file line number
+Diff line change
@@ @@ -0,0 +1,120 @@ @@
 +的,12
 +，,11
 +Python,10
 +。,7
 +了,5
 +包含,4
 +组件,4
 +标准库,3
 +通常,3
 +所,3
 +提供,3
 +模块,3
 +来,3
 +系统,3
 +语言,2
 +参考,2
 +描述,2
 +和,2
 +库,2
 +还,2
 +中,2
 +可,2
 +选,2
 +以,2
 +编写,2
 +功能,2
 +许多,2
 +平台,2
 +程序,2
 +操作,2
 +具体,1
 +语法,1
 +语义,1
 +这,1
 +份,1
 +则,1
 +介绍,1
 +与,1
 +一同,1
 +发行,1
 +它,1
 +在,1
 +发行版,1
 +一些,1
 +非常,1
 +庞大,1
 +涉及,1
 +范围,1
 +十分,1
 +广泛,1
 +正如,1
 +以下,1
 +内容,1
 +目录,1
 +显示,1
 +这个,1
 +多,1
 +个,1
 +内置,1
 +(,1
 +C,1
 +),1
 +程序员,1
 +必须,1
 +依靠,1
 +它们,1
 +实现,1
 +级,1
 +例如,1
 +文件,1
 +I/O,1
 +此外,1
 +还有,1
 +大量,1
 +日常,1
 +编程,1
 +问题,1
 +标准,1
 +解决,1
 +方案,1
 +其中,1
 +有些,1
 +经过,1
 +专门,1
 +设计,1
 +通过,1
 +将,1
 +特定,1
 +抽象化,1
 +为,1
 +中立,1
 +API,1
 +鼓励,1
 +加强,1
 +可移植性,1
 +Windows,1
 +版本,1
 +安装,1
 +整个,1
 +往往,1
 +额外,1
 +对于,1
 +类,1
 +Unix,1
 +会,1
 +分成,1
 +一,1
 +系列,1
 +软件包,1
 +因此,1
 +可能,1
 +需要,1
 +使用,1
 +包,1
 +管理,1
 +工具,1
 +获取,1
 +部分,1
 +或,1
 +全部,1