搜索到
15
篇与
Python
的结果
-
(四) 【新手7天爬虫入门】python基础知识———字符串 字符串是 Python 中最常用的数据类型。在Python程序中，如果我们把单个或多个字符用单引号'或者双引号""包围起来，就可以表示一个字符串。比如 str1 = '爱分享，跟着站长学习全栈技术,一起变强一起脱发' print(str1) str2 = "爱分享，跟着站长学习全栈技术,一起变强一起脱发" print(str2) 以三个双引号"""开头的字符串可以折行,如下 str2 = """ 爱分享 跟着站长学习全栈技术,一起变强一起脱发 """ print(str2) 字符串常用操作举例# 字符串长度 print("当前字符串长度为%d" % len(str1)) # 字符串的截取,截取第4位到第10位 print(str1[4:10]) # 取第4位字符 print("取第4位字符：%s" % str1[4]) # 从第4位开始截取 print("从第4位开始截取：%s" % str1[4:]) # 从第4位开始，字符串截取 print("从第4位开始，每间隔一个字符串截取：%s" % str1[4:0:2]) # 字符串转大写 print("字符串转大写：%s" % str1.swapcase()) # 字符串拼接 print("wwww." + "gxxblw." + "com") # 重复拼接 print("wwww.gxxblw.com " * 3)以上只是举例一部分开发中使用的方法，大家可以看官方的函数API学习，或者需要到怎么处理都可以进行百度搜索 -
(三) 【新手7天爬虫入门】python基础知识———For循环与while循环（附带九九乘法表源码） 编程语言提供了各种控制结构，允许更复杂的执行路径。循环语句允许我们执行一个语句或语句组多次，在开发中时经常使用到的，比如在爬虫中根据总页数和数量进行循环爬取等。Python 提供了 for 循环和 while 循环（在 Python 中没有 do..while 循环）,在循环中经常同时搭配两个关键词break和continue进行使用for与while的使用区别for 给定一个循环值，根据循环值大小进行次数循环while 给定一个条件，若满足条件则进入循环体for举例子代码：# 循环打印3次 for i in range(3): print("循环次数",i+1) #输出0，1，2 # 循环3次并且找出3的公约数 for i in range(0, 10, 3): #range(0, 10, 3) ，0从哪个值开始循环，10:循环到哪个值，3：step步数 print("公约数", i) #输出 0 3 6 9 # 循环每次10次每次减1 for i in range(10, 0, -1): print("结果", i) #输出：10 9 8 7 6 5 4 3 2 1 while 举例子代码： i = 10 # while 循环, while i >= 0: #当i满足条件进入循环体 print("当前值为", i) # 输出 10 9 8 7 6 5 4 3 2 1 0 i -= 1 # while 循环,i=5的时候跳出循环 i = 10 while i >= 0: print("当前值为", i) # 输出 10 9 8 7 6 i -= 1 if i == 5: #当满足提交使用break跳出循环 break # while 循环,i不能问被2整数时候不打印的时候跳出循环 i = 10 while i >= 0: if i % 2 != 0: i -= 1 continue print("当前值为", i) #输出10 8 6 4 2 0 i -= 1使用小例子（一）求1~100之间的和从1加到100：1+2+3+4+*+100= ？# 使用For循环求和 sumVal = 0 for i in range(101): sumVal += i print("1~100的和为", sumVal) #输出5050 #使用while求和 sumVal = 0 i = 1 while i <= 100: sumVal += i i += 1 print("1~100的和为", sumVal) #输出5050 （一）输入九九乘法表要求输出格式为如下：1 * 1 = 1 2 * 1 = 2 2 * 2 = 4 3 * 1 = 3 3 * 2 = 6 3 * 3 = 9 4 * 1 = 4 4 * 2 = 8 4 * 3 = 12 4 * 4 = 16 5 * 1 = 5 5 * 2 = 10 5 * 3 = 15 5 * 4 = 20 5 * 5 = 25 6 * 1 = 6 6 * 2 = 12 6 * 3 = 18 6 * 4 = 24 6 * 5 = 30 6 * 6 = 36 7 * 1 = 7 7 * 2 = 14 7 * 3 = 21 7 * 4 = 28 7 * 5 = 35 7 * 6 = 42 7 * 7 = 49 8 * 1 = 8 8 * 2 = 16 8 * 3 = 24 8 * 4 = 32 8 * 5 = 40 8 * 6 = 48 8 * 7 = 56 8 * 8 = 64 9 * 1 = 9 9 * 2 = 18 9 * 3 = 27 9 * 4 = 36 9 * 5 = 45 9 * 6 = 54 9 * 7 = 63 9 * 8 = 72 9 * 9 = 81 实现代码中使用到循环嵌套# for循环实现 for i in range(1, 10): for j in range(1, 10): print("%d * %d = %d" % (i, j, i * j), end="\t") if i == j: break print("\n") # while循环实现 i = 1 while i < 10: j = 1 while j < 10: print("%d * %d = %d" % (i, j, i * j), end="\t") if i == j: break j += 1 i += 1 print("\n") 初学者建议自己敲一下代码，通过实际测试运行让自己学习更加深刻
-
(二) 【新手7天爬虫入门】python基础知识———IF条件判断（附带剪刀石头布游戏源码） Python条件语句是通过一条或多条语句的执行结果（True或者False）来决定执行的代码块。可以通过下图来简单了解条件语句的执行过程:Python程序语言指定任何非0和非空（null）值为true，0 或者 null为false。Python 编程中 if 语句用于控制程序的执行，基本形式为：if 判断条件： 执行语句…… else： 执行语句……其中"判断条件"成立时（非零），则执行后面的语句，而执行内容可以多行，以缩进来区分表示同一范围。else 为可选语句，当需要在条件不成立时执行内容则可以执行相关语句。Gif 演示逻辑控制,条件真：非0，True条件假：0，False,None使用的是时候我们应该要注意代码的缩进与空格，以为别的语言一般会时使用 {}进行处理# 条件为真 ''' condition=True condition='任意字符' condition=100 ''' # 条件为假 ''' condition=False condition=0 condition=None ''' condition = None if condition: print("条件为true") else: print("条件为False") print("我也是False这个语句快的") #这条语句的缩进和前一条一样，还在else 控制块语句内 print("程序运行结束") # 这里else是控制语句块外面的代码语句 ## 以下说明错误情况，应该注意缩进问题 ''' if condition: print("条件为true") else: print("条件为False") #这个语法是错误的，需要缩进一致 print("我也是False这个语句快的") '''if 语句的判断条件可以用>（大于）、<(小于)、==（等于）、>=（大于等于）、<=（小于等于）来表示其关系。当判断条件为多个值时，可以使用以下形式：if 判断条件1: 执行语句1…… elif 判断条件2: 执行语句2…… elif 判断条件3: 执行语句3…… else: 执行语句4……如果使用三目运算者写法语句如下写法也与其它语言有所不同三目运算表达式：变量 = 表达式 if 判断条件 else 表达式#男=1，女=2，0=未知 sex = '男' if val==1 else '女' #当val==1则sex为男 # 变量 = 表达式 if 判断条件 else 表达式 sex = '男' if val==1 else '女' if sex==2 else '未知' #当val==1则sex为男，当sex不为1，也不为2时，sex为位置由于 python 并不支持 switch 语句，所以多个条件判断，只能用 elif 来实现，如果判断需要多个条件需同时判断时，可以使用 or （或），表示两个条件有一个成立时判断条件成功；使用 and （与）时，表示只有两个条件同时成立的情况下，判断条件才成功。当if有多个条件时可使用括号来区分判断的先后顺序，括号中的判断优先执行，此外 and 和 or 的优先级低于>（大于）、<（小于）等判断符号，即大于和小于在没有括号的情况下会比与或要优先判断。附带剪刀石头布游戏程序要求：控制台输入一个数字代码三种状态中的一种，程序生成一个随机码与之比较，输出提示输赢情况第一版逻辑import random #随机库 tn = input("石头剪子布游戏：(0)剪刀，(1) 石头，(2)布,请输入对应的数字出拳：\n") if tn not in ['0', '1', '2']: print("请输入合法数字：0，1，2") else: tn = int(tn) bn = random.randint(0, 2) print("对方出了%d" % bn) if tn == 0: if bn == 1: print("对方出了石头你输了") elif bn == 2: print("对方出了布，你赢一局") else: print("对方也出了剪刀，平局") elif tn == 1: if bn == 2: print("对方出了布你输了") elif bn == 0: print("对方出了剪刀，你赢一局") else: print("对方也出了石头，平局") elif tn == 2: if bn == 2: print("对方也出了布，平局") elif bn == 0: print("对方出了剪刀，你输了") else: print("对方也出了石头，你赢了") 精简后逻辑 import random #随机库 tn = input("石头剪子布游戏：(0)剪刀，(1) 石头，(2)布,请输入对应的数字出拳：\n") if tn not in ['0', '1', '2']: print("请输入合法数字：0，1，2") else: tn = int(tn) bn = random.randint(0, 2) bnStr = "剪刀" if bn == 0 else "石头" if bn == 1 else "布" print("对方出了（%d）%s" % (bn, bnStr), end="") if (tn == 0 and bn == 2) or (tn == 1 and bn == 0) or (tn == 2 and bn == 1): print(",你赢了") elif (tn == 0 and bn == 1) or (tn == 1 and bn == 2) or (tn == 2 and bn == 0): print(",你输了") elif bn == tn: print(",平局")本文内容部分图片文献内容与图片来自：https://www.runoob.com/python/python-if-statement.html，如有侵犯请联系站长进行删除
-
(一) 【新手7天爬虫入门】python基础知识———变量 变量变量是存储在内存中的值，这就意味着在创建变量时会在内存中开辟一个空间。基于变量的数据类型，解释器会分配指定内存，并决定什么数据可以被存储在内存中。因此，变量可以指定不同的数据类型，这些变量可以存储整数，小数或字符。变量赋值Python 中的变量赋值不需要类型声明,这个跟PHP语言相似，每个变量在内存中创建，都包括变量的标识，名称和数据这些信息。每个变量在使用前都必须赋值，变量赋值以后该变量才会被创建。等号 = 用来给变量赋值。等号 = 运算符左边是一个变量名，等号 = 运算符右边是存储在变量中的值。例如count = 100 # 赋值整型变量 miles = 1000.0 # 浮点型 name = "www.gxxblw.com" # 字符串 name = 200 #执行过程中可修改变量类型 print(count,miles,name) #以上代码输出：100 1000.0 200
-
python爬虫技术点及常用工具库导航 Python 网页抓取此列表包含与网络抓取和数据处理相关的 Python 库。网络请求工具网络请求库：通用urllib - 网络库 (stdlib)。requests - 几乎是最流行的网络请求库。grab - 网络库（基于 pycurl）。pycurl - 网络库（基于 libcurl）。urllib3 - 具有线程安全连接池、文件发布支持、健全友好等的 Python HTTP 库。httplib2 - 小型、快速的 HTTP 客户端库。具有持久连接、缓存和 Google App Engine 支持。RoboBrowser - 一个简单的 Pythonic 库，用于在没有独立 Web 浏览器的情况下浏览 Web。MechanicalSoup - 用于自动与网站交互的 Python 库。mechanize - 有状态的程序化网页浏览。socket 底层网络接口 (stdlib)。Unirest for Python - Unirest 是一组轻量级的 HTTP 库，支持多种语言。hyper - Python 的 HTTP/2 客户端。PySocks - 更新和积极维护的 SocksiPy 版本，具有错误修复和额外功能。作为插座模块的直接替代品。网络请求工具：异步treq - API 之类的请求。aiohttp - asyncio 的 http 客户端/服务器 (PEP-3156)。网络请求工具：底层dpkt - 快速、简单的数据包创建/解析，具有基本 TCP/IP 协议的定义。pyOpenSSL - 一个围绕 OpenSSL 库的 Python 包装器。tlslite-ng - 纯 python 中的 TLS 实现。scapy - 强大的基于 Python 的交互式数据包操作程序和库。impacket - 对网络协议数据包的低级编程访问。网页抓取网页抓取：框架grab - 网络抓取框架（基于 pycurl/multicurl）。scrapy - 网络抓取框架（基于 Twisted）。pyspider - 一个强大的爬取系统。cola - 一个分布式爬虫框架。ruia - 基于 asyncio 的异步 Python 3.6+网页抓取微框架。ioweb - 基于 gevent 和 lxml 的网页抓取框架。autoscraper - 一个智能、自动、轻量级的网络爬虫。frontera - 一个可扩展的网络爬虫框架。网页抓取：工具portia - Scrapy 的可视化抓取。restkit - Python 的 HTTP 资源工具包。它允许您轻松访问 HTTP 资源并围绕它构建对象。requests-html - Pythonic HTML Parsing for Humans。ScrapydWeb - Scrapyd 集群管理的全功能 Web UI，支持 Scrapy 日志分析&可视化、自动打包、定时任务、邮件通知等。Starbelly - Starbelly 是一个用户友好且高度可配置的网络爬虫前端。Gerapy - 基于 Scrapy, Scrapyd, Django、Vue.js 的分布式爬虫管理框架。网页抓取：绕过保护cloudscraper - 绕过 Cloudflare 的反机器人页面的 Python 模块。HTML/XMLHTML/XML：通用lxml - 有效的 HTML/XML 处理库，支持 XPATH。cssselect - 使用带有 CSS 选择器的 DOM 树。pyquery - 使用类 jQuery 选择器的 DOM 树。BeautifulSoup - 慢速 HTML/XMl 处理库，纯 Python 编写。html5lib - 根据 WHATWG 规范 构建 HTML/XML 文档的 DOM。该规范用于所有现代浏览器。feedparser - 解析 RSS/ATOM 提要。MarkupSafe - 为 Python 实现 XML/HTML/XHTML 标记安全字符串。xmltodict - 使用 XML 感觉就像使用 JSON。xhtml2pdf - HTML/CSS 到 PDF 转换器。untangle - 将 XML 文档转换为 Python 对象以便于访问。hodor - 围绕 lxml 和 cssselect 的配置驱动包装器。chopper - 使用相应 CSS 规则从 HTML 页面中提取部分并保留正确 HTML 的工具。selectolax - Python 绑定到 Modest 引擎（带有 CSS 选择器的快速 HTML5 解析器）。parsel - 允许您使用 XPath 或 CSS 选择器从 XML/HTML 文档中提取数据。html5-parser - 用于 python 的基于 C 的快速 HTML5 解析。gazpacho - 一个简单、快速、现代的网络抓取库。HTML/XML：消毒Bleach - HTML 的清理（需要 html5lib）。sanitize - 为混乱的数据世界带来理智。HTML/XML：元数据extruct - 用于从 HTML 标记中提取嵌入元数据的库。文本处理用于解析和操作纯文本的库。文本处理：通用difflib - （Python 标准库）计算增量的助手。Levenshtein - 快速计算 Levenshtein 距离和字符串相似度。fuzzywuzzy - 模糊字符串匹配。esmre - 正则表达式加速器。ftfy - 自动减少 Unicode 文本的损坏和更一致。文本处理：音译unidecode - Unicode 文本的 ASCII 音译库。文本处理：字符编码uniout - 打印可读字符而不是转义字符串。chardet - Python 2/3 兼容的字符编码检测器。xpinyin - 一个将汉字（汉字）翻译成拼音（拼音）的库。pangu.py - CJK 和字母数字的间距文本。cchardet - cChardet 是高速通用字符编码检测器，绑定到 uchardet。文本处理：Slugifyawesome-slugify - 一个可以保存 unicode 的 Python slugify 库。python-slugify - 一个将 unicode 转换为 ASCII 的 Python slugify 库。unicode-slugify - 生成 unicode slug 的 slugifier。pytils - 处理俄语字符串的简单工具（包括 pytils.translit.slugify）。文本处理：通用解析器PLY - 用于 Python 的 lex 和 yacc 解析工具的实现。pyparsing - 用于生成解析器的通用框架。文本处理：人名python-nameparser - 将人名解析成各自的组成部分。文本处理：电话号码电话号码 - 解析、格式化、存储和验证国际电话号码。文本处理：用户代理字符串HTTP 代理解析器 - Python HTTP 代理解析器。uap-python - ua-parser 的 Python 实现。python-user-agents - 浏览器用户代理解析器。fake-useragent - Python 用户代理字符串伪造者，基于浏览器的世界统计数据。user_agent - 用户代理数据生成器。文本处理：robots.txtreppy - 适用于 Python 的现代 robots.txt 解析器。文本处理：日期和时间dateutil - 对标准 Python 日期时间功能的有用扩展。dateparser - 用于人类可读日期的 python 解析器。ciso8601 - 将 ISO 8601 或 RFC 3339 日期时间字符串转换为 Python 日期时间对象。文本处理： 价格和货币price-parser - 一个用于从原始文本字符串中提取价格和货币的小型库。结构化格式用于解析和操作特定文本格式的库。结构化格式：通用tablib - XLS、CSV、JSON、YAML 格式的表格数据集模块。texttract - 从任何文档、Word、PowerPoint、PDF 等中提取文本。messytables - 解析杂乱表格数据的工具。rows - 一个通用的、漂亮的表格数据界面，无论格式如何（目前是 CSV、HTML、XLS、TXT）。结构化格式：Officepython-docx - 读取、查询和修改 Microsoft Word 2007/2008 docx 文件。xlwt / xlrd - 从 Excel 文件中写入和读取数据以及格式化信息。XlsxWriter - 用于创建 Excel .xlsx 文件的 Python 模块。xlwings - 一个 BSD 许可的库，可以轻松地从 Excel 调用 Python，反之亦然。openpyxl - 用于读写 Excel 2010 xlsx/xlsm/xltx/xltm 文件的库。Marmir - 采用 Python 数据结构并将它们转换为电子表格。结构化格式：PDFPDFMiner - 从 PDF 文档中提取信息的工具。PyPDF2 - 一个能够拆分、合并和转换 PDF 页面的库。ReportLab - 允许快速创建丰富的 PDF 文档。pdftables - 直接从 PDF 文件中提取表格结构化格式：MarkdownPython-Markdown - John Gruber 的 Markdown 的 Python 实现。Mistune - 最快且功能齐全的 Markdown 纯 Python 解析器。markdown2 - Markdown 的快速且完整的 Python 实现。mistletoe - 在纯 Python 中快速、可扩展且符合规范的 Markdown 解析器。结构化格式：YAMLPyYAML - Python 的 YAML 实现。结构化格式：CSScssutils - Python 的 CSS 库。结构化格式：ATOM/RSSfeedparser - 通用提要解析器。结构化格式：SQLsqlparse - 一个非验证 SQL 解析器。结构化格式：HTTPhttp-parser - C 中 python 的 HTTP 请求/响应解析器。httptools - Node.js HTTP 解析器的 Python 绑定。结构化格式：微格式opengraph - 解析开放图协议标签的 Python 模块。结构化格式：可移植的可执行文件pefile - 一个多平台模块，用于解析和使用可移植可执行文件（又名 PE）文件。结构化格式：PSDpsd-tools - 读取 Adobe Photoshop PSD 文件（如 规范 中所述/fileformatashtml/PhotoshopFileFormats.htm)) 到 Python 数据结构。结构化格式：书签文件bookmarks-parser - 解析 Firefox/Chrome HTML 书签文件。序列化orjson - 支持数据类和日期时间的快速、正确的 Python JSON 库。ujson - 用 C 语言编写的超快速 JSON 解码器和编码器，带有 Python 绑定。自然语言处理用于处理人类语言的库。NLTK - 用于构建 Python 程序以处理人类语言数据的领先平台。spacy - 允许使用最先进的深度学习模型来完成常见的 NLP 任务。fastai - 带有免费视频教程 + 活跃论坛社区的深度学习库，lib 的缺点：需要 GPU。gensim - 用于主题建模、文档索引和大型语料库相似性检索的库。Pattern - Python 的网络挖掘模块。它具有用于自然语言处理、机器学习等的工具。TextBlob - 为深入研究常见的 NLP 任务提供一致的 API。站在 NLTK 和 Pattern 的巨大肩膀上。jieba - 中文分词工具。SnowNLP - 处理中文文本的库。loso - 另一个中文分词库。genius - 基于条件随机场的中文片段。langid.py - 独立的语言识别系统。韩语 - 韩语 形态学库。pymorphy2 - 俄语的形态分析器（POS 标记器 + 转换引擎）。PyPLN - 用于自然语言处理的分布式管道，用 Python 制作。该项目的目标是创建一种使用 NLTK 处理大型语料库的简单方法，并带有 Web 界面。langdetect - Google 语言检测库到 Python 的端口。浏览器自动化浏览器自动化：浏览器selenium - 自动化真实浏览器（Chrome、Firefox、Opera、IE）。Ghost.py - QtWebKit 的包装器（需要 PyQT）。Spynner - QtWebKit QtWebKit 的包装器（需要 PyQT）。Splinter - 浏览器模拟器的通用 API (selenium webdrivers, django client, zope)。Requestium - Requests 和 Selenium 之间的集成层，用于 Web 操作的自动化。Splash - 具有 HTTP API 的轻量级、可编写脚本的浏览器即服务。pyppeteer - 无头 chrome/chromium 自动化库（puppeteer 的非官方端口）。Playwright - Playwright 是一个 Python 库，可通过单个 API 自动化 Chromium、Firefox 和 WebKit 浏览器。seleniumbase - 用于 Web/UI 测试 + RPA 的 Python 框架。
