Python 3.9 有什么新变化¶
- 编者:
Łukasz Langa
这篇文章介绍了 Python 3.9 相比 3.8 增加的新特性。 Python 3.9 发布于 2020年 10 月 5 日。 更详细的信息可参阅 更新日志。
参见
PEP 596 - Python 3.9 发布计划
摘要 -- 发布重点¶
新的语法特性:
新的内置特性:
PEP 616,移除前缀和后缀的字符串方法。
标准库中的新特性:
PEP 593,灵活函数和变量注解;
添加了
os.pidfd_open()以允许不带竞争和信号的进程管理。
解释器的改进:
PEP 573,从 C 扩展类型的方法快速访问模块状态;
PEP 617,CPython 现在使用基于 PEG 的新解析器;
一些 Python 内置类型(range、tuple、set、frozenset、list、dict)现已使用 PEP 590 vectorcall 加速;
垃圾回收不会因恢复的对象而阻塞;
多个 Python 模块 (
_abc,audioop,_bz2,_codecs,_contextvars,_crypt,_functools,_json,_locale,math,operator,resource,time,_weakref) 现在已使用 PEP 489 所定义的多阶段初始化;多个标准库模块 (
audioop,ast,grp,_hashlib,pwd,_posixsubprocess,random,select,struct,termios,zlib) 现在已使用 PEP 384 所定义的稳定 ABI。
新的库模块:
发布进程的变化:
PEP 602,CPython 采用年度发布周期。
请检查代码中的 DeprecationWarning。¶
Python 2.7 支持未终止时,为了实现向下兼容 Python 2.7,Python 3 保留了许多旧版功能。Python 2 的支持终止后,已经移除了一部分向下兼容层,剩余部分很快也会被移除。这几年,大部分兼容层都会触发 DeprecationWarning 警告。例如,2012 年发布 Python 3.3 后,用 collections.Mapping 替代 collections.abc.Mapping 就会触发 DeprecationWarning。
请用 -W default 命令行选项测试应用程序来查看 DeprecationWarning 和 PendingDeprecationWarning,甚至可以用 -W error 将它们视为错误。 可以用 警告过滤器 忽略来自第三方代码的警告。
Python 3.9 是最后一个提供 Python 2 向下兼容层的版本,以给予 Python 项目维护者更多时间移除 Python 2 支持,添加 Python 3.9 支持。
collections 模块中 抽象基类 的别名,例如 collections.abc.Mapping 的别名 collections.Mapping 会为向下兼容最后保留一个发行版。 这些内容将在 Python 3.10 中移除。
更通俗的说法是,请在 Python 开发模式 下运行测试,这样做有助于让代码兼容 Python 的后续版本。
注:一些前期已弃用的内容也将在此 Python 版本中移除。 详见 移除 一节。
新的特性¶
字典合并与更新运算符¶
合并 (|) 与更新 (|=) 运算符已被加入内置的 dict 类。 它们为现有的 dict.update 和 {**d1, **d2} 字典合并方法提供了补充。
示例:
>>> x = {"key1": "value1 from x", "key2": "value2 from x"}
>>> y = {"key2": "value2 from y", "key3": "value3 from y"}
>>> x | y
{'key1': 'value1 from x', 'key2': 'value2 from y', 'key3': 'value3 from y'}
>>> y | x
{'key2': 'value2 from x', 'key3': 'value3 from y', 'key1': 'value1 from x'}
新增用于移除前缀和后缀的字符串方法¶
增加了 str.removeprefix(prefix) 和 str.removesuffix(suffix) 用于方便地从字符串移除不需要的前缀或后缀。 也增加了 bytes, bytearray 以及 collections.UserString 的对应方法。 请参阅 PEP 616 了解详情。 (由 Dennis Sweeney 在 bpo-39939 中贡献。)
标准多项集中的类型标注泛型¶
在类型标注中现在你可以使用内置多项集类型例如 list 和 dict 作为通用类型而不必从 typing 导入对应的大写形式类型名 (例如 List 和 Dict)。 标准库中的其他一些类型现在同样也是通用的,例如 queue.Queue。
示例:
def greet_all(names: list[str]) -> None:
for name in names:
print("Hello", name)
详见 PEP 585。(由 Guido van Rossum、Ethan Smith 和 Batuhan Taşkaya 在 bpo-39481 中贡献。)
新的解析器¶
Python 3.9 使用于基于 PEG 的新解析器替代 LL(1)。 新解析器的性能与旧解析器大致相当,但 PEG 在设计新语言特性时的形式化比 LL(1) 更灵活。 我们将在 Python 3.10 及之后版本中开始使用这种灵活性。
ast 模块会使用新解析器并会生成与旧解析器一致的 AST。
在 Python 3.10 中,旧解析器将被删除因而所有依赖它的功能也将被删除(主要是 parser 模块,它早已被弃用)。 只有 在 Python 3.9 中,你可以使用命令行开关 (-X oldparser) 或环境变量 (PYTHONOLDPARSER=1) 切换回 LL(1) 解析器。
请参阅 PEP 617 了解详情。 (由 Guido van Rossum, Pablo Galindo 和 Lysandros Nikolaou 在 bpo-40334 中贡献。)
其他语言特性修改¶
__import__()现在会引发ImportError而不是ValueError,后者曾经会在相对导入超出其最高层级包时发生。 (由 Ngalim Siregar 在 bpo-37444 中贡献。)Python 现在会获取命令行中指定的脚本文件名 (例如:
python3 script.py) 的绝对路径:__main__模块的__file__属性将是一个绝对路径,而不是相对路径。 现在此路径在当前目录通过os.chdir()被改变后仍将保持有效。 作为附带效果,回溯信息也将在此情况下为__main__模块帧显示绝对路径。 (由 Victor Stinner 在 bpo-20443 中贡献。)在 Python 开发模式 以及 调试编译版本 中,现在会针对字符串编码和解码操作检查 encoding 和 errors 参数。 例如:
open(),str.encode()和bytes.decode()。默认设置下,为保证性能,errors 参数只会在第一次发生编码/解码错误时被检查,并且对于空字符串 encoding 参数有时会被忽略。 (由 Victor Stinner 在 bpo-37388 中贡献。)
"".replace("", s, n)对于所有非零的n都将返回s而不是空字符串。 现在此方法会与"".replace("", s)保持一致。 对于bytes和bytearray对象也有类似的修改。 (由 Serhiy Storchaka 在 bpo-28029 中贡献。)任何有效的表达式现在都可被用作 decorator。 在之前版本中,相关语法则更为严格。 请参阅 PEP 614 了解详情。 (由 Brandt Bucher 在 bpo-39702 中贡献。)
改进了
typing模块的帮助信息。 现在将为所有特殊形式和特殊通用别名 (例如Union和List) 显示文档字符串。 使用help()时传入通用别名例如List[int]将显示对应实体类型 (这里对应的是list) 的帮助信息。 (由 Serhiy Storchaka 在 bpo-40257 中贡献。)aclose()/asend()/athrow()的并行运行现在已被禁止,且ag_running现在会反映异步生成器的实际运行状态。 (由 Yury Selivanov 在 bpo-30773 中贡献。)调用
__iter__方法时发生的非预期错误不会再被in运算符以及operator的contains(),indexOf()和countOf()中的TypeError所掩盖。 (由 Serhiy Storchaka 在 bpo-40824 中贡献。)未加圆括号的 lambda 表达式不能再作为推导式和生成器表达式的
if子句的表达式部分。 请参阅 bpo-41848 和 bpo-43755 了解详情。
新增模块¶
zoneinfo¶
zoneinfo 模块为标准库引入了 IANA 时区数据库。 它添加了 zoneinfo.ZoneInfo,这是一个基于系统时区数据的实体 datetime.tzinfo 实现。
示例:
>>> from zoneinfo import ZoneInfo
>>> from datetime import datetime, timedelta
>>> # 夏令时
>>> dt = datetime(2020, 10, 31, 12, tzinfo=ZoneInfo("America/Los_Angeles"))
>>> print(dt)
2020-10-31 12:00:00-07:00
>>> dt.tzname()
'PDT'
>>> # 标准时
>>> dt += timedelta(days=7)
>>> print(dt)
2020-11-07 12:00:00-08:00
>>> print(dt.tzname())
PST
作为不附带 IANA 数据库的平台的一个回退数据源,以第一方软件包的形式发布了 tzdata 模块 -- 通过 PyPI 分发并由 CPython 核心团队维护。
参见
- PEP 615 -- 在标准库中支持 IANA 时区数据库
PEP 由 Paul Ganssle 撰写并实现
graphlib¶
添加了新的 graphlib 模块,其中包含 graphlib.TopologicalSorter 类来提供图的拓扑排序功能。 (由 Pablo Galindo, Tim Peters 和 Larry Hastings 在 bpo-17005 中贡献。)
改进的模块¶
ast¶
将 indent 选项添加到 dump(),这允许它产生多行缩进的输出。 (由 Serhiy Storchaka 在 bpo-37995 中贡献。)
添加了 ast.unparse() 作为 ast 模块中的一个函数,它可被用来反解析 ast.AST 对象并产生相应的代码字符串,当它被解析时将会产生一个等价的 ast.AST 对象。 (由 Pablo Galindo 和 Batuhan Taskaya 在 bpo-38870 中贡献。)
为 AST 节点添加了文档字符串,其中包含 ASDL 签名,可被用来构造对应的节点。 (由 Batuhan Taskaya 在 bpo-39638 中贡献。)
asyncio¶
出于重要的安全性考量,asyncio.loop.create_datagram_endpoint() 的 reuse_address 形参不再被支持。 这是由 UDP 中的套接字选项 SO_REUSEADDR 的行为导致的。 更多细节请参阅 loop.create_datagram_endpoint() 的文档。 (由 Kyle Stanley, Antoine Pitrou 和 Yury Selivanov 在 bpo-37228 中贡献。。)
添加了新的 coroutine shutdown_default_executor(),它可为等待 ThreadPoolExecutor 结束关闭的默认执行器安排关闭日程操作。 此外,asyncio.run() 已被更新以使用新的 coroutine。 (由 Kyle Stanley 在 bpo-34037 中贡献。)
添加了 asyncio.PidfdChildWatcher,这是一个 Linux 专属的子监视器实现,它负责轮询进程的文件描述符。 (bpo-38692)
添加了新的 coroutine asyncio.to_thread()。 它主要被用于在单独线程中运行 IO 密集型函数以避免阻塞事件循环,实质上就相当于是 run_in_executor() 的高层级版本,可直接接受关键字参数。 (由 Kyle Stanley 和 Yury Selivanov 在 bpo-32309 中贡献。)
当由于超时而取消任务时,asyncio.wait_for() 现在将会等待直到也在 timeout 值 <= 0 的情况下完成取消。 就像 timeout 值为正数时一样。 (由 Elvis Pranskevichus 在 bpo-32751 中贡献。)
现在当附带 ssl.SSLSocket 套接字调用不兼容的方法时 asyncio 会引发 TypeError。 (由 Ido Michael 在 bpo-37404 中贡献。)
compileall¶
为重复的 .pyc 文件添加了使用硬软件的可能性: hardlink_dupes 形参以及 --hardlink-dupes 命令行选项。 (由 Lumír 'Frenzy' Balhar 在 bpo-40495 中贡献。)
新增了一些用于在结果 .pyc 文件中操纵路径的选项: stripdir, prependdir, limit_sl_dest 形参以及 -s, -p, -e 命令行选项。 并使得为优化等级多次指定选项成为可能。 (由 Lumír 'Frenzy' Balhar 在 bpo-38112 中贡献。)
concurrent.futures¶
将新的 cancel_futures 形参添加到 concurrent.futures.Executor.shutdown(),可以取消尚未开始运行的所有挂起的 Future,而不必等待它们完成运行再关闭执行器。 (由 Kyle Stanley 在 bpo-39349 中贡献。)
从 ThreadPoolExecutor 和 ProcessPoolExecutor 中移除了守护线程。 这改善与与子解释器的兼容性及它们在关闭进程时的可预测性。 (由 Kyle Stanley 在 bpo-39812 中贡献。)
现在 ProcessPoolExecutor 中的工作进程仅会在没有可重用的空闲工作进程时按需产生。 这优化了启动开销并减少了由空闲工作进程导致的 CPU 时间损失。 (由 Kyle Stanley 在 bpo-39207 中贡献。)
curses¶
增加了 curses.get_escdelay(), curses.set_escdelay(), curses.get_tabsize() 以及 curses.set_tabsize() 函数。(由 Anthony Sottile 在 bpo-38312 中贡献。)
datetime¶
datetime.date 的 isocalendar() 以及 datetime.datetime 的 isocalendar() 等方法现在将返回 namedtuple() 而不是 tuple。 (由 Donghee Na 在 bpo-24416 中贡献。).)
distutils¶
upload 命令现在会创建 SHA2-256 和 Blake2b-256 哈希摘要。 它会在禁用 MD5 摘要的平台上跳过 MD5。 (由 Christian Heimes 在 bpo-40698 中贡献。)
fcntl¶
增加了 F_OFD_GETLK, F_OFD_SETLK 和 F_OFD_SETLKW 等常量。 (由 Donghee Na 在 bpo-38602 中贡献。)
ftplib¶
现在 FTP 和 FTP_TLS 当它们的构造器所给定的超时参数为零以防止创建非阻塞套接字时会引发 ValueError。 (由 Donghee Na 在 bpo-39259 中贡献。)
gc¶
当垃圾回收器进行某些复活对象的收集时(在终结器被执行之后这些对象可以在隔离周期之外被访问),不会阻止对所有仍然无法访问的对象的收集。 (由 Pablo Galindo 和 Tim Peters 在 bpo-38379 中贡献。)
增加了一个新的函数 gc.is_finalized() 用来检测一个对象是否已被垃圾回收器所终结。 (由 Pablo Galindo 在 bpo-39322 中贡献。)
hashlib¶
hashlib 模块现在会在可能的情况下使用 OpenSSL 中的 SHA3 哈希和 SHAKE XOF。 (由 Christian Heimes 在 bpo-37630 中贡献。)
内置的哈希模块现在可通过 ./configure --without-builtin-hashlib-hashes 禁用或通过 ./configure --with-builtin-hashlib-hashes=sha3,blake2 这样的形式有选择地启用以强制使用基于 OpenSSL 的实现。 (由 Christian Heimes 在 bpo-40479 中贡献)
http¶
添加 HTTP 状态码 103 EARLY_HINTS, 418 IM_A_TEAPOT 和 425 TOO_EARLY 到 http.HTTPStatus。 (由 Donghee Na 在 bpo-39509 以及 Ross Rhodes 在 bpo-39507 中贡献。)
IDLE 与 idlelib¶
添加了切换光标闪烁停止的选项。 (由 Zackery Spytz 在 bpo-4603 中贡献。)
Esc 键现在会关闭 IDLE 补全提示窗口。 (由 Johnny Najera 在 bpo-38944 中贡献。)
添加关键字到模块名称补全列表。 (由 Terry J. Reedy 在 bpo-37765 中贡献。)
3.9 维护版本中的新内容
使 IDLE 调用 sys.excepthook() (当启动时没有 '-n' )。用户钩子以前是被忽略的。 (由 Ken Hilton 在 bpo-43008 中贡献。)
上述修改已被反向移植到 3.8 维护发行版中。
重新安排设置对话框。 将常规选项卡分成 Windows 和 Shell/Ed 选项卡。 将扩展帮助菜单的帮助源移至扩展标签。为新选项留出空间,并缩短对话框。后者使对话框更适合小屏幕。 (由 Terry Jan Reedy 贡献于 bpo-40468 。) 将缩进空间设置从字体标签移到新的 Windows 标签。 (由 Mark Roseman 和 Terry Jan Reedy 在 bpo-33962 中提供)。
对 .pyi 文件应用语法高亮。 (由 Alex Waygood 和 Terry Jan Reedy 在 bpo-45447 中贡献。)
imaplib¶
现在 IMAP4 和 IMAP4_SSL 的构造器具有可选的 timeout 形参。 并且,现在 open() 方法也具有可选的 timeout 形参包含此修改。 IMAP4_SSL 和 IMAP4_stream 中被重载的方法也应用了此修改。 (由 Donghee Na 在 bpo-38615 中贡献。)
增加了 imaplib.IMAP4.unselect()。 imaplib.IMAP4.unselect() 会释放关联到选定邮箱的服务器资源并将服务器返回到已认证状态。 此命令会执行与 imaplib.IMAP4.close() 相同的动作,区别在于它不会从当前选定邮箱中永久地移除消息。 (由 Donghee Na 在 bpo-40375 中贡献。)
importlib¶
为提升与 import 语句的一致性,现在 importlib.util.resolve_name() 对于无效的相对导入尝试会引发 ImportError 而不是 ValueError。 (由 Ngalim Siregar 在 bpo-37444 中贡献。)
发布不可变模块对象的导入加载器除了发布单独模块以外现在也可以发布不可变包。 (由 Dino Viehland 在 bpo-39336 中贡献。)
添加了带有对包数据中子目录支持的 importlib.resources.files() 函数,与 importlib_resources 1.5 版的反向端口相匹配。(由 Jason R. Coombs 在 bpo-39791 中贡献。)
来自 importlib_metadata 1.6.1 版的已更新 importlib.metadata。
inspect¶
inspect.BoundArguments.arguments 已从 OrderedDict 改为常规字典。 (由 Inada Naoki 在 bpo-36350 和 bpo-39775 中贡献。)
ipaddress¶
ipaddress 现在支持 IPv6 作用域地址(即带有 %<scope_id> 前缀的 IPv6 地址)。
IPv6 作用域地址可使用 ipaddress.IPv6Address 来解析。 作用域的区 ID 如果存在,可通过 scope_id 属性来获取。 (由 Oleksandr Pavliuk 在 bpo-34788 中贡献。)
从 Python 3.9.5 开始 ipaddress 模块不再接受 IPv4 地址字符串中有任何前缀的零。 (由 Christian Heimes 在 bpo-36384 中贡献。)
math¶
对 math.gcd() 函数进行了扩展以处理多个参数。 在之前版本中,它只支持两个参数。 (由 Serhiy Storchaka 在 bpo-39648 中贡献。)
增加了 math.lcm(): 返回指定参数的最小公倍数。 (由 Mark Dickinson, Ananthakrishnan 和 Serhiy Storchaka 在 bpo-39479 和 bpo-39648 中贡献。)
增加了 math.nextafter(): 返回从 x 往 y 方向的下一个浮点数值。 (由 Victor Stinner 在 bpo-39288 中贡献。)
增加了 math.ulp(): 返回一个浮点数的最小有效比特位。 (由 Victor Stinner 在 bpo-39310 中贡献。)
multiprocessing¶
multiprocessing.SimpleQueue 类新增了 close() 方法用来显式地关闭队列。 (由 Victor Stinner 在 bpo-30966 中贡献。)
nntplib¶
现在 NNTP 和 NNTP_SSL 当它们的构造器所给定的超时值为零以防止创建非阻塞套接字时会引发 ValueError。 (由 Donghee Na 在 bpo-39259 中贡献。)
os¶
增加了 CLD_KILLED 和 CLD_STOPPED 作为 si_code。 (由 Donghee Na 在 bpo-38493 中贡献。)
对外公开了 Linux 专属的 os.pidfd_open() (bpo-38692) 和 os.P_PIDFD (bpo-38713) 用于文件描述符的进程管理。
现在 os.unsetenv() 函数在 Windows 上也已可用。 (由 Victor Stinner 在 bpo-39413 中贡献。)
现在 os.putenv() 和 os.unsetenv() 函数将总是可用。 (由 Victor Stinner 在 bpo-39395 中贡献。)
增加了 os.waitstatus_to_exitcode() 函数:将等待状态转换为退出码。 (由 Victor Stinner 在 bpo-40094 中贡献。)
pathlib¶
增加了 pathlib.Path.readlink(),其行为类似于 os.readlink()。 (由 Girts Folkmanis 在 bpo-30618 中贡献。)
pdb¶
在 Windows 上 Pdb 现在支持 ~/.pdbrc。 (由 Tim Hopper 和 Dan Lidral-Porter 在 bpo-20523 中贡献。)
poplib¶
现在 POP3 和 POP3_SSL 当它们的构造器所给定的超时参数为零以防止创建非阻塞套接字时会引发 ValueError。 (由 Donghee Na 在 bpo-39259 中贡献。)
pprint¶
现在 pprint 能美化打印 types.SimpleNamespace。 (由 Carl Bordum Hansen 在 bpo-37376 中贡献。)
pydoc¶
文档字符串的显示现在不仅针对类、函数、方法等,也针对任何具有自己的 __doc__ 属性的对象。 (由 Serhiy Storchaka 在 bpo-40257 中贡献。)
random¶
增加了新的 random.Random.randbytes 方法:生成随机字节串。 (由 Victor Stinner 在 bpo-40286 中贡献。)
signal¶
对外公开了 Linux 专属的 signal.pidfd_send_signal() 用于向使用文件描述符而非 pid 的进程发送信号。 (bpo-38712)
smtplib¶
现在 SMTP 和 SMTP_SSL 当它们的构造器所给定的超时参数为零以防止创建非阻塞套接字时会引发 ValueError。 (由 Donghee Na 在 bpo-39259 中贡献。)
现在 LMTP 构造器具有一个可选的 timeout 形参。 (由 Donghee Na 在 bpo-39329 中贡献。)
socket¶
现在 socket 模块会在 Linux 4.1 或更高版本上导出 CAN_RAW_JOIN_FILTERS 常量。 (由 Stefan Tatschner 和 Zackery Spytz 在 bpo-25780 中贡献。)
现在 socket 模块会在受到支持的平台上支持 CAN_J1939 协议。 (由 Karl Ding 在 bpo-40291 中贡献。)
现在 socket 模块具有 socket.send_fds() 和 socket.recv_fds() 函数。 (由 Joannah Nanjekye, Shinya Okano 和 Victor Stinner 在 bpo-28724 中贡献。)
time¶
在 AIX 上,现在 thread_time() 是使用具有纳秒级精度的 thread_cputime() 实现,而不再是只有 10 毫秒精度的 clock_gettime(CLOCK_THREAD_CPUTIME_ID)。 (由 Batuhan Taskaya 在 bpo-40192 中贡献)
sys¶
新增 sys.platlibdir 属性:平台专属库目录的名称。 它被用于构建标准库的路径和已安装扩展模块的路径。 它在大多数平台上等于 "lib"。 在 Fedora 和 SuSE 上,对于 64 位平台它将等于 "lib64"。 (由 Jan Matějek, Matěj Cepl, Charalampos Stratakis 和 Victor Stinner 在 bpo-1294959 中贡献。)
在之前版本中,sys.stderr 在非交互模式时是带块缓冲的。 现在 stderr 默认总是带行缓冲的。 (由 Jendrik Seipp 在 bpo-13601 中贡献。)
tracemalloc¶
增加了 tracemalloc.reset_peak() 用于将跟踪的内存块峰值大小设为当前大小,以测量特定代码段的峰值。 (由 Huon Wilson 在 bpo-40630 中贡献。)
typing¶
PEP 593 引入了一种 typing.Annotated 类型以使用上下文专属的元数据来装饰现有类型,并将新的 include_extras 形参添加到 typing.get_type_hints() 以在运行时访问元数据。 (由 Till Varoquaux 和 Konstantin Kashin 贡献。)
unicodedata¶
Unicode 数据库已更新到 13.0.0 版。 (bpo-39926)。
venv¶
由 venv 所提供的激活脚本现在总是会使用 __VENV_PROMPT__ 设置的值来一致地指明它们的自定义提示符。 在之前版本中某些脚本会无条件地使用 __VENV_PROMPT__,而另一些脚本只在其恰好被设置时(这是默认情况)才会使用,还有的脚本会改用 __VENV_NAME__。 (由 Brett Cannon 在 bpo-37663 中贡献。)
xml¶
当把 xml.etree.ElementTree 序列化为 XML 文件时属性内部的空白字符现在将被保留。 不同的行结束符不会再被正规化为 "n"。 这是对于如何解读 XML 规范 2.11 节的相关讨论的最终结果。 (由 Mefistotelis 在 bpo-39011 中贡献。)
性能优化¶
优化了在推导式中为临时变量赋值的惯用方式。 现在推导式中的
for y in [expr]会与简单赋值语句y = expr一样快速。 例如:sums = [s for s in [0] for x in data for s in [s + x]]
不同于
:=运算符,这个惯用方式不会使变量泄露到外部作用域中。(由 Serhiy Storchaka 在 bpo-32856 中贡献。)
优化了多线程应用中的信号处理。 如果一个线程不是获得信号的主线程,字节码求值循环不会在每条字节码指令上被打断以检查无法被处理的挂起信号。 只有主解释器的主线程能够处理信号。
在之前版本中,字节码求值循环会在每条指令上被打断直到主线程处理了信号。 (由 Victor Stinner 在 bpo-40010 上贡献。)
在 FreeBSD 上使用
closefrom()优化了subprocess模块。 (由 Ed Maste, Conrad Meyer, Kyle Evans, Kubilay Kocak 和 Victor Stinner 在 bpo-38061 中贡献。)现在
PyLong_FromDouble()对于 long 范围内值的执行速度提升至 1.87 倍。 (由 Sergey Fedoseev 在 bpo-37986 中贡献。)多个 Python 内置类型 (
range,tuple,set,frozenset,list,dict) 现在通过使用 PEP 590 vectorcall 协议得到加速。 (由 Donghee Na, Mark Shannon, Jeroen Demeyer 和 Petr Viktorin 在 bpo-37207 中贡献。)当另一集合远大于基础集合的情况下优化了
difference_update()的性能。 (由 Evgeny Kapun 提议,由 Michele Orrù 在 bpo-8425 中贡献代码。)Python 的小对象分配器 (
obmalloc.c) 现在允许(至多)一个空位可用于立即重用,而不必将其返回给 OS。 这可以防止简单循环中的多余消耗,在每次迭代中可以创建和销毁全新的空位。 (由 Tim Peters 在 bpo-37257 中贡献。)浮点数运算中的 floor division 现在会有更好的性能。 并且此运算的
ZeroDivisionError消息也获得了更新。 (由 Donghee Na 在 bpo-39434 中贡献。)使用 UTF-8 和 ascii 编解码器解码短 ASCII 字符串现在会加快大约 15%。 (由 Inada Naoki 在 bpo-37348 中贡献。)
以下是对从 Python 3.4 到 Python 3.9 的提升提升情况的总结:
Python version 3.4 3.5 3.6 3.7 3.8 3.9
-------------- --- --- --- --- --- ---
Variable and attribute read access:
read_local 7.1 7.1 5.4 5.1 3.9 3.9
read_nonlocal 7.1 8.1 5.8 5.4 4.4 4.5
read_global 15.5 19.0 14.3 13.6 7.6 7.8
read_builtin 21.1 21.6 18.5 19.0 7.5 7.8
read_classvar_from_class 25.6 26.5 20.7 19.5 18.4 17.9
read_classvar_from_instance 22.8 23.5 18.8 17.1 16.4 16.9
read_instancevar 32.4 33.1 28.0 26.3 25.4 25.3
read_instancevar_slots 27.8 31.3 20.8 20.8 20.2 20.5
read_namedtuple 73.8 57.5 45.0 46.8 18.4 18.7
read_boundmethod 37.6 37.9 29.6 26.9 27.7 41.1
Variable and attribute write access:
write_local 8.7 9.3 5.5 5.3 4.3 4.3
write_nonlocal 10.5 11.1 5.6 5.5 4.7 4.8
write_global 19.7 21.2 18.0 18.0 15.8 16.7
write_classvar 92.9 96.0 104.6 102.1 39.2 39.8
write_instancevar 44.6 45.8 40.0 38.9 35.5 37.4
write_instancevar_slots 35.6 36.1 27.3 26.6 25.7 25.8
Data structure read access:
read_list 24.2 24.5 20.8 20.8 19.0 19.5
read_deque 24.7 25.5 20.2 20.6 19.8 20.2
read_dict 24.3 25.7 22.3 23.0 21.0 22.4
read_strdict 22.6 24.3 19.5 21.2 18.9 21.5
Data structure write access:
write_list 27.1 28.5 22.5 21.6 20.0 20.0
write_deque 28.7 30.1 22.7 21.8 23.5 21.7
write_dict 31.4 33.3 29.3 29.2 24.7 25.4
write_strdict 28.4 29.9 27.5 25.2 23.1 24.5
Stack (or queue) operations:
list_append_pop 93.4 112.7 75.4 74.2 50.8 50.6
deque_append_pop 43.5 57.0 49.4 49.2 42.5 44.2
deque_append_popleft 43.7 57.3 49.7 49.7 42.8 46.4
Timing loop:
loop_overhead 0.5 0.6 0.4 0.3 0.3 0.3
以上结果是由以下变量访问基准测试脚本所生成的: Tools/scripts/var_access_benchmark.py。 该基准测试脚本以纳秒为单位显示时间。 基准测试数据是在一块 Intel® Core™ i7-4960HQ 处理器 运行从 python.org 获取的 macOS 64 位编译版本所得到的。
弃用¶
distutils 的
bdist_msi命令现在已被弃用,请改用bdist_wheel(wheel 包)。 (由 Hugo van Kemenade 在 bpo-39586 中贡献。)目前
math.factorial()接受具有非负整数值的float实例 (如5.0)。 对于非整数和负浮点数它会引发ValueError。 此行为现在已被弃用。 在未来的 Python 版本中对所有浮点数都将引发TypeError。 (由 Serhiy Storchaka 在 bpo-37315 中贡献。)parser和symbol模块已被弃用并将在未来的 Python 版本中移除。 对于大多数使用场景,用户都可以使用ast模块来控制抽象语法树 (AST) 的生成和编译阶段。公有 C API 函数
PyParser_SimpleParseStringFlags(),PyParser_SimpleParseStringFlagsFilename(),PyParser_SimpleParseFileFlags()和PyNode_Compile()已被弃用并将在 Python 3.10 中与旧的解析器一起被移除。在布尔运算中使用
NotImplemented已被弃用,因为它几乎必定是不正确的富比较运算符实现的结果。 它将在未来的 Python 版本中引发TypeError。 (由 Josh Rosenberg 在 bpo-35712 中贡献。)random模块目前接受任何可哈希类型作为可能的种子值。 不幸的是,某些这样的类型并不保证具有确定性的哈希值。 在 Python 3.9 之后,该模块将限定其种子值为None,int,float,str,bytes以及bytearray。打开
GzipFile文件用于写入而不指定 mode 参数的特性已被弃用。 在未来的 Python 版本中将总是默认打开用于读取。 在打开文件用于写入时请指定 mode 参数以静默相关警告信息。 (由 Serhiy Storchaka 在 bpo-28286 中贡献。)弃用了
_tkinter.TkappType的split()方法而改用splitlist()方法,它具有更为稳定并且可预测的行为。 (由 Serhiy Storchaka 在 bpo-38371 中贡献。)将协程对象显式传递给
asyncio.wait()的做法已被弃用并且将在 3.11 版中被移除。 (由 Yury Selivanov 和 Kyle Stanley 在 bpo-34790 中贡献。)binhex4 和 hexbin4 标准现已被弃用。
binhex模块和下列binascii函数现已被弃用:b2a_hqx(),a2b_hqx()rlecode_hqx(),rledecode_hqx()
(由 Victor Stinner 在 bpo-39353 中贡献。)
ast类slice,Index和ExtSlice被视为已弃用并将在未来的 Python 版本中被移除。 应当使用value本身而不再是Index(value)。 应当使用Tuple(slices, Load())而不再是ExtSlice(slices)。 (由 Serhiy Storchaka 在 bpo-34822 中贡献。)ast类Suite,Param,AugLoad和AugStore被视为已弃用并将在未来的 Python 版本中被移除。 它们不会被解析器所生成且不会被 Python 3 中的代码生成器所接受。 (由 Batuhan Taskaya 在 bpo-39639 和 bpo-39969 中以及 Serhiy Storchaka 在 bpo-39988 中贡献。)PyEval_InitThreads()和PyEval_ThreadsInitialized()函数现已被弃用并将在 Python 3.11 中移除。 现在调用PyEval_InitThreads()将没有任何效果。 自 Python 3.7 起 GIL 会由Py_Initialize()初始化。(由 Victor Stinner 在 bpo-39877 中贡献。)传入
None作为shlex.split()函数的第一个参数的做法已被弃用。 (由 Zackery Spytz 在 bpo-33262 中贡献。)smtpd.MailmanProxy()现在已被弃用,因为它在没有外部模块mailman的情况下无法使用。 (由 Samuel Colvin 在 bpo-35800 中贡献。)现在
lib2to3模块将发出PendingDeprecationWarning。 Python 3.9 已切换到 PEG 解析器 (参见 PEP 617),而 Python 3.10 会包括 lib2to3 的 LL(1) 解析器无法解析的新语法。lib2to3模块可能在未来的 Python 版本中被移出标准库。 请考虑使用第三方替代库例如 LibCST 或 parso。 (由 Carl Meyer 在 bpo-40360 中贡献。)random.shuffle()的 random 形参已被弃用。 (由 Raymond Hettinger 在 bpo-40465 中贡献。)
移除¶
unittest.mock.__version__上的错误版本已被移除。nntplib.NNTP:xpath()和xgtitle()方法已被移除。 这些方法自 Python 3.3 起已被弃用。 一般来说,这些扩展都不再为 NNTP 服务管理程序所支持或启用。 对于xgtitle(),请改用nntplib.NNTP.descriptions()或nntplib.NNTP.description()。 (由 Donghee Na 在 bpo-39366 中贡献。)array.array:tostring()和fromstring()方法已被移除。 它们分别是tobytes()和frombytes()的别名,自 Python 3.2 起已被弃用。 (由 Victor Stinner 在 bpo-38916 中贡献。)未写入文档的
sys.callstats()函数已被移除。 自 Python 3.7 起它就已被弃用并且总是会返回None。 它需要一个特殊的构建选项CALL_PROFILE而该选项在 Python 3.7 中已被移除。 (由 Victor Stinner 在 bpo-37414 中贡献。)sys.getcheckinterval()和sys.setcheckinterval()函数已被移除。 它们自 Python 3.2 起已被弃用。 请改用sys.getswitchinterval()和sys.setswitchinterval()。 (由 Victor Stinner 在 bpo-37392 中贡献。)C 函数
PyImport_Cleanup()已被移除。 它原本的文档为: "清空模块表。 仅限内部使用。" (由 Victor Stinner 在 bpo-36710 中贡献。)_dummy_thread和dummy_threading模块已被移除。 这些模块自 Python 3.7 起已被弃用,它们需要线程支持。 (由 Victor Stinner 在 bpo-37312 中贡献。)aifc.openfp()alias toaifc.open(),sunau.openfp()alias tosunau.open(), andwave.openfp()alias towave.open()have been removed. They were deprecated since Python 3.7. (Contributed by Victor Stinner in bpo-37320.)threading.Thread的isAlive()方法已被移除。 它自 Python 3.8 起即已被弃用。 请改用is_alive()。 (由 Donghee Na 在 bpo-37804 中贡献。)ElementTree模块中ElementTree和Element等类的getchildren()和getiterator()方法已被移除。 它们在 Python 3.2 中已被弃用。 请使用iter(x)或list(x)替代x.getchildren()并用x.iter()或list(x.iter())替代x.getiterator()。 (由 Serhiy Storchaka 在 bpo-36543 中贡献。)旧的
plistlibAPI 已被移除,它自 Python 3.4 起已被弃用。 请使用load(),loads(),dump()和dumps()等函数。 此外,use_builtin_types 形参已被移除而总是会使用bytes对象。 (由 Jon Janzen 在 bpo-36409 中贡献。)C 函数
PyGen_NeedsFinalizing已被移除。 它未被写入文档、未经测试,且自 PEP 442 实现之后未在 CPython 的任何地方被使用。 由 Joannah Nanjekye 提供补丁。 (由 Joannah Nanjekye 在 bpo-15088 中贡献。)自 Python 3.1 起被弃用的别名
base64.encodestring()和base64.decodestring()已被移除:请改用base64.encodebytes()和base64.decodebytes()。 (由 Victor Stinner 在 bpo-39351 中贡献。)fractions.gcd()函数已被移除,它自 Python 3.5 起被弃用 (bpo-22486):请改用math.gcd()。 (由 Victor Stinner 在 bpo-39350 中贡献。)bz2.BZ2File的 buffering 形参已被移除。 它自 Python 3.0 起即被忽略,使用它将会引发DeprecationWarning。 请传入一个打开文件对象来控制文件的打开方式。 (由 Victor Stinner 在 bpo-39357 中贡献。)json.loads()的 encoding 形参已被移除。 它在 Python 3.1 中已被弃用和忽略;自 Python 3.8 起使用它将会引发DeprecationWarning。 (由 Inada Naoki 在 bpo-39377 中贡献。)with (await asyncio.lock):和with (yield from asyncio.lock):语句已不再受支持,请改用async with lock。asyncio.Condition和asyncio.Semaphore也同样如此。 (由 Andrew Svetlov 在 bpo-34793 中贡献。)sys.getcounts()函数,-X showalloccount命令行选项以及 C 结构体PyConfig的show_alloc_count字段已被移除。 它们需要定义了COUNT_ALLOCS宏的 Python 编译版本。 (由 Victor Stinner 在 bpo-39489 中贡献。)typing.NamedTuple类的_field_types属性已被移除。 它自 Python 3.8 起已被弃用。 请改用__annotations__属性。 (由 Serhiy Storchaka 在 bpo-40182 中贡献。)symtable.SymbolTable.has_exec()方法已被移除。 它自 2006 年起已被弃用,当被调用时只会返回False。 (由 Batuhan Taskaya 在 bpo-40208 中贡献。)asyncio.Task.current_task()和asyncio.Task.all_tasks()已被移除。 它们自 Python 3.7 起即已被弃用,你可以改用asyncio.current_task()和asyncio.all_tasks()。 (由 Rémi Lapeyre 在 bpo-40967 中贡献。))html.parser.HTMLParser类的unescape()方法已被移除(它自 Python 3.4 起已被弃用)。 应当使用html.unescape()来将字符引用转换为对应的 unicode 字符。
移植到 Python 3.9¶
本节列出了先前描述的更改以及可能需要更改代码的其他错误修正.
Python API 的变化¶
__import__()和importlib.util.resolve_name()现在会引发ImportError取代之前所引发的ValueError。 捕获特定异常类型并同时支持 Python 3.9 和更早版本的调用者将需要使用except (ImportError, ValueError):来同时捕获两者。venv激活脚本不再将__VENV_PROMPT__被设为""的情况作为特例处理。select.epoll.unregister()方法不会再忽略EBADF错误。 (由 Victor Stinner 在 bpo-39239 中贡献。)bz2.BZ2File的 compresslevel 形参已成为仅限关键字形参,因为 buffering 形参已被移除。 (由 Victor Stinner 在 bpo-39357 中贡献。)简化了 AST 的抽取操作。 简单索引将以它们的值来代表,扩展切片将以元组形式来代表。
Index(value)将返回value本身,ExtSlice(slices)将返回Tuple(slices, Load())。 (由 Serhiy Storchaka 在 bpo-34822 中贡献。)当使用了
-E或-I命令行参数时importlib模块现在会忽略PYTHONCASEOK环境变量。encoding 形参已作为仅限关键字形参被添加到
ftplib.FTP和ftplib.FTP_TLS类,并且默认编码格式由 Latin-1 改为 UTF-8 以遵循 RFC 2640。asyncio.loop.shutdown_default_executor()已被添加到AbstractEventLoop,这意味着继承自它的替代事件循环应当定义此方法。 (由 Kyle Stanley 在 bpo-34037 中贡献。)更新了
__future__模块中未来特性旗标的常量值以防止与编译器旗标相冲突。 在之前版本中PyCF_ALLOW_TOP_LEVEL_AWAIT会与CO_FUTURE_DIVISION发生冲突。 (由 Batuhan Taskaya 在 bpo-39562 中贡献。)array('u')现在使用wchar_t作为 C 类型而不是Py_UNICODE。 这一更改不会影响其行为,因为自 Python 3.3 起Py_UNICODE就是wchar_t的别名。 (由 Inada Naoki 在 bpo-34538 中贡献。)现在
logging.getLogger()API 当传入名称'root'时将返回根日志记录器,而在之前它则返回一个名为'root'的非根日志记录器。 这可能会影响到用户代码明确希望使用一个名为'root'的非根日志记录器,或在某个名为'root.py'的最高层级模块中使用logging.getLogger(__name__)来实例化日志记录器的情况。 (由 Vinay Sajip 在 bpo-37742 中贡献。)现在
PurePath的拆分处理在传入str或PurePath的实例以外的对象时将返回NotImplemented而不是引发TypeError。 这将允许创建不继承自上述类型的兼容类。 (由 Roger Aiudi 在 bpo-34775 中贡献。)从 Python 3.9.5 开始
ipaddress模块不再接受 IPv4 地址字符串中有任何前缀的零。 前缀的零有歧义且会被某些库解读为八进制数字。 例如旧版函数socket.inet_aton()就瘵前缀的零视为八进制数字。 最新inet_pton()的 glibc 实现则不接受任何前缀的零。 (由 Christian Heimes 在 bpo-36384 中贡献)。codecs.lookup()现在会以与encodings.normalize_encoding()相同的方式正规化编码格式名称,不同之处在于codecs.lookup()还会将名称转换为小写形式。 例如"latex+latin1"编写格式名称现在会被正规化为"latex_latin1"。 (由 Jordon Xu 在 bpo-37751 中贡献。)
C API 的变化¶
Instances of 堆分配类型 的实例(例如使用
PyType_FromSpec()和类似 API 创建的实例)自 Python 3.8 起会带有一个对其类型对象的引用。 正如 Python 3.8 的 "C API 的变化" 部分所述,对于大多数情况来说,这应当不会有任何副作用,但对于具有自定义tp_traverse函数的类型来说,则要确保所有堆分配类型的自定义tp_traverse函数可访问对象的类型。示例:
int foo_traverse(foo_struct *self, visitproc visit, void *arg) { // 遍历函数的其余部分 #if PY_VERSION_HEX >= 0x03090000 // 这在 Python 3.9 之前不需要 (Python 问题报告 35810 和 40217) Py_VISIT(Py_TYPE(self)); #endif }
如果你的遍历函数委托给了其基类(或其他类)的
tp_traverse,则要确保Py_TYPE(self)只被访问一次。 请注意应当只有 堆类型 可访问tp_traverse中的类型。举例来说,如果你的
tp_traverse函数包括以下内容:base->tp_traverse(self, visit, arg)
则要添加:
#if PY_VERSION_HEX >= 0x03090000 // 这在 Python 3.9 之前是不需要的 (bpo-35810 和 bpo-40217) if (base->tp_flags & Py_TPFLAGS_HEAPTYPE) { // 一个堆类型的 tp_traverse 已经访问了 Py_TYPE(self) } else { Py_VISIT(Py_TYPE(self)); } #else
PyEval_CallObject,PyEval_CallFunction,PyEval_CallMethod和PyEval_CallObjectWithKeywords函数已被弃用。 请改用PyObject_Call()及其变化形式。 (详情参见 bpo-29548。)
CPython 字节码的改变¶
添加了
LOAD_ASSERTION_ERROR操作码用于处理assert语句。 在之前的版本中,如果AssertionError异常被屏蔽则 assert 语句将不能正常运作。 (由 Zackery Spytz 在 bpo-34880 中贡献。)COMPARE_OP操作码已被拆分为四个单独指令:COMPARE_OP用于富比较IS_OP用于 'is' 和 'is not' 检测CONTAINS_OP用于 'in' 和 'not in' 检测JUMP_IF_NOT_EXC_MATCH用于检查 'try-except' 语句中的异常。
(由 Mark Shannon 在 bpo-39156 中贡献。)
构建的改变¶
向
configure脚本添加了--with-platlibdir选项:平台专属库目录的名称,保存在新的sys.platlibdir属性中。 请参阅sys.platlibdir属性了解更多信息。 (由 Jan Matějek, Matěj Cepl, Charalampos Stratakis 和 Victor Stinner 在 bpo-1294959 中贡献。)COUNT_ALLOCS特殊构建宏已被移除。 (由 Victor Stinner 在 bpo-39489 中贡献。)在非 Windows 平台上,现在需要用
setenv()和unsetenv()函数构建 Python。 (由 Victor Stinner 在 bpo-39395 中贡献。)在非 Windows 平台上,创建
bdist_wininst安装器现在已不受官方支持。 (详情参见 bpo-10945。)当在 macOS 上用源代码编译 Python 时,
_tkinter现在会链接到非系统的 Tcl 和 Tk 框架,如果它们被安装到/Library/Frameworks的话,就如在较旧的 macOS 发行版上的情况一样。 如果通过使用--enable-universalsdk或-isysroot显式地配置了 macOS SDK,则只会搜索 SDK 本身。 默认行为仍然可以通过--with-tcltk-includes和--with-tcltk-libs来覆盖。 (由 Ned Deily 在 bpo-34956 中贡献。)Python 现在可以针对 Windows 10 ARM64 进行编译。 (由 Steve Dower 在 bpo-33125 中贡献。)
现在当使用
--pgo时一些单独的测试会被跳过。 这些测试显著增加了 PGO 任务的时间并且可能无助于提升最终可执行文件的优化程度。 这样能使任务加速大约 15 倍。 运行完整的单元测试是很慢的。 这个改变可能导致优化程序稍差的构建,因为将被执行的代码分支不够多。 如果你愿意等待更缓慢的构建,则可以使用./configure [..] PROFILE_TASK="-m test --pgo-extended"来恢复旧版本的行为。 我们不保证哪个 PGO 任务集能产生更快的构建。 关心此问题的用户应当自行运行相关基准测试,因为结果可能取决于具体环境、工作负载以及编译工具链。 (请参阅 bpo-36044 和 bpo-37707 了解详情。)
C API 的改变¶
新的特性¶
PEP 573: 添加了
PyType_FromModuleAndSpec()用于将模块与类关联;添加了PyType_GetModule()和PyType_GetModuleState()用于获取模块及其状态;以及PyCMethod和METH_METHOD用于允许一个方法访问其定义所在的类。 (由 Marcel Plch 和 Petr Viktorin 在 d:issue:38787 中贡献。)增加了
PyFrame_GetCode()函数:获取帧代码。 增加了PyFrame_GetBack()函数:获取帧的下一个外部帧。 (由 Victor Stinner 在 bpo-40421 中贡献。)将
PyFrame_GetLineNumber()添加到受限的 C API。 (由 Victor Stinner 在 bpo-40421 中贡献。)增加了
PyThreadState_GetInterpreter()和PyInterpreterState_Get()函数用于获取解释器。 增加了PyThreadState_GetFrame()函数用于获取 Python 线程状态的当前帧。 增加了PyThreadState_GetID()函数:获取 Python 线程状态的唯一标识符。 (由 Victor Stinner 在 bpo-39947 中贡献。)将新的公有
PyObject_CallNoArgs()函数添加到 C API,该函数可不带任何参数调用一个 Python 可调用对象。 它是不带参数调用 Python 可调用对象最有效率的方式。 (由 Victor Stinner 在 bpo-37194 中贡献。)受限 C API 中的改变(如果定义了
Py_LIMITED_API宏):提供
Py_EnterRecursiveCall()和Py_LeaveRecursiveCall()作为常规函数用于受限 API。 在之前版本中是使用宏定义,但这些宏不能与无法访问PyThreadState.recursion_depth字段的受限 C API 一同编译(该结构体在受限 C API 中是不透明的)。PyObject_INIT()和PyObject_INIT_VAR()已成为常规“不透明”函数以隐藏实现细节。
增加了
PyModule_AddType()函数以协助将类型加入到模块中。 (由 Donghee Na 在 bpo-40024 中贡献。)将
PyObject_GC_IsTracked()和PyObject_GC_IsFinalized()函数添加到公有 API 以允许分别查询 Python 对象当前是正在被追踪还是已经被垃圾回收器所终结。 (由 Pablo Galindo Salgado 在 bpo-40241 中贡献。)增加了
_PyObject_FunctionStr()以获取函数型对象的用户友好的表示形式。 (由 Jeroen Demeyer 在 bpo-37645 中修正。)增加了
PyObject_CallOneArg()用于调用具有一个位置参数的对象(由 Jeroen Demeyer 在 bpo-37483 中修正。)
移植到 Python 3.9¶
PyInterpreterState.eval_frame(PEP 523) 现在需要有新的强制性形参 tstate (PyThreadState*)。 (由 Victor Stinner 在 bpo-38500 中贡献。)扩展模块:
PyModuleDef的m_traverse,m_clear和m_free等函数在模块状态被请求但尚未被分配时将不会再被调用。 这种情况出现在模块被创建之后且模块被执行 (Py_mod_exec函数) 之前的时刻。 更准确地说,这些函数在m_size大于 0 并且模块状态(即PyModule_GetState()的返回值)为NULL时将不会被调用。没有模块状态的扩展模块 (
m_size <= 0) 不会受到影响。现在如果
Py_AddPendingCall()是在子解释器内部被调用,该函数会被排入子解释器的调用日程,而不是由主解释器调用。 每个子解释器现在都拥有它们自己的调用日程列表。 (由 Victor Stinner 在 bpo-39984 中贡献。)当
-E选项被使用 (如果PyConfig.use_environment设为0) 时将不再使用 Windows 注册表来初始化sys.path。 这会影响在 Windows 上嵌入 Python 的操作。 (由 Zackery Spytz 在 bpo-8901 中贡献。)全局变量
PyStructSequence_UnnamedField现在为常量并且指向一个字符串常量。 (由 Serhiy Storchaka 在 bpo-38650 中贡献。)现在
PyGC_Head结构体是不透明的。 它只在内部 C API (pycore_gc.h) 中定义。 (由 Victor Stinner 在 bpo-40241 中贡献。)Py_UNICODE_COPY,Py_UNICODE_FILL,PyUnicode_WSTR_LENGTH,PyUnicode_FromUnicode(),PyUnicode_AsUnicode(),_PyUnicode_AsUnicode和PyUnicode_AsUnicodeAndSize()在 C 中已被标记为弃用。 自 Python 3.3 起它们就已被 PEP 393 弃用。 (由 Inada Naoki 在 bpo-36346 中贡献。)Py_FatalError()函数会被一个自动记录当前函数名称的宏所替代,除非已定义了Py_LIMITED_API宏。 (由 Victor Stinner 在 bpo-39882 中贡献。)vectorcall 协议现在要求调用者只传入字符串作为键名。 (请参阅 bpo-37540 了解详情。)
多个宏和函数的实现细节现在已被隐藏:
PyObject_IS_GC()宏已被转换为函数。PyObject_NEW()宏已成为PyObject_New宏的别名,而PyObject_NEW_VAR()宏已成为PyObject_NewVar宏的别名。 它们不再直接访问PyTypeObject.tp_basicsize成员。PyObject_GET_WEAKREFS_LISTPTR()宏已被转换为函数:该宏会直接访问PyTypeObject.tp_weaklistoffset成员。PyObject_CheckBuffer()宏已被转换为函数:该宏会直接访问PyTypeObject.tp_as_buffer成员。现在
PyIndex_Check()总是被声明为不透明函数以隐藏实现细节;PyIndex_Check()宏已被移除。 该宏会直接访问PyTypeObject.tp_as_number成员。
(详情请参阅 bpo-40170。)
移除¶
pyfpe.h的PyFPE_START_PROTECT()和PyFPE_END_PROTECT()宏已从受限的 C API 中被排除。 (由 Victor Stinner 在 bpo-38835 中贡献。)PyTypeObject 的
tp_print空位已被移除。 它在 Python 2.7 及之前的版本中被用来将对象打印到文件。 自 Python 3.0 起,它已被忽略并且不再使用。 (由 Jeroen Demeyer 在 bpo-36974 中贡献。)受限 C API 中的改变(如果定义了
Py_LIMITED_API宏):以下函数已从受限 C API 中排除:
PyThreadState_DeleteCurrent()(由 Joannah Nanjekye 在 bpo-37878 中贡献。)_Py_CheckRecursionLimit_Py_NewReference()_Py_ForgetReference()_PyTraceMalloc_NewReference()_Py_GetRefTotal()在受限 C API 中从未使用的垃圾箱机制。
PyTrash_UNWIND_LEVELPy_TRASHCAN_BEGIN_CONDITIONPy_TRASHCAN_BEGINPy_TRASHCAN_ENDPy_TRASHCAN_SAFE_BEGINPy_TRASHCAN_SAFE_END
已将下列函数和定义移至内部 C API:
_PyDebug_PrintTotalRefs()_Py_PrintReferences()_Py_PrintReferenceAddresses()_Py_tracemalloc_config_Py_AddToAllObjects()(Py_TRACE_REFS构建专属)
移除了
_PyRuntime.getframe钩子并移除了_PyThreadState_GetFrame宏,该宏是_PyRuntime.getframe的一个别名。 它们仅由内部 C API 对外公开。 同样地移除了PyThreadFrameGetter类型。 (由 Victor Stinner 在 bpo-39946 中贡献。)从 C API 移除了下列函数。 请显式地调用
PyGC_Collect()来清空所有自由列表。 (由 Inada Naoki 和 Victor Stinner 在 bpo-37340, bpo-38896 和 bpo-40428 中贡献。)PyAsyncGen_ClearFreeLists()PyContext_ClearFreeList()PyDict_ClearFreeList()PyFloat_ClearFreeList()PyFrame_ClearFreeList()PyList_ClearFreeList()PyMethod_ClearFreeList()和PyCFunction_ClearFreeList(): 绑定方法对象的自由列表已被移除。PySet_ClearFreeList(): 集合自由列表已在 Python 3.4 中被移除。PyTuple_ClearFreeList()PyUnicode_ClearFreeList(): Unicode 自由列表已在 Python 3.3 中被移除。
移除了
_PyUnicode_ClearStaticStrings()函数。 (由 Victor Stinner 在 bpo-39465 中贡献。)移除了
Py_UNICODE_MATCH。 它已被 PEP 393 所弃用,并自 Python 3.3 起不再可用。 可以改用PyUnicode_Tailmatch()函数。 (由 Inada Naoki 在 bpo-36346 中贡献。)清除了已定义但未实现的接口的头文件。 被移除了公共 API 符号有:
_PyBytes_InsertThousandsGroupingLocale,_PyBytes_InsertThousandsGrouping,_Py_InitializeFromArgs,_Py_InitializeFromWideArgs,_PyFloat_Repr,_PyFloat_Digits,_PyFloat_DigitsInit,PyFrame_ExtendStack,_PyAIterWrapper_Type,PyNullImporter_Type,PyCmpWrapper_Type,PySortWrapper_Type,PyNoArgsFunction。 (由 Pablo Galindo Salgado 在 bpo-39372 中贡献。)
Python 3.9.1 中的重要变化¶
typing¶
typing.Literal 的行为被改为遵循 PEP 586 并匹配该 PEP 所描述的静态类型检查器的行为。
Literal现在将是去重复的形参。Literal对象间的相等性比较现在将是顺序无关的。Literal比较现在会考虑类型。 例如Literal[0] == Literal[False]之前的结果值为True。 现在则为False。 为支持此改变,内部使用的类型缓存现在也支持区分类型。现在如果有任何一个参数不为 hashable,
Literal对象将在相等性比较期间引发TypeError。 请注意使用可变参数声明Literal将不会抛出异常:>>> from typing import Literal >>> Literal[{0}] >>> Literal[{0}] == Literal[{False}] Traceback (most recent call last): File "<stdin>", line 1, in <module> TypeError: unhashable type: 'set'
(由 Yurii Karabas 在 bpo-42345 中贡献。)
macOS 11.0 (Big Sur) 与 Apple Silicon Mac 支持¶
对于 3.9.1 版来说,Python 现在完全支持在 macOS 11.0 (Big Sur) 和 Apple Silicon Macs (基于 ARM64 架构) 上构建和运行。 现在提供了一个新的通用构建类型 universal2,用于在一组可执行文件上原生支持 ARM64 和 Intel 64。 二进制文件现在也可以在当前版本的 macOS 上编译以部署到多种较旧的 macOS 版本上 (已测试 10.9),同时会基于运行时所使用的操作系统版本让某些较新的 OS 功能和选项有条件地可用 ("弱链接") 。
(由 Ronald Oussoren 和 Lawrence D'Anna 在 bpo-41100 中贡献。)
Python 3.9.2 中的重要变化¶
collections.abc¶
现在 collections.abc.Callable 泛型会将类型形参展平,类似于 typing.Callable 当前所做的那样。 这意味着 collections.abc.Callable[[int, str], str] 的 __args__ 将为 (int, str, str);之前则为 ([int, str], str)。 为了允许这个改变,types.GenericAlias 现在可以被子类化,并且在抽取 collections.abc.Callable 类型时将返回一个子类。 通过 typing.get_args() 或 __args__ 访问参数的代码需要考虑到这个改变。 对于无效的 collections.abc.Callable 参数化形式可能会发出 DeprecationWarning,这在 Python 3.9.1 中可能会静默地传递。 这个 DeprecationWarning 将在 Python 3.10 中变为 TypeError。 (由 Ken Jin 在 bpo-42195 中贡献。)
urllib.parse¶
较早的 Python 版本允许同时使用 ; 和 & 作为 urllib.parse.parse_qs() 和 urllib.parse.parse_qsl() 中查询形参的分隔符。 出于安全考虑,并遵循新版的 W3C 建议,这已被更改为只允许一种分隔符,默认为 &。 这一改变也会影响 cgi.parse() 和 cgi.parse_multipart() 因为它们在内部使用了受影响的函数。 要了解更多细节,请参阅相应的文档。 (由 Adam Goldschmidt, Senthil Kumaran 和 Ken Jin 在 bpo-42967 中贡献。)
Python 3.9.3 中的重要变化¶
新的安全修正将 ftplib.FTP 的行为改成当设置被动数据通道时不信任远程服务器所发送的 IPv4 地址。 我们会改为重用 ftp 服务器的 IP 地址。 对于需要原先的行为的不常见代码,请在你的 FTP 实例上将 trust_server_pasv_ipv4_address 属性设为 True。 (参见 gh-87451。)
Python 3.9.5 中的重要变化¶
urllib.parse¶
在 URL 中存在换行符或制表符可能会导致某种形式的攻击。 根据更新了 RFC 3986 的 WHATWG 规范,urllib.parse 中的解析器将从 URL 中去除 ASCII 换行符 \n, \r 和制表符 \t 以防止这种攻击。 移除的字符将由一个新的模块层级变量 urllib.parse._UNSAFE_URL_BYTES_TO_REMOVE 来控制。 (参见 gh-88048。)
3.9.14 中的重要安全特性¶
使用 2 (二进制), 4, 8 (八进制), 16 (十六进制) 或 32 以外的基数例如以 10 (十进制) 为基数在 int 和 str 之间进行转换现在如果字符串表示形式中的位数超过特定限制则会引发 ValueError 以避免因算法复杂度导致的拒绝服务攻击风险。 这是对于 CVE 2020-10735 的一种缓解方案。 此限制可通过环境变量、命令行旗标或 sys API 来配置或者禁用。 参见 整数字符串转换长度限制 文档。 字符串形式的默认限制为 4300 位数字。
3.9.17 中的重要变化¶
tarfile¶
tarfile中的提取方法和shutil.unpack_archive()都新增了 filter 参数以允许限制可能令人意外或危险的 tar 特性,例如在目标目录之外创建文件。 相关细节参见 解压缩过滤器。 在 Python 3.12 中,不带 filter 参数的用法将显示DeprecationWarning。 在 Python 3.14 中,默认值将切换为'data'。 (由 Petr Viktorin 在 PEP 706 中贡献。)