Python进阶:你定义的变量到底保存在哪里

我是数据外星人 2024-02-22 00:49:10
前言

之所以写这篇文章,源自于我遇到的一个问题:

Python 中我们可以通过 exec 执行一段字符串构成的代码:

可以看到 exec 是可以影响当前代码的变量,为了在一个干净环境下执行,我一开始是这样写:

但是,最近我写一个小工具,需要使用 exec 执行一段比较完整的代码,却出了问题,下面用一个简单例子表示:

为什么会报错呢?

问题的原因一点都不简单,涉及的知识点:

Python 是如何保存运行时的数据(各种变量的赋值与获取)运行帧栈(frame)概念

本文对 frame 不作深入介绍

全局与本地储存区

先看一段非常简单的代码:

上图是代码开始执行,但还没有执行第一句的情况从左上方区域可以看到2个变量,locals 和 globals , 左下方看到调用堆栈列表(每一项我称为"frame")locals 和 globals 都以字典的形式保存数据,而字典的 key 就是一些变量名字调用堆栈列表中,第一行就是当前执行作用域, 是模块的意思其实 locals 和 globals 字典都来自于 frame在执行模块代码之前,Python 会做一些准备,比如一些内置函数,这些会保存在 frame 中的 builtins 字典中

接下来执行第一句代码后:

当我们定义一个变量,那么就会把变量信息设置到当前 frame 的 locals 字典里面**而 python 在初始化模块 frame时,会把 locals 与 globals 设置成同一个字典,此时 locals 和 globals 都可以看到 a 变量的信息 **

继续执行:

定义函数,本质上就是定义了变量,所以上面的结果在意料之内

接下来,将要调用刚刚定义的函数:

此时,Python 要找到名字叫 changeA 的变量,然后调用他。但是,怎么找?规则很简单, 从当前 frame 的 locals 找,如果找不到则从 globals 找,如果找不到,最后到 buildins 找显然,这里从 locals 里面就可以找到

现在代码执行进入到函数里面:

从左下方调用堆栈列表可以看到,Python 创建了一个新的 frame既然是新的 frame,locals 字典就是空的,因为还没有创建变量。但是为什么 globals 有东西?这是因为每当从一个 模块 frame 中进入一个新的 非模块 frame ,则会把 模块 frame 的 globals 设置到新的 frame 的 globals所以,函数 frame 的 globals 与 上一层的 frame 的 globals 是同一个字典

现在执行函数的第一句代码:

首先要执行 a+10 ,a 变量怎么来?还是之前的规则, 先 locals 后 globals 进行查找 ,显然这次从 globals 找到,因此 a 的值是 1

于是 x 变量创建完毕,locals 里面保存了 x 相关数据

接下来执行函数中的最后一句代码:

显然, print 无法在 locals 和 globals 中找到,但是在 builtins 中找到,所以仍然调用成功

通过 inspect.currentframe().f_builtins 可以获得内置函数变量字典,这里不展示

最后,函数 changeA 调用完毕:

frame 列表上最顶层的 frame 将销毁此时代码执行回到一开始的 module 的 frame 里面

当进入一个新的 frame, frame 会记录进入新 frame 前的代码行(实际上是字节码行),所以 python 可以在调用完一个函数后,在上次跳转的地方继续执行代码

总结一下上面的规则:

每当进入一个代码块,python 会创建一个 frame,frame 中的 locals、globals、builtins 属性可以查阅变量信息查找一个变量的先后顺序是:locals > globals > builtins如果是一个模块的 frame,其 locals 和 globals 是同一个字典如果是非模块 frame,其 globals 与其上一层 frame 的 globals 是同一个字典,locals 是一个新字典通过函数 globals 和 locals 可以获得的确 frame 的相关字典举一反三

了解这些简单机制后,我们已经足以解释各种各样关于 python 变量的规则。

覆盖内置函数的本质:

行4-6:定义了函数 sum ,名字与内置函数一样了行10:使用的时候真的变成我们自己的函数行19:从 builtins 删除 sum

global 关键字的使用:

global 关键字可以让我们在函数里面修改全局变量

其实约等价于:

行5:直接修改 globals 字典,同时避免在 locals 里面创建了变量exec 的问题

回到 exec 的问题上,exec 是把参数1的代码作为一个模块 frame 执行:

参数2与参数3可以设置模块 frame 的 globals 与 locals 的字典:

默认值是用当前 frame 的 globals 与 locals如果只设置了 globals 而没有设置 locals,则 locals 使用 globals 的字典

现在来看看为什么这段代码报错:

由于我们设置了模块 frame 的 globals 与 locals 为2个独立的字典执行里面代码 a=100 ,只在 locals 字典里面保存了变量 a执行函数里面的代码, 此时函数 globals 就是模块 frame 的 globals,但是上一步没有把 a 存放到这个字典中 。因此,获取变量 a 的时候报错了

那么,怎么使得代码正确执行:

很简单,只需要让 exec 按照模块 frame 正确初始化 globals 与 locals 即可( 就是让其是同一个字典 )

到此为止我们了解 exec 甚至是 Python 运行的一些机制,那么这到底能用在哪些应用上?后面我会分享一系列小工具的制作过程,里面就会用到这些属于 python 的"黑魔法"

记得点赞、转发、收藏,一键三连~~~

0 阅读:0

我是数据外星人

简介:感谢大家的关注