为什么空闲 Python 线程消耗了 CPU 的 90%?
Why is Idle Python Thread Consuming upto 90% of CPU?
这是我的第一个线程程序。我在这里面临一个奇怪的问题。我正在 Django 中构建一个类似应用程序的简单调度程序,其中函数名称(定期执行)将连同它们的下一次执行时间一起存储在 Django 模型中。
执行管理命令启动一个线程,该线程不断运行以检查是否有任何功能执行到期,如果是,则启动一个新线程来执行该功能。这样,为每个函数创建了单独的线程(至少,这是个主意!)。
class Command(BaseCommand):
def __init__(self):
super(Command, self).__init__()
self.lock = None
def handle(self, *args, **kwargs):
self.lock = threading.RLock()
t1 = threading.Thread(target=self.cron_thread)
t1.start()
t1.join()
def cron_thread(self):
while True:
# Fetch only Active records
scheduled_actions = Scheduler.objects.filter(active=True)
for scheduled_action in scheduled_actions:
# check if execution is due
if scheduled_action.next_execution_time == datetime.now():
# creating a new thread
function_thread = threading.Thread(target=eval(scheduled_action.function_name), args=[self.lock])
function_thread.start()
function_thread.join()
scheduled_action.next_execution_time = local_timezone.localize(datetime.now() + relativedelta(minutes=scheduled_action.interval))
scheduled_action.run_now = False
scheduled_action.save()
def somefunction(self):
self.lock.acquire()
# function body
self.lock.release()
我创建的开始执行整个程序的命令是:python3 manage.py runcrons-debit
我一执行这个命令,我就可以在 htop 结果中看到两个进程 运行 并且消耗了几乎 80% 的 CPU ,如下图所示:
View Image
请注意,目前还没有活动的调度程序记录。
当调度程序记录激活时,当函数实际运行时,htop 中显示的进程增加到三个,CPU 使用率减少急剧下降到 0.0%。如下图所示:
View Image
这里有两点我无法理解,
一旦函数执行结束并且没有函数正在执行,htop 结果将返回到两个进程,消耗几乎 80-90% CPU。为什么这里的空闲线程会消耗这么多 CPU?
还有,在没有执行任何功能的情况下,为什么还会显示两个进程?我可以理解其中之一是命令本身,但是是什么导致创建第二个进程?
cron_thread
有一个无限循环。此循环首先检索计划的操作,然后循环遍历它们。对于每个操作,如果该操作被安排在确切的当前时间,则该操作将被执行。
如果没有计划的动作,循环将简单地一遍又一遍地继续检索计划的动作。如果有一个动作,它会检查现在是否是执行它的时间。这是另一个问题:datetime.datetime.now()
具有非常高的精度(最接近微秒),因此它与计划时间匹配的机会非常低。这意味着您的循环将检索所有计划的操作,遍历所有操作,然后返回顶部。
如果预定动作的时间确实与当前时间匹配,则将执行该动作,然后内循环移动到下一个动作。当它循环遍历所有操作时,它将返回顶部并再次检索所有操作。
基本上,您的程序会不断将任何计划的操作与当前时间进行比较。这需要处理能力。执行这些动作的更好方法是在每个新动作添加到任务列表时检查时间,计算需要执行该动作之前的必要延迟,然后设置一个计时器在必要的时间后执行该动作延迟(time.sleep
在线程中,after
调用 tkinter
,诸如此类)。
这是我的第一个线程程序。我在这里面临一个奇怪的问题。我正在 Django 中构建一个类似应用程序的简单调度程序,其中函数名称(定期执行)将连同它们的下一次执行时间一起存储在 Django 模型中。
执行管理命令启动一个线程,该线程不断运行以检查是否有任何功能执行到期,如果是,则启动一个新线程来执行该功能。这样,为每个函数创建了单独的线程(至少,这是个主意!)。
class Command(BaseCommand):
def __init__(self):
super(Command, self).__init__()
self.lock = None
def handle(self, *args, **kwargs):
self.lock = threading.RLock()
t1 = threading.Thread(target=self.cron_thread)
t1.start()
t1.join()
def cron_thread(self):
while True:
# Fetch only Active records
scheduled_actions = Scheduler.objects.filter(active=True)
for scheduled_action in scheduled_actions:
# check if execution is due
if scheduled_action.next_execution_time == datetime.now():
# creating a new thread
function_thread = threading.Thread(target=eval(scheduled_action.function_name), args=[self.lock])
function_thread.start()
function_thread.join()
scheduled_action.next_execution_time = local_timezone.localize(datetime.now() + relativedelta(minutes=scheduled_action.interval))
scheduled_action.run_now = False
scheduled_action.save()
def somefunction(self):
self.lock.acquire()
# function body
self.lock.release()
我创建的开始执行整个程序的命令是:python3 manage.py runcrons-debit
我一执行这个命令,我就可以在 htop 结果中看到两个进程 运行 并且消耗了几乎 80% 的 CPU ,如下图所示:
View Image
请注意,目前还没有活动的调度程序记录。
当调度程序记录激活时,当函数实际运行时,htop 中显示的进程增加到三个,CPU 使用率减少急剧下降到 0.0%。如下图所示:
View Image
这里有两点我无法理解,
cron_thread
有一个无限循环。此循环首先检索计划的操作,然后循环遍历它们。对于每个操作,如果该操作被安排在确切的当前时间,则该操作将被执行。
如果没有计划的动作,循环将简单地一遍又一遍地继续检索计划的动作。如果有一个动作,它会检查现在是否是执行它的时间。这是另一个问题:datetime.datetime.now()
具有非常高的精度(最接近微秒),因此它与计划时间匹配的机会非常低。这意味着您的循环将检索所有计划的操作,遍历所有操作,然后返回顶部。
如果预定动作的时间确实与当前时间匹配,则将执行该动作,然后内循环移动到下一个动作。当它循环遍历所有操作时,它将返回顶部并再次检索所有操作。
基本上,您的程序会不断将任何计划的操作与当前时间进行比较。这需要处理能力。执行这些动作的更好方法是在每个新动作添加到任务列表时检查时间,计算需要执行该动作之前的必要延迟,然后设置一个计时器在必要的时间后执行该动作延迟(time.sleep
在线程中,after
调用 tkinter
,诸如此类)。