使用多线程构建 python 字典

Question

我目前正在构建一个使用 Python pdfkit 和 jinja 生成 PDF 报告的工具。

此报告基于大量静态 html 和大约 30 个为报告生成数据和图像（图表）的函数。这些函数都是通过pyodbc或者pandas from_sql.

访问外部数据

我现在运行遇到性能问题，生成报告大约需要 5 分钟。

我希望利用多线程来构建数据字典，但一直无法弄清楚如何解决这个问题。

我当前的代码看起来像这样。

def buildReport():

    if checkKvaegCVR(SQL = checkKvaegCVRSQL(cvrNummer = cvrNummer), cursor = OEDBCursor):

        env = Environment(loader=FileSystemLoader('.'))
        template = env.get_template("templates/kvaeg/kvaegBase.html")

        pdfOptions = {
            'page-size': 'A4',
            'margin-top': '0.75in',
            'margin-right': '0.75in',
            'margin-bottom': '0.75in',
            'margin-left': '0.75in',
            'quiet': '',
            'encoding': "UTF-8",
            'footer-right': '[page]'
        }

        css = 'static/css/style.css'

        template_vars = {'kvaegForsideBillede': imageBuilder()['kvaegForsideBillede'],
                        'bagsideBillede': imageBuilder()['bagsideBillede'],
                        'navn' : bedriftAdresse(cvrNummer = cvrNummer, 
                                                cursor = KundeAnalyseDBCursor)[0],
                        'adresse' : bedriftAdresse(cvrNummer = cvrNummer, 
                                                cursor = KundeAnalyseDBCursor)[1],
                        'postnrBy' : str(int(bedriftAdresse(cvrNummer = cvrNummer, cursor = KundeAnalyseDBCursor)[2])) + ' ' + 
                                            bedriftAdresse(cvrNummer = cvrNummer, cursor = KundeAnalyseDBCursor)[3],
                        'fremstillingsprisKorr': imageBuilder()['fremstillingsprisKorr'],
                        'fremstillingsprisForbedring':imageBuilder()['fremstillingsprisForbedring'],
                        'graesoptagelse':kgGraesPrKo(),
                        'indreSaedskifteKort':indreSaedskifteKortPNG(CVRPunkt = CVRPunkt(cvrNummer, KundeAnalyseDBCursor), 
                                                                    CVRBuffer = CVRBuffer(cvrNummer, KundeAnalyseDBCursor),
                                                                    indreSaedskifteKort = indreSaedskifteKort(indreSaedskifteKortSQL = indreSaedskifteKortSQL(cvrNummer = cvrNummer), cursor = KundeAnalyseDBCursor)),
                        'naboKort':naboKortPNG(CVRPunkt = CVRPunkt(cvrNummer = cvrNummer, cursor = KundeAnalyseDBCursor), 
                                                CVRBuffer = CVRBuffer(cvrNummer = cvrNummer, cursor = KundeAnalyseDBCursor),
                                                naboKort = naboKort(naboMarkerSQL = naboMarkerSQL(cvrNummer = cvrNummer), 
                                                                    egneMarkerSQL = egneMarkerSQL(cvrNummer = cvrNummer), 
                                                                    cursor = KundeAnalyseDBCursor))
                        ...
                        ...
                        30 more functions here
                        ...
                        ...}

        pdfkit.from_string(template.render(template_vars), 'KvaegRapport - {}.pdf'.format(cvrNummer), options=pdfOptions, css=css)
        print('Rapporten er klar')
    else:
        print('Kan ikke bygge rapport på dette CVR nummer')

我想使用多线程（可能在我的主要功能之外）构建字典 "Template_vars"

有什么建议吗？

Answer 1

我可以建议以下但多处理（以下代码尚未测试）：

from multiprocessing import Process, Queue


def make_smth(func, queue, name, *args, **kwargs):
    queue.put((name, func(*args, **kwargs)))


result_queue = Queue()
processes = list()
processes.append(
    Process(target=make_smth,
            args=(bedriftAdresse, result_queue, "navn"),
            kwargs={cvrNummer: cvrNummer, cursor: KundeAnalyseDBCursor[0]}
    )
)
processes.append(
    Process(target=make_smth,
            args=(kgGraesPrKo, result_queue, "graesoptagelse"),
            kwargs={}
    )
)
#...... You should do it for each of your functions

for p in processes:
    p.start()

template_vars = {}
result = result_queue.get()
while result:
    template_vars[result[0]] = result[1]
    result = result_queue.get()

使用多线程构建 python 字典

Building python dict using multithreading

python

multithreading

dictionary

pdfkit