导出为 .csv 或 .xlsx 时如何翻译抓取文本的语言？

Question

我正试图从各种 public 政府网站上抓取选举结果并将它们放入 .csv 或 .xlsx 文件中。但是，当我将文本数据导出到任一类型的电子表格时，我会遇到如下所示的输出：

ÏÎË²ÒÈ×ÍÀ ÏÀÐÒ²ß "ÓÊÐÀ¯ÍÑÜÊÀ ÑÒÐÀÒÅÃ²ß ÃÐÎÉÑÌÀÍÀ"

在网站上，文本如下所示：

ПОЛІТИЧНА ПАРТІЯ "СЛУГА НАРОДУ"

但我试图让它看起来像：

POLITICAL PARTY "SERVANT OF THE PEOPLE"

我尝试将 .csv 文件导入到使用 UTF-8 和各种其他“文件来源”编码的新 excel 文档，但输出看起来是一样的。我什至尝试使用 Google Translate on Google Sheets 来翻译文本，但这也不起作用。关于如何 translate/transliterate 抓取最初采用不同脚本（文本样式）的文本有什么想法吗？

这是我的脚本：

import requests
from requests import get
from bs4 import BeautifulSoup
import pandas as pd

from time import sleep
from random import randint

partynames = []

for page in range(11,222):
    page = requests.get("https://www.cvk.gov.ua/pls/vnd2019/wp304pt001f01=919pf7331=" + str(page) + ".html", verify=False)

    soup = BeautifulSoup(page.text, 'html.parser')
    
    ukraine_tr = soup.find_all('tr')

    sleep(randint(2,10))

    for container in ukraine_tr:

        #### PARTY NAMES ####
        partyn = container.find('a',class_='a2')
        if partyn is not None:
            name = partyn.get_text()
        else:
            name = "N/A"
        partynames.append(name)

ukraine = pd.DataFrame({
'pty_n': partynames
})

ukraine.to_csv('ukraine.csv')

Answer 1

实际上，有一个简单的解决方法：

您必须将编码交换为：

page.encoding = page.apparent_encoding

这是一个基于您的代码的工作示例：

import requests
from bs4 import BeautifulSoup
import pandas as pd

from time import sleep
from random import randint

partynames = []

for page in range(11, 12):
    page = requests.get("https://www.cvk.gov.ua/pls/vnd2019/wp304pt001f01=919pf7331=" + str(page) + ".html",
                        verify=False)
    page.encoding = page.apparent_encoding

    soup = BeautifulSoup(page.text, 'html.parser')
    ukraine_tr = soup.find_all('tr')
    sleep(randint(2, 10))

    for container in ukraine_tr:
        partyn = container.find('a', class_='a2')
        if partyn is not None:
            name = partyn.get_text()
        else:
            name = "N/A"
        partynames.append(name)

ukraine = pd.DataFrame({
    'pty_n': partynames
})

ukraine.to_csv('ukraine.csv')

输出：

3,"ПОЛІТИЧНА ПАРТІЯ ""СЛУГА НАРОДУ"""
4,"ПОЛІТИЧНА ПАРТІЯ ""УКРАЇНСЬКА СТРАТЕГІЯ ГРОЙСМАНА"""
5,"Політична партія ""Європейська Солідарність"""
6,"політична партія Всеукраїнське об’єднання ""Батьківщина"""
7,"ПОЛІТИЧНА ПАРТІЯ ""СИЛА І ЧЕСТЬ"""
8,"Політична партія ""ОПОЗИЦІЙНА ПЛАТФОРМА – ЗА ЖИТТЯ"""
9,"Політична Партія ""ГОЛОС"""
10,"політична партія Всеукраїнське об’єднання ""Свобода"""
11,"ПОЛІТИЧНА ПАРТІЯ ""ПАРТІЯ ШАРІЯ"""
12,"ПОЛІТИЧНА ПАРТІЯ ""РАДИКАЛЬНА ПАРТІЯ ОЛЕГА ЛЯШКА"""
13,"Політична партія ""ОПОЗИЦІЙНИЙ БЛОК"""
14,"політична партія ""Громадянська позиція"""
15,"Політична партія ""Рух Нових Сил Михайла Саакашвілі"""
16,"ПОЛІТИЧНА ПАРТІЯ ""ПАРТІЯ ЗЕЛЕНИХ УКРАЇНИ"""
17,"Політична партія ""Об’єднання ""САМОПОМІЧ"""
18,Аграрна партія України
19,"Політична партія ""Сила Людей"""
20,"ПОЛІТИЧНА ПАРТІЯ ""СИЛА ПРАВА"""
21,"ПОЛІТИЧНА ПАРТІЯ ""СОЦІАЛЬНА СПРАВЕДЛИВІСТЬ"""
22,"Політична Партія ""ПАТРІОТ"""
23,"ПОЛІТИЧНА ПАРТІЯ ""НЕЗАЛЕЖНІСТЬ"""
24,"ПОЛІТИЧНА ПАРТІЯ ""ВСЕУКРАЇНСЬКЕ ОБ’ЄДНАННЯ ""ФАКЕЛ"""

编辑：

正在翻译！

您可以使用 googletrans 将源文本翻译成英文。

首先运行这个 pip install googletrans 然后试试这个：

from time import sleep
from random import randint

import pandas as pd
import requests
from bs4 import BeautifulSoup
from googletrans import Translator


traslator = Translator()
partynames = []


for page in range(11, 12):
    page = requests.get("https://www.cvk.gov.ua/pls/vnd2019/wp304pt001f01=919pf7331=" + str(page) + ".html",
                        verify=False)
    page.encoding = page.apparent_encoding

    soup = BeautifulSoup(page.text, 'html.parser')
    ukraine_tr = soup.find_all('tr')
    sleep(randint(2, 10))

    for container in ukraine_tr:
        partyn = container.find('a', class_='a2')
        if partyn is not None:
            name = traslator.translate(partyn.get_text()).text
        else:
            name = "N/A"

        partynames.append(name)

ukraine = pd.DataFrame({
    'pty_n': partynames
})

ukraine.to_csv('ukraine.csv')

输出：

3,"POLITICAL PARTY ""SERVANT OF THE PEOPLE"""
4,"POLITICAL PARTY ""UKRAINIAN GROISMAN'S STRATEGY"""
5,European Solidarity Political Party
6,Batkivshchyna All-Ukrainian Union Political Party
7,"POLITICAL PARTY ""POWER AND HONOR"""
8,"Political party ""OPPOSITION PLATFORM - FOR LIFE"""
9,VOICE Political Party
10,"political party All-Ukrainian Union ""Freedom"""
11,"POLITICAL PARTY ""PARTY OF SHARIA"""
12,"POLITICAL PARTY ""RADICAL PARTY OF OLEH LYASHKO"""
13,OPPOSITION BLOC political party
14,Civic Position political party
15,Mikheil Saakashvili's New Forces Movement political party
16,"POLITICAL PARTY ""PARTY OF THE GREENS OF UKRAINE"""
17,SAMOPOMICH Association Political Party
18,Agrarian Party of Ukraine
19,People's Power Political Party
20,"POLITICAL PARTY ""POWER OF LAW"""
21,SOCIAL JUSTICE POLITICAL PARTY
22,PATRIOT Political Party
23,INDEPENDENCE POLITICAL PARTY
24,"ALL-UKRAINIAN ASSOCIATION ""TORCH"" POLITICAL PARTY"

导出为 .csv 或 .xlsx 时如何翻译抓取文本的语言？

How to translate language of scraped text when exporting to .csv or .xslx?

python

web-scraping

beautifulsoup

translation

export-to-csv