在 pandas 中，如何打开句子之间放置分隔符（在错误的位置）的 CSV？
In pandas, how to open CSV with separators placed between sentences (in the wrong place)?
在 Python3 和 pandas 我想打开一个带有分隔符“;”的 CSV 文件并附上 latin-1。它是一个没有列名的文件。可以看到文件here
但是，在文本编辑器中，我注意到该文件在某些列的行中包含字符“;”在内容或引号中间
那么生成的dataframe是空的：
import pandas as pd
kwargs = {'sep': ';', 'dtype': str, 'encoding': 'latin-1'}
teste_2016 = pd.read_csv("/home/reinaldo/Documentos/Code/e_sic_federal/2016/20200215_Pedidos_csv_2016.csv", **kwargs)
teste_2016.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 167286 entries, 0 to 167285
Data columns (total 21 columns):
ÿþ3 0 non-null object
Unnamed: 1 0 non-null object
Unnamed: 2 0 non-null object
Unnamed: 3 0 non-null object
Unnamed: 4 0 non-null object
Unnamed: 5 0 non-null object
Unnamed: 6 0 non-null object
Unnamed: 7 0 non-null object
Unnamed: 8 0 non-null object
Unnamed: 9 0 non-null object
Unnamed: 10 0 non-null object
Unnamed: 11 0 non-null object
Unnamed: 12 0 non-null object
Unnamed: 13 0 non-null object
Unnamed: 14 0 non-null object
Unnamed: 15 0 non-null object
Unnamed: 16 0 non-null object
Unnamed: 17 0 non-null object
Unnamed: 18 0 non-null object
Unnamed: 19 0 non-null object
Unnamed: 20 0 non-null object
dtypes: object(21)
memory usage: 26.8+ MB
我知道这是一个格式错误的 CSV，但不幸的是，它是我现在做的项目中的单一信息源。这是一个 public 机构 CSV
拜托，有人知道从这样的文件创建正确数据框的策略吗？
首行内容以下：
345365;99901000001201633;;BB – Banco do Brasil S.A.;Respondido;01/01/2016 09:24:13;consultar meu cpf . no spc e serasa;Consulta do cpf no serasa e spc;25/01/2016 23:59:59;NÃO;NÃO;Pelo sistema (com avisos por email);Internet;604629;Economia e Finanças;Economia;1;25/01/2016 11:30:39;Prezado(a) Sr(a). Gisela, Encaminhamos, em anexo, resposta ao seu pedido de informação. Atenciosamente, Serviço de Informação ao Cidadão do Banco do Brasil – SICBB Recurso Conforme a Lei 12527/11 em seu artigo Art. 15, no caso de indeferimento de acesso a informações ou às razões da negativa do acesso, poderá o interessado interpor recurso contra a decisão no prazo de 10 (dez) dias a contar da sua ciência. Parágrafo único. O recurso será dirigido à autoridade hierarquicamente superior à que exarou a decisão impugnada, que deverá se manifestar no prazo de 5 (cinco) dias.;Acesso Concedido;Resposta solicitada inserida no e-SIC
345366;99902000001201623;;CEF – Caixa Econômica Federal;Respondido;01/01/2016 11:40:16;Esclarecimentos sobre seguro de risco de incêndio;Sou conselheiro de um Condomínio e depois da publicação da NORMA ABNT 16.280 que começou a valer a partir de 18/04/2014 tenho as seguintes dúvidas com relação a instalação de ares condicionados nas unidades condominiais. Pergunto: quem colocou os ares condicionados antes da publicação da Norma da ABNT esses condôminos têm que apresentar ao síndico a ART da instalação ou não? A Lei retroage nestes casos? Recentemente um condômino contratou um engenheiro civil para fazer algumas obras no seu apto e instalou os ares condicionados e o engenheiro forneceu a ART.Pergunto: Pode um engenheiro civil dar ART para instalação de ar condicionado? Não é atribuição específica de um engenheiro eletricista? Se houver um incêndio em sua unidade o seguro pode exigir a ART de um engenheiro eletricista ou não? Vai ter problemas com o seguro caso haja um incêndio nesta unidade habitacional? Cito como exemplo vários incêndios que ocorreram no passado (Edifício Joelma ) cuja causa foi por causa da instalação elétrica e pegou fogo nos ares condicionados, alguns aptos em Copacabana também. Fico no aguardo dos esclarecimentos necessários acerca das exigências e implicações das Seguradoras em caso de ocorrer um incêndio em nosso Condomínio por causa da instalação de ares condicionados. Atenciosamente, Luciano Miniero ;25/01/2016 23:59:59;NÃO;NÃO;Pelo sistema (com avisos por email);Internet;537117;Economia e Finanças;Economia;1;05/01/2016 16:32:49;Prezado (a) Senhor (a), 1. Em atenção a sua solicitação, registrada através do E-SIC, site CGU, informamos que não foi possível compreender o seu pedido. 2. Caso seja pertinente à CAIXA, orientamos gerar novo pedido detalhando a sua solicitação. 3. Informamos que a CAIXA mantém SAC para informações, reclamações, cancelamentos, sugestões, serviços e elogios, com atendimento 24 horas por dia 07 dias por semana, pelo DDG 0800 726 0101 e para reclamações não solucionadas no SAC ou denúncias, a CAIXA mantém canal de Ouvidoria com atendimento de segunda a sexta-feira, das 08 às 18 horas, pelo DDG 0800 725 7474. 4. A CAIXA coloca-se à disposição através de seus canais de atendimento. Atenciosamente, CAIXA – Serviço de Informações ao Cidadão;Acesso Negado;Pedido incompreensível
345367;99901000002201688;;BB – Banco do Brasil S.A.;Respondido;01/01/2016 12:25:37;SALDO PASEP;Bom dia, necessito do saldo do PASEP;25/01/2016 23:59:59;NÃO;NÃO;Pelo sistema (com avisos por email);Internet;604635;Economia e Finanças;Economia;1;25/01/2016 11:33:06;Prezado(a) Sr(a). Regina, Encaminhamos, em anexo, resposta ao seu pedido de informação. Atenciosamente, Serviço de Informação ao Cidadão do Banco do Brasil – SICBB Recurso Conforme a Lei 12527/11 em seu artigo Art. 15, no caso de indeferimento de acesso a informações ou às razões da negativa do acesso, poderá o interessado interpor recurso contra a decisão no prazo de 10 (dez) dias a contar da sua ciência. Parágrafo único. O recurso será dirigido à autoridade hierarquicamente superior à que exarou a decisão impugnada, que deverá se manifestar no prazo de 5 (cinco) dias.;Acesso Concedido;Resposta solicitada inserida no e-SIC
345368;99938000001201616;;EPE – Empresa de Pesquisa Energética;Respondido;01/01/2016 12:34:31;Solicitação para acesso a dados específicos sobre consumo de petróleo e gás em determinado período histórico no Brasil;Olá caros membros do EPE, gostaria de solicitar dados sobre a exportação e consumo interno de petróleo no Brasil (caso geral) no período histórico do ano de 1940 (caso não for possível esta datação enviar até a datação possível) a 2010 para fins de produção em pesquisa científica. O segundo ponto que solicito aqui é sobre o consumo de petróleo, óleo e gás designados ao setor industrial no país constituído na mesma datação histórica já determinada. Os objetivos pelo qual solicito é a de construir um banco de dados necessários ao qual possa utilizar em artigos científicos, monografias e teses. Faço essa solicitação por não encontrar nenhum dado específico, ou caderno que indique esses tipos de dados em datação antiga (como 1940). Se possível isso, agradeço. Cleyton A. Candeira P, Graduando em Ciências Econômicas UFPA/ICSA/FACECON. Lattes: http://lattes.cnpq.br/1230234004934771;25/01/2016 23:59:59;NÃO;NÃO;Pelo sistema (com avisos por email);Internet;604636;Ciência, Informação e Comunicação;Informação - Gestão, preservação e acesso;2;07/01/2016 13:14:53;Prezado Senhor, Os dados solicitados encontram-se no Balanço Energético Nacional. As séries disponibilizadas, no entanto, têm início no ano de 1970. Para acessá-las, favor consultar o link abaixo: https://ben.epe.gov.br/BENSeriesCompletas.aspx Desejamos boa sorte na sua pesquisa! Atenciosamente, Serviço de Informação ao Cidadão - SIC Empresa de Pesquisa Energética - EPE;Acesso Concedido;Resposta solicitada inserida no e-SIC
345370;80200000001201611;;MTur – Ministério do Turismo;Respondido;01/01/2016 15:21:31;cópia termo de convenio em MCIDADES e prefeitura de iturama para construção e urbanização da prainha;Solicito cópia dos termos de convenio nº siafi 585550 e nº567729, entre o Ministerio da cidades e a Prefeitura de iturama para construção e estruturação da prainha as margens do Rio Grande. Os mesmos já foram finalizados e não foi inaugurado e foi aprovado pela Prefeirura projeto de terceirização.;25/01/2016 23:59:59;NÃO;SIM;Pelo sistema (com avisos por email);Internet;604645;Comércio, Serviços e Turismo;Turismo;1;05/01/2016 16:34:00;Segue resposta da área técnica “Retransmitimos as informações encaminhadas pela mandatária em decorrência da solicitação do requerente: 1 Em atenção à mensagem abaixo, informamos a impossibilidade de atendimento, tendo em vista que, segundo posicionamento da Gerência de Governo em Uberlândia/MG, a documentação dos contratos de repasse 0199798-28 e 0213631-23 não estão mais disponíveis na CAIXA, tendo em vista o disposto na Instrução Normativa STN 01/97, Art. 30, § 1º, que prevê a guarda documental pelo prazo de cinco anos contados a partir da aprovação da prestação de contas no Sistema Integrado de Administração Financeira do Governo Federal – SIAFI. 1.1 As operações tiveram as prestações de contas aprovadas pela CAIXA no SIAFI em 26/11/2008 sob os números 2008NS007495 e 2008NS007505 respectivamente. Atenciosamente, Coordenador-Geral de Monitoramento e Fiscalização Departamento de Infraestrutura Turística-DIETU” Informamos que, no caso de negativa de acesso à informação ou não fornecimento das razões de negativa de acesso, poderá ser interposto recurso, no sistema, no prazo de 10 (dez) dias, nas formas e condições estabelecidas no parágrafo único, do artigo 15, da Lei 12.527, de 18/11/2011 e no parágrafo único, do artigo 21, do Decreto 7.724, de 16/05/2012. A autoridade hierarquicamente superior à que adotou a decisão, irá apreciar o recurso. Lembramos que, a ferramenta de recurso não deve ser utilizada para especificar e/ou reformular pedidos, pois nestas situações é necessário preencher novo formulário.;Acesso Concedido;Resposta solicitada inserida no e-SIC
您可以将两个分隔符与 delimiter=",|\";\""
一起使用
import pandas as pd
kwargs = {'sep': ';|\";\"', 'dtype': str, 'encoding': 'latin-1'}
teste_2016 = pd.read_csv("/home/reinaldo/Documentos/Code/e_sic_federal/2016/20200215_Pedidos_csv_2016.csv", **kwargs)
teste_2016.info()
在 Python3 和 pandas 我想打开一个带有分隔符“;”的 CSV 文件并附上 latin-1。它是一个没有列名的文件。可以看到文件here
但是，在文本编辑器中，我注意到该文件在某些列的行中包含字符“;”在内容或引号中间
那么生成的dataframe是空的：
import pandas as pd
kwargs = {'sep': ';', 'dtype': str, 'encoding': 'latin-1'}
teste_2016 = pd.read_csv("/home/reinaldo/Documentos/Code/e_sic_federal/2016/20200215_Pedidos_csv_2016.csv", **kwargs)
teste_2016.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 167286 entries, 0 to 167285
Data columns (total 21 columns):
ÿþ3 0 non-null object
Unnamed: 1 0 non-null object
Unnamed: 2 0 non-null object
Unnamed: 3 0 non-null object
Unnamed: 4 0 non-null object
Unnamed: 5 0 non-null object
Unnamed: 6 0 non-null object
Unnamed: 7 0 non-null object
Unnamed: 8 0 non-null object
Unnamed: 9 0 non-null object
Unnamed: 10 0 non-null object
Unnamed: 11 0 non-null object
Unnamed: 12 0 non-null object
Unnamed: 13 0 non-null object
Unnamed: 14 0 non-null object
Unnamed: 15 0 non-null object
Unnamed: 16 0 non-null object
Unnamed: 17 0 non-null object
Unnamed: 18 0 non-null object
Unnamed: 19 0 non-null object
Unnamed: 20 0 non-null object
dtypes: object(21)
memory usage: 26.8+ MB
我知道这是一个格式错误的 CSV，但不幸的是，它是我现在做的项目中的单一信息源。这是一个 public 机构 CSV
拜托，有人知道从这样的文件创建正确数据框的策略吗？
首行内容以下：
345365;99901000001201633;;BB – Banco do Brasil S.A.;Respondido;01/01/2016 09:24:13;consultar meu cpf . no spc e serasa;Consulta do cpf no serasa e spc;25/01/2016 23:59:59;NÃO;NÃO;Pelo sistema (com avisos por email);Internet;604629;Economia e Finanças;Economia;1;25/01/2016 11:30:39;Prezado(a) Sr(a). Gisela, Encaminhamos, em anexo, resposta ao seu pedido de informação. Atenciosamente, Serviço de Informação ao Cidadão do Banco do Brasil – SICBB Recurso Conforme a Lei 12527/11 em seu artigo Art. 15, no caso de indeferimento de acesso a informações ou às razões da negativa do acesso, poderá o interessado interpor recurso contra a decisão no prazo de 10 (dez) dias a contar da sua ciência. Parágrafo único. O recurso será dirigido à autoridade hierarquicamente superior à que exarou a decisão impugnada, que deverá se manifestar no prazo de 5 (cinco) dias.;Acesso Concedido;Resposta solicitada inserida no e-SIC
345366;99902000001201623;;CEF – Caixa Econômica Federal;Respondido;01/01/2016 11:40:16;Esclarecimentos sobre seguro de risco de incêndio;Sou conselheiro de um Condomínio e depois da publicação da NORMA ABNT 16.280 que começou a valer a partir de 18/04/2014 tenho as seguintes dúvidas com relação a instalação de ares condicionados nas unidades condominiais. Pergunto: quem colocou os ares condicionados antes da publicação da Norma da ABNT esses condôminos têm que apresentar ao síndico a ART da instalação ou não? A Lei retroage nestes casos? Recentemente um condômino contratou um engenheiro civil para fazer algumas obras no seu apto e instalou os ares condicionados e o engenheiro forneceu a ART.Pergunto: Pode um engenheiro civil dar ART para instalação de ar condicionado? Não é atribuição específica de um engenheiro eletricista? Se houver um incêndio em sua unidade o seguro pode exigir a ART de um engenheiro eletricista ou não? Vai ter problemas com o seguro caso haja um incêndio nesta unidade habitacional? Cito como exemplo vários incêndios que ocorreram no passado (Edifício Joelma ) cuja causa foi por causa da instalação elétrica e pegou fogo nos ares condicionados, alguns aptos em Copacabana também. Fico no aguardo dos esclarecimentos necessários acerca das exigências e implicações das Seguradoras em caso de ocorrer um incêndio em nosso Condomínio por causa da instalação de ares condicionados. Atenciosamente, Luciano Miniero ;25/01/2016 23:59:59;NÃO;NÃO;Pelo sistema (com avisos por email);Internet;537117;Economia e Finanças;Economia;1;05/01/2016 16:32:49;Prezado (a) Senhor (a), 1. Em atenção a sua solicitação, registrada através do E-SIC, site CGU, informamos que não foi possível compreender o seu pedido. 2. Caso seja pertinente à CAIXA, orientamos gerar novo pedido detalhando a sua solicitação. 3. Informamos que a CAIXA mantém SAC para informações, reclamações, cancelamentos, sugestões, serviços e elogios, com atendimento 24 horas por dia 07 dias por semana, pelo DDG 0800 726 0101 e para reclamações não solucionadas no SAC ou denúncias, a CAIXA mantém canal de Ouvidoria com atendimento de segunda a sexta-feira, das 08 às 18 horas, pelo DDG 0800 725 7474. 4. A CAIXA coloca-se à disposição através de seus canais de atendimento. Atenciosamente, CAIXA – Serviço de Informações ao Cidadão;Acesso Negado;Pedido incompreensível
345367;99901000002201688;;BB – Banco do Brasil S.A.;Respondido;01/01/2016 12:25:37;SALDO PASEP;Bom dia, necessito do saldo do PASEP;25/01/2016 23:59:59;NÃO;NÃO;Pelo sistema (com avisos por email);Internet;604635;Economia e Finanças;Economia;1;25/01/2016 11:33:06;Prezado(a) Sr(a). Regina, Encaminhamos, em anexo, resposta ao seu pedido de informação. Atenciosamente, Serviço de Informação ao Cidadão do Banco do Brasil – SICBB Recurso Conforme a Lei 12527/11 em seu artigo Art. 15, no caso de indeferimento de acesso a informações ou às razões da negativa do acesso, poderá o interessado interpor recurso contra a decisão no prazo de 10 (dez) dias a contar da sua ciência. Parágrafo único. O recurso será dirigido à autoridade hierarquicamente superior à que exarou a decisão impugnada, que deverá se manifestar no prazo de 5 (cinco) dias.;Acesso Concedido;Resposta solicitada inserida no e-SIC
345368;99938000001201616;;EPE – Empresa de Pesquisa Energética;Respondido;01/01/2016 12:34:31;Solicitação para acesso a dados específicos sobre consumo de petróleo e gás em determinado período histórico no Brasil;Olá caros membros do EPE, gostaria de solicitar dados sobre a exportação e consumo interno de petróleo no Brasil (caso geral) no período histórico do ano de 1940 (caso não for possível esta datação enviar até a datação possível) a 2010 para fins de produção em pesquisa científica. O segundo ponto que solicito aqui é sobre o consumo de petróleo, óleo e gás designados ao setor industrial no país constituído na mesma datação histórica já determinada. Os objetivos pelo qual solicito é a de construir um banco de dados necessários ao qual possa utilizar em artigos científicos, monografias e teses. Faço essa solicitação por não encontrar nenhum dado específico, ou caderno que indique esses tipos de dados em datação antiga (como 1940). Se possível isso, agradeço. Cleyton A. Candeira P, Graduando em Ciências Econômicas UFPA/ICSA/FACECON. Lattes: http://lattes.cnpq.br/1230234004934771;25/01/2016 23:59:59;NÃO;NÃO;Pelo sistema (com avisos por email);Internet;604636;Ciência, Informação e Comunicação;Informação - Gestão, preservação e acesso;2;07/01/2016 13:14:53;Prezado Senhor, Os dados solicitados encontram-se no Balanço Energético Nacional. As séries disponibilizadas, no entanto, têm início no ano de 1970. Para acessá-las, favor consultar o link abaixo: https://ben.epe.gov.br/BENSeriesCompletas.aspx Desejamos boa sorte na sua pesquisa! Atenciosamente, Serviço de Informação ao Cidadão - SIC Empresa de Pesquisa Energética - EPE;Acesso Concedido;Resposta solicitada inserida no e-SIC
345370;80200000001201611;;MTur – Ministério do Turismo;Respondido;01/01/2016 15:21:31;cópia termo de convenio em MCIDADES e prefeitura de iturama para construção e urbanização da prainha;Solicito cópia dos termos de convenio nº siafi 585550 e nº567729, entre o Ministerio da cidades e a Prefeitura de iturama para construção e estruturação da prainha as margens do Rio Grande. Os mesmos já foram finalizados e não foi inaugurado e foi aprovado pela Prefeirura projeto de terceirização.;25/01/2016 23:59:59;NÃO;SIM;Pelo sistema (com avisos por email);Internet;604645;Comércio, Serviços e Turismo;Turismo;1;05/01/2016 16:34:00;Segue resposta da área técnica “Retransmitimos as informações encaminhadas pela mandatária em decorrência da solicitação do requerente: 1 Em atenção à mensagem abaixo, informamos a impossibilidade de atendimento, tendo em vista que, segundo posicionamento da Gerência de Governo em Uberlândia/MG, a documentação dos contratos de repasse 0199798-28 e 0213631-23 não estão mais disponíveis na CAIXA, tendo em vista o disposto na Instrução Normativa STN 01/97, Art. 30, § 1º, que prevê a guarda documental pelo prazo de cinco anos contados a partir da aprovação da prestação de contas no Sistema Integrado de Administração Financeira do Governo Federal – SIAFI. 1.1 As operações tiveram as prestações de contas aprovadas pela CAIXA no SIAFI em 26/11/2008 sob os números 2008NS007495 e 2008NS007505 respectivamente. Atenciosamente, Coordenador-Geral de Monitoramento e Fiscalização Departamento de Infraestrutura Turística-DIETU” Informamos que, no caso de negativa de acesso à informação ou não fornecimento das razões de negativa de acesso, poderá ser interposto recurso, no sistema, no prazo de 10 (dez) dias, nas formas e condições estabelecidas no parágrafo único, do artigo 15, da Lei 12.527, de 18/11/2011 e no parágrafo único, do artigo 21, do Decreto 7.724, de 16/05/2012. A autoridade hierarquicamente superior à que adotou a decisão, irá apreciar o recurso. Lembramos que, a ferramenta de recurso não deve ser utilizada para especificar e/ou reformular pedidos, pois nestas situações é necessário preencher novo formulário.;Acesso Concedido;Resposta solicitada inserida no e-SIC
您可以将两个分隔符与 delimiter=",|\";\""
import pandas as pd
kwargs = {'sep': ';|\";\"', 'dtype': str, 'encoding': 'latin-1'}
teste_2016 = pd.read_csv("/home/reinaldo/Documentos/Code/e_sic_federal/2016/20200215_Pedidos_csv_2016.csv", **kwargs)
teste_2016.info()