.
O Microsoft Excel é excelente em muitas tarefas do dia-a-dia. Mas de vez em quando você encontra uma de suas deficiências: o tamanho de uma planilha. Abordamos como tornar uma planilha do Excel menor ou dividir um grande arquivo CSV em vários arquivos e temos vários métodos para você escolher.
Por que dividir um CSV grande em vários arquivos?
Você pode se perguntar: “Por que eu precisaria dividir um grande arquivo do Excel em vários arquivos menores?” É uma pergunta interessante, especialmente porque o Excel tem um limite de linhas de planilha de 1.048.576.
Mais de um milhão de linhas parece fenomenal. No entanto, atingir o limite de linha é mais fácil do que você pensa, especialmente durante determinadas tarefas. Por exemplo, se você estiver fazendo marketing por e-mail, poderá importar um arquivo CSV (O que é um arquivo CSV?) contendo milhões de endereços de e-mail. O único problema é: como você gerencia uma planilha com tantos endereços? Além disso, e se alguém lhe enviar um CSV que já ultrapasse o limite (de outro programa)?
Se isso soa como um problema que você provavelmente enfrentará, confira as cinco maneiras a seguir de dividir um grande arquivo CSV ou Excel em vários arquivos menores.
Não tem um arquivo CSV grande à mão, mas quer jogar junto em casa? Estou usando o conjunto de dados de pesquisa aberta COVID-19 nos exemplos, que você também pode baixar e usar.
1. Divida arquivos CSV usando um programa
Existem vários programas divisores de CSV úteis por aí. Aqui estão dois dos melhores. Aviso justo, porém, como esses programas funcionam, eles às vezes apresentam problemas de memória, um problema comum para programas de divisão de CSV.
Divisor de CSV Enorme Gratuito
O Free Huge CSV Splitter é uma ferramenta básica de divisão de CSV. Você insere o arquivo CSV que deseja dividir, a contagem de linhas que deseja usar e, em seguida, seleciona Arquivo dividido. A contagem de linhas determina o número de arquivos de saída com os quais você termina.
Divisor CSV
CSV Splitter é a segunda ferramenta. Ele oferece praticamente a mesma funcionalidade do Free Huge CSV Splitter, embora com um design um pouco mais elegante. Ele divide seu CSV em pequenos pedaços rapidamente, permitindo que você determine a contagem de linhas que deseja usar.
2. Use um arquivo em lote
Em seguida, crie um arquivo de lote programável. Você pode usar um arquivo em lote para processar o CSV em partes menores, personalizando o arquivo para entregar diferentes partes.
Abra um novo documento de texto e copie e cole o seguinte:
@echo offsetlocal ENABLEDELAYEDEXPANSION
REM Edit this value to change the name of the file that needs splitting. Include the extension.
SET BFN=HCAHPSHospital.csv
REM Edit this value to change the number of lines per file.
SET LPF=2500
REM Edit this value to change the name of each short file. It will be followed by a number indicating where it is in the list.
SET SFN=HosptialSplitFile
REM Do not change beyond this line.
SET SFX=%BFN:~-3%
SET /A LineNum=0
SET /A FileNum=1
For /F "delims==" %%l in (%BFN%) Do (
SET /A LineNum+=1
echo %%l >> %SFN%!FileNum!.%SFX%
if !LineNum! EQU !LPF! (
SET /A LineNum=0
SET /A FileNum+=1
)
)
endlocal
Pause
Você precisará configurar o arquivo em lote antes de executá-lo. Vou lhe dizer o que cada comando faz e você pode alterá-lo para se adequar ao tamanho do seu arquivo de lote, bem como à saída necessária.
- “DEFINIR BFN=” deve apontar para o CSV que você precisa dividir
- “DEFINIR LPF=” é o número de linhas que você gostaria de limitar seu novo arquivo para
- “DEFINIR SFN=” é o novo esquema de nomenclatura para seus arquivos divididos
Depois de inserir suas variáveis, vá para Arquivo > Salvar como. Escolha um nome de arquivo e selecione Salvar. Em seguida, selecione o arquivo de texto recém-salvo e pressione F2 para renomeá-lo. Substitua o .TXT extensão com .bastão e pressione OK quando o aviso aparecer. Agora, você pode dividir seu grande arquivo CSV em arquivos de saída menores.
3. Use um script do PowerShell para dividir um arquivo CSV
Você pode usar arquivos em lote para uma ampla variedade de tarefas diárias. Mas os scripts do PowerShell são mais rápidos, principalmente para esse tipo de processamento e divisão.
O script a seguir corta rapidamente seu CSV grande em arquivos menores.
Primeiro, pressione CTRL + X para abrir o menu de energia do Windows e selecione PowerShell. Se o PowerShell não for uma opção, insira powershell na barra de pesquisa do menu Iniciar e selecione a melhor correspondência.
Agora, copie e cole o seguinte script:
$InputFilename = Get-Content 'C:filelocation'$OutputFilenamePattern = 'output_done_'
$LineLimit = 50000
$line = 0
$i = 0
$file = 0
$start = 0
while ($line -le $InputFilename.Length) {
if ($i -eq $LineLimit -Or $line -eq $InputFilename.Length) {
$file++
$Filename = "$OutputFilenamePattern$file.csv"
$InputFilename[$start..($line-1)] | Out-File $Filename -Force
$start = $line;
$i = 0
Write-Host "$Filename"
}
$i++;
$line++
}
Substitua o local do arquivo na primeira linha pelo arquivo CSV e execute o script. O script gera os arquivos CSV menores em seu diretório de usuário. Por exemplo, meus arquivos CSV são encontrados em C:UsersGavin com o nome do arquivo output_done_1.csv. Você pode alterar o nome da saída alterando o $OutputFilenamePattern = ‘output_done_’ linha.
Você pode encontrar o script original em SPJeff.
4. Divida um CSV grande usando o Power Pivot
Sua penúltima solução para dividir um grande arquivo CSV em pequenos pedaços na verdade não o divide. Em vez disso, ele permite que você carregue seu enorme arquivo CSV no Excel e use a ferramenta Power Pivot para abri-lo. Isso mesmo; você pode efetivamente ignorar o limite de linhas do Excel e gerenciar o arquivo dentro do programa.
Você consegue isso criando um link de dados para o arquivo CSV e, em seguida, usando o Power Pivot para gerenciar o conteúdo. Para uma explicação completa e tutorial, leia o blog de Jose Barreto detalhando o processo.
Resumindo, Barreto cria uma Tabela Dinâmica usando “até 8,5 milhões de linhas sem nenhum problema”. A imagem acima vem da postagem do blog, mostrando um total de 2 milhões de linhas em uso no Excel.
Lembre-se de que esse processo não divide o CSV em pequenos pedaços. No entanto, isso significa que você pode manipular o CSV no Excel, que é uma alternativa muito útil. Se precisar de mais dicas, descubra como usar uma tabela dinâmica para análise de dados.
5. Divida CSV Grande Online Usando CSV Dividido
Também existem serviços online que dividem seu grande arquivo CSV em pedaços menores. Uma dessas opções é o Split CSV, um divisor de CSV online gratuito.
O Split CSV gerenciou bem o conjunto de dados COVID-19, dividindo-o em partes úteis. Assim como em outras ferramentas, você define a contagem de linhas para cada arquivo e permite dividi-lo. No entanto, eu não tinha um arquivo CSV grande para testar e, como tal, sua experiência pode variar.
O Split CSV também inclui opções premium. Por uma taxa de assinatura, você pode usar um delimitador personalizado, escolher uma seleção de tipos de arquivo de saída, remover determinados caracteres dos arquivos de saída e excluir linhas duplicadas.
Divida seus arquivos CSV em partes facilmente gerenciáveis
Agora você tem cinco soluções para dividir seus arquivos CSV em pequenos pedaços, tornando-os fáceis de gerenciar. As soluções variam em velocidade e tamanho dos arquivos CSV que podem gerenciar, então você pode ter que experimentar para encontrar a solução que funciona melhor para você. E a melhor parte de tudo? Essas técnicas de divisão de CSV funcionam no Windows 10 e no Windows 11. Você pode até usar a ferramenta de divisão de CSV online no macOS e Linux!
.
