<jupyter_start><jupyter_text>Parallel saves the links in .csv<jupyter_code>threads = []
for url in urls:
    crawler = bfs_crawler(url)
    thread = threading.Thread(target=save_links, args=(crawler,))
    threads.append(thread)
    thread.start()
    time.sleep(0.2)<jupyter_output><empty_output><jupyter_text>Saves the links from one site<jupyter_code>url = urls[1]
crawler = bfs_crawler(url)
print("Starting bfs_crawler on: {}".format(url))
save_links(url)
print("Finished bfs_crawler on: {}".format(url))<jupyter_output>Starting bfs_crawler on: https://www.colombo.com.br
Link Atual: http://www.colombo.com.br/a#login
Link Atual: http://www.colombo.com.br/a#pedidosCliente
Link Atual: http://www.colombo.com.br/#
Link Atual: http://www.colombo.com.br/a-empresa/0
Link Atual: http://www.colombo.com.br/nossas-lojas
Link Atual: http://www.colombo.com.br/relacao-com-investidores
Link Atual: https://trabalheconosco.colombo.com.br/candidatorh/
Link Atual: http://www.colombo.com.br/blog
Link Atual: http://www.colombo.com.br/colombo.custhelp.com
Link Atual: http://www.colombo.com.br/colombo.custhelp.com/app/answers/list
Link Atual: http://www.colombo.com.br/link/listaFornecedor
Link Atual: http://www.colombo.com.br/linksUteis/aba/procon
Link Atual: http://www.colombo.com.br/PoliticaVendas#23
Link Atual: http://www.colombo.com.br/PoliticaVendas#26
Link Atual: http://www.colombo.com.br/PoliticaVendas#18
Link Atual: http://www.colombo.com.br/PoliticaVendas#7
Link Atual: http://www.colombo.com.br/PoliticaVendas#2
Link[...]
StarcoderdataJupyterStructuredCleanDedup