本工具僅限學術交流使用,嚴格遵循相關法律法規,符合平台內容的合法及合規性,禁止用於任何商業用途!
一、背景分析
1.1 開發背景與功能介紹
我之前開發了幾個小紅書採集軟件,受到了很多相關用户的認可和關注,感謝大家。
曾經和很多用户聊過,他們希望有一個小工具,可以把小紅書個人主頁的鏈接(或者uid)轉換成小紅書號,或者反之(把小紅書號轉成主頁鏈接或uid),為了滿足這類需求,我特意用python開發了這款工具:xhs_trans_tool
功能很簡單,支持2個:
功能1、把小紅書主頁鏈接批量轉換成小紅書號:
自動導出轉換結果到csv文件:
功能2、把小紅書號批量轉換成主頁鏈接:
自動導出轉換結果到csv文件:
以上。
1.2 軟件説明
幾點重要説明,請詳讀了解:
- Windows系統、Mac系統均可運行
- 軟件通過接口協議爬取,並非通過模擬瀏覽器等RPA類工具,穩定性較高!
- 主頁鏈接➜小紅書號:無需安裝nodejs。無需填寫cookie
- 小紅書號➜主頁鏈接:需要安裝nodejs,且需要填寫cookie(內附具體配置教程)
- 軟件運行完成後,會在當前文件夾(即,軟件所在文件夾)生成csv結果文件
- 爬取過程中,每爬一條,存一次csv。並非爬完最後一次性保存!防止因異常中斷導致丟失前面的數據(每條間隔1~2s)
- 爬取過程中,有log文件詳細記錄運行過程,方便回溯
二、主要技術
2.1 模塊介紹
軟件全部模塊採用python語言開發,主要分工如下:
tkinter:GUI軟件界面
requests:爬蟲請求
json:解析響應數據
time:間隔等待,防止反爬
csv:保存csv結果
logging:日誌記錄
出於版權考慮,暫不公開完整源碼,僅向用户提供軟件使用。
2.2 部分源碼
軟件界面:
# 創建主窗口
root = tk.Tk()
root.title('小紅書轉換工具v1.0 | 馬哥python説')
# 設置窗口大小
root.minsize(width=850, height=660)
爬蟲請求:
# 發送請求
r = requests.post(url, headers=h1, data=json_data)
# 接收響應數據
json_data = r.json()
保存數據:
# 存入csv文件
with open(ins.result_file, 'a+', encoding='utf_8_sig', newline='') as f:
writer = csv.writer(f)
writer.writerow([url, redId])
日誌記錄:
def get_logger(self):
self.logger = logging.getLogger(__name__)
# 日誌格式
formatter = '[%(asctime)s-%(filename)s][%(funcName)s-%(lineno)d]--%(message)s'
# 日誌級別
self.logger.setLevel(logging.DEBUG)
# 控制枱日誌
sh = logging.StreamHandler()
log_formatter = logging.Formatter(formatter, datefmt='%Y-%m-%d %H:%M:%S')
# info日誌文件名
info_file_name = time.strftime("%Y-%m-%d") + '.log'
# 將其保存到特定目錄
case_dir = r'./logs/'
info_handler = TimedRotatingFileHandler(filename=case_dir + info_file_name,
when='MIDNIGHT',
interval=1,
backupCount=7,
encoding='utf-8')
self.logger.addHandler(sh)
sh.setFormatter(log_formatter)
self.logger.addHandler(info_handler)
info_handler.setFormatter(log_formatter)
return self.logger
三、演示視頻
軟件使用過程演示:【軟件演示】小紅書批量轉換工具,主頁鏈接和小紅書號互轉!
五、原創聲明
軟件【小紅書轉換工具】首發於眾公號"老男孩的平凡之路",歡迎交流!!
我是 @馬哥python説 ,一名10年程序猿,持續分享python乾貨。