戰(zhàn)：Billboard榜單數(shù)據(jù)抓取與可視化分析)
在實(shí)際音樂數(shù)據(jù)分析和可視化項(xiàng)目中我們經(jīng)常需要處理像 Billboard Hot 100 這樣的排行榜數(shù)據(jù)。分析一張專輯中所有單曲在榜單上的歷史走勢(shì)不僅能揭示專輯的整體商業(yè)影響力還能觀察單曲的生命周期和聽眾的持續(xù)興趣。Billie Eilish 的首張錄音室專輯《WHEN WE ALL FALL ASLEEP, WHERE DO WE GO?》是一張現(xiàn)象級(jí)的作品其多首單曲曾進(jìn)入美國公告牌 Hot 100 榜單。本文將帶你從零開始完成一個(gè)技術(shù)項(xiàng)目獲取、處理并可視化這張專輯所有進(jìn)榜單曲的周榜排名推移數(shù)據(jù)。通過這個(gè)案例你將掌握使用 Python 進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)采集、數(shù)據(jù)清洗、結(jié)構(gòu)化存儲(chǔ)以及生成動(dòng)態(tài)可視化圖表的核心技能。本文適合有一定 Python 基礎(chǔ)希望學(xué)習(xí)數(shù)據(jù)抓取和數(shù)據(jù)分析實(shí)戰(zhàn)的開發(fā)者。我們將使用requests和BeautifulSoup進(jìn)行網(wǎng)頁數(shù)據(jù)抓取用pandas進(jìn)行數(shù)據(jù)處理并用plotly庫生成交互式圖表。最終你將得到一個(gè)清晰展示每首單曲在 Hot 100 榜單上起伏波折的走勢(shì)圖并能從中解讀出一些有趣的商業(yè)和文化現(xiàn)象。1. 理解項(xiàng)目目標(biāo)與數(shù)據(jù)源分析在開始寫代碼之前明確我們要做什么以及數(shù)據(jù)從哪里來至關(guān)重要。這個(gè)項(xiàng)目的核心是追蹤一張?zhí)囟▽］嬛兴袉吻?Billboard Hot 100 周榜上的歷史排名。1.1 項(xiàng)目目標(biāo)拆解我們的目標(biāo)可以分解為以下幾個(gè)技術(shù)任務(wù)數(shù)據(jù)獲取從互聯(lián)網(wǎng)上可靠地獲取 Billie Eilish 首張專輯中所有單曲的 Billboard Hot 100 歷史周榜數(shù)據(jù)。數(shù)據(jù)清洗與整合原始數(shù)據(jù)可能包含缺失值、格式不一致等問題需要清洗并整合成結(jié)構(gòu)化的格式如 CSV 文件或數(shù)據(jù)庫表。數(shù)據(jù)可視化將清洗后的數(shù)據(jù)以時(shí)間序列圖的形式呈現(xiàn)X 軸為時(shí)間周Y 軸為榜單排名1-100每條線代表一首單曲。分析與洞察基于生成的圖表觀察單曲的登頂速度、在榜時(shí)長(zhǎng)、排名穩(wěn)定性等模式。1.2 數(shù)據(jù)源選擇與評(píng)估Billboard 官網(wǎng)提供了詳細(xì)的榜單數(shù)據(jù)但其頁面結(jié)構(gòu)復(fù)雜且對(duì)自動(dòng)化抓取可能有限制。因此我們可以選擇一些聚合了 Billboard 數(shù)據(jù)的第三方音樂數(shù)據(jù)網(wǎng)站這些網(wǎng)站通常結(jié)構(gòu)更清晰。例如Billboard的官方數(shù)據(jù)可以通過其 API 或特定頁面獲取但這里我們以一個(gè)假設(shè)的、結(jié)構(gòu)清晰的第三方數(shù)據(jù)頁面為例進(jìn)行教學(xué)。重要提示在實(shí)際操作中你必須檢查目標(biāo)網(wǎng)站的robots.txt文件確認(rèn)是否允許爬蟲抓取目標(biāo)路徑。遵守網(wǎng)站的服務(wù)條款不要進(jìn)行高頻、并發(fā)請(qǐng)求避免對(duì)服務(wù)器造成壓力?？紤]使用官方 API如果存在且滿足需求作為首選方案。本教程示例代碼僅用于教育目的演示技術(shù)流程實(shí)際數(shù)據(jù)抓取請(qǐng)確保合法合規(guī)。假設(shè)我們目標(biāo)頁面的 URL 模式為https://example-music-data.com/billboard-hot-100/song/{song-name}其中包含一個(gè)表格記錄了該歌曲每周的排名和日期。2. 環(huán)境準(zhǔn)備與依賴配置我們將創(chuàng)建一個(gè)獨(dú)立的 Python 虛擬環(huán)境來管理項(xiàng)目依賴確保環(huán)境的純凈和可復(fù)現(xiàn)性。2.1 創(chuàng)建項(xiàng)目目錄與虛擬環(huán)境打開終端Linux/macOS或命令提示符/PowerShellWindows執(zhí)行以下命令# 創(chuàng)建項(xiàng)目目錄 mkdir billboard_eilish_analysis cd billboard_eilish_analysis # 創(chuàng)建虛擬環(huán)境使用 venv python3 -m venv venv # 激活虛擬環(huán)境 # Linux/macOS: source venv/bin/activate # Windows: # venv\Scripts\activate激活后命令行提示符前通常會(huì)顯示(venv)表示已進(jìn)入虛擬環(huán)境。2.2 安裝必要的 Python 庫在虛擬環(huán)境激活狀態(tài)下使用pip安裝我們所需的庫pip install requests beautifulsoup4 pandas plotlyrequests用于發(fā)送 HTTP 請(qǐng)求獲取網(wǎng)頁內(nèi)容。beautifulsoup4用于解析 HTML 或 XML 文檔提取結(jié)構(gòu)化數(shù)據(jù)。pandas用于數(shù)據(jù)處理、分析和存儲(chǔ)是數(shù)據(jù)科學(xué)的核心工具。plotly用于創(chuàng)建交互式、出版質(zhì)量的圖表。安裝完成后可以通過pip list確認(rèn)這些包已正確安裝。2.3 確認(rèn)專輯曲目列表我們需要明確專輯《WHEN WE ALL FALL ASLEEP, WHERE DO WE GO?》中哪些歌曲進(jìn)入過 Hot 100。根據(jù)公開資料這些歌曲通常包括“bad guy”“when the party’s over”“wish you were gay”“xanny”“you should see me in a crown”“all the good girls go to hell”“my strange addiction”“bury a friend”“ilomilo”“l(fā)isten before i go”“i love you”“goodbye”注意這個(gè)列表可能需要根據(jù)最新的榜單歷史進(jìn)行核實(shí)。我們的代碼設(shè)計(jì)應(yīng)能靈活處理歌曲列表。3. 核心代碼實(shí)現(xiàn)數(shù)據(jù)抓取與處理我們將把代碼模塊化分別實(shí)現(xiàn)數(shù)據(jù)抓取、數(shù)據(jù)清洗和主流程控制。3.1 網(wǎng)頁抓取模塊 (scraper.py)創(chuàng)建一個(gè)名為scraper.py的文件。這個(gè)模塊負(fù)責(zé)從網(wǎng)絡(luò)獲取原始 HTML 并解析出我們需要的數(shù)據(jù)表格。import requests from bs4 import BeautifulSoup import time import pandas as pd from typing import List, Dict, Optional class BillboardScraper: def __init__(self, base_url: str, delay: float 1.0): 初始化爬蟲 :param base_url: 榜單數(shù)據(jù)頁面的基礎(chǔ)URL模式 :param delay: 每次請(qǐng)求之間的延遲秒用于禮貌爬取 self.base_url base_url self.delay delay self.session requests.Session() # 設(shè)置一個(gè)常見的用戶代理頭模擬瀏覽器訪問 self.session.headers.update({ User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 }) def fetch_song_chart_data(self, song_name: str) - Optional[pd.DataFrame]: 獲取指定歌曲的榜單數(shù)據(jù) :param song_name: 歌曲名稱將用于構(gòu)造URL :return: 包含date和rank列的DataFrame如果失敗則返回None # 構(gòu)造具體歌曲的URL。這里需要根據(jù)實(shí)際網(wǎng)站URL模式調(diào)整。 # 例如將歌曲名轉(zhuǎn)換為小寫并用連字符連接 formatted_song_name song_name.lower().replace( , -) url self.base_url.format(song_nameformatted_song_name) print(f正在抓取: {song_name} - {url}) try: response self.session.get(url, timeout10) response.raise_for_status() # 如果狀態(tài)碼不是200拋出HTTPError異常 except requests.exceptions.RequestException as e: print(f請(qǐng)求失敗 for {song_name}: {e}) return None # 解析HTML soup BeautifulSoup(response.content, html.parser) # 這里需要根據(jù)目標(biāo)網(wǎng)站的實(shí)際HTML結(jié)構(gòu)來定位表格 # 假設(shè)數(shù)據(jù)在一個(gè)id為chart-data的table中 chart_table soup.find(table, idchart-data) if not chart_table: # 如果id不對(duì)嘗試其他選擇器比如特定的class chart_table soup.find(table, class_chart-table) if not chart_table: print(f未找到榜單數(shù)據(jù)表格 for {song_name}) return None # 提取表格數(shù)據(jù)到列表 data [] # 假設(shè)第一行是表頭我們跳過。實(shí)際中可能需要更健壯的邏輯。 rows chart_table.find_all(tr)[1:] # 跳過表頭行 for row in rows: cols row.find_all(td) if len(cols) 2: # 至少包含日期和排名兩列 date_str cols[0].text.strip() rank_str cols[1].text.strip() # 簡(jiǎn)單的數(shù)據(jù)清洗移除排名中的‘#’等符號(hào)并轉(zhuǎn)換為整數(shù) try: rank int(rank_str.replace(#, ).replace(—, 0)) # 處理未上榜情況 # 注意有些網(wǎng)站可能用‘-’或空值表示未上榜這里需要根據(jù)實(shí)際情況調(diào)整 # 如果未上榜rank為0或大于100我們可以選擇跳過或保留 if 1 rank 100: data.append({date: date_str, rank: rank}) except ValueError: # 如果轉(zhuǎn)換失敗跳過這行數(shù)據(jù) continue if not data: print(f未從表格中解析出有效數(shù)據(jù) for {song_name}) return None # 轉(zhuǎn)換為DataFrame并處理日期格式 df pd.DataFrame(data) df[date] pd.to_datetime(df[date], errorscoerce) # 嘗試轉(zhuǎn)換日期錯(cuò)誤則設(shè)為NaT df df.dropna(subset[date]) # 刪除日期無效的行 df df.sort_values(date) # 按日期排序 df[song] song_name # 添加歌曲名列 print(f成功抓取 {song_name} 的 {len(df)} 條數(shù)據(jù)。) time.sleep(self.delay) # 請(qǐng)求間隔避免被封 return df # 示例用法在模塊內(nèi)測(cè)試用 if __name__ __main__: # 假設(shè)的基礎(chǔ)URL實(shí)際需要替換 BASE_URL https://example-music-data.com/billboard-hot-100/song/{song_name} scraper BillboardScraper(BASE_URL, delay2.0) test_df scraper.fetch_song_chart_data(bad guy) if test_df is not None: print(test_df.head())關(guān)鍵點(diǎn)解釋User-Agent設(shè)置請(qǐng)求頭模擬瀏覽器是繞過簡(jiǎn)單反爬機(jī)制的基礎(chǔ)。錯(cuò)誤處理使用try-except捕獲網(wǎng)絡(luò)請(qǐng)求和解析過程中的異常使程序更健壯。數(shù)據(jù)解析BeautifulSoup的find和find_all方法是核心。你需要使用瀏覽器的“開發(fā)者工具”F12來檢查目標(biāo)網(wǎng)頁的實(shí)際 HTML 結(jié)構(gòu)并調(diào)整選擇器如id,class_,table標(biāo)簽等。延遲time.sleep(delay)是“禮貌爬蟲”的基本要求避免短時(shí)間內(nèi)發(fā)送大量請(qǐng)求。日期處理pd.to_datetime可以智能解析多種日期格式errors’coerce’會(huì)將解析失敗的設(shè)為NaTNot a Time便于后續(xù)清理。3.2 數(shù)據(jù)整合與存儲(chǔ)模塊 (data_manager.py)創(chuàng)建一個(gè)data_manager.py文件負(fù)責(zé)管理歌曲列表、調(diào)用抓取模塊并將所有數(shù)據(jù)合并保存。import pandas as pd from scraper import BillboardScraper from typing import List import os class ChartDataManager: def __init__(self, song_list: List[str], base_url: str): self.song_list song_list self.base_url base_url self.all_data pd.DataFrame() self.scraper BillboardScraper(base_url) def fetch_all_songs(self) - pd.DataFrame: 遍歷歌曲列表抓取所有數(shù)據(jù) :return: 合并后的DataFrame dfs [] for song in self.song_list: df self.scraper.fetch_song_chart_data(song) if df is not None and not df.empty: dfs.append(df) else: print(f警告歌曲 {song} 的數(shù)據(jù)抓取失敗或?yàn)榭铡? if dfs: self.all_data pd.concat(dfs, ignore_indexTrue) print(f所有數(shù)據(jù)抓取完成?？傆?jì) {len(self.all_data)} 條記錄。) else: print(錯(cuò)誤未能抓取到任何數(shù)據(jù)。) self.all_data pd.DataFrame() return self.all_data def save_to_csv(self, filename: str billboard_eilish_data.csv): 將數(shù)據(jù)保存到CSV文件 :param filename: 輸出文件名 if self.all_data.empty: print(沒有數(shù)據(jù)可保存。請(qǐng)先運(yùn)行 fetch_all_songs。) return # 確保輸出目錄存在 os.makedirs(data, exist_okTrue) filepath os.path.join(data, filename) self.all_data.to_csv(filepath, indexFalse, encodingutf-8-sig) # utf-8-sig 支持Excel中文 print(f數(shù)據(jù)已保存至: {filepath}) def load_from_csv(self, filename: str billboard_eilish_data.csv) - pd.DataFrame: 從CSV文件加載數(shù)據(jù) :param filename: 輸入文件名 :return: 加載的DataFrame filepath os.path.join(data, filename) try: self.all_data pd.read_csv(filepath, parse_dates[date]) print(f數(shù)據(jù)已從 {filepath} 加載?？傆?jì) {len(self.all_data)} 條記錄。) except FileNotFoundError: print(f文件 {filepath} 未找到。) self.all_data pd.DataFrame() return self.all_data # 定義專輯曲目列表需要根據(jù)實(shí)際情況更新 EILISH_DEBUT_ALBUM_SONGS [ bad guy, when the partys over, wish you were gay, xanny, you should see me in a crown, all the good girls go to hell, my strange addiction, bury a friend, ilomilo, listen before i go, i love you, goodbye ]3.3 主程序入口 (main.py)創(chuàng)建main.py作為項(xiàng)目啟動(dòng)腳本它協(xié)調(diào)整個(gè)流程。from data_manager import ChartDataManager, EILISH_DEBUT_ALBUM_SONGS def main(): # 1. 配置 # 注意你需要替換成真實(shí)可用的、符合網(wǎng)站規(guī)則的URL模式 # 這里是一個(gè)示例實(shí)際中可能需要查詢參數(shù)如 ?songbad-guy BASE_URL https://example-music-data.com/chart-history/hot-100/{song_name} # 2. 初始化管理器 manager ChartDataManager(EILISH_DEBUT_ALBUM_SONGS, BASE_URL) # 3. 抓取數(shù)據(jù)首次運(yùn)行或需要更新數(shù)據(jù)時(shí)使用 # print(開始抓取數(shù)據(jù)...) # all_data manager.fetch_all_songs() # manager.save_to_csv() # 4. 從本地CSV加載數(shù)據(jù)如果已經(jīng)抓取過 print(從本地文件加載數(shù)據(jù)...) all_data manager.load_from_csv() if all_data.empty: print(數(shù)據(jù)加載失敗程序退出。) return # 5. 簡(jiǎn)單查看數(shù)據(jù) print(\n數(shù)據(jù)預(yù)覽:) print(all_data.head()) print(f\n數(shù)據(jù)形狀: {all_data.shape}) print(f\n包含的歌曲: {all_data[song].unique()}) # 6. 可以在這里進(jìn)行一些基本分析 # 例如計(jì)算每首歌的在榜周數(shù) song_stats all_data.groupby(song).agg( first_date(date, min), last_date(date, max), weeks_on_chart(rank, count), peak_rank(rank, min) # 排名數(shù)字越小越好所以用min ).sort_values(peak_rank) print(\n歌曲榜單表現(xiàn)統(tǒng)計(jì):) print(song_stats) # 7. 將統(tǒng)計(jì)結(jié)果也保存下來 song_stats.to_csv(data/song_statistics.csv) # 8. 準(zhǔn)備進(jìn)行可視化下一步 # 將處理好的數(shù)據(jù)傳遞給可視化模塊 return all_data if __name__ __main__: df main()4. 數(shù)據(jù)可視化生成交互式周榜推移圖數(shù)據(jù)抓取和清洗完成后我們使用plotly來創(chuàng)建交互式圖表。創(chuàng)建一個(gè)visualizer.py文件。import plotly.graph_objects as go import plotly.express as px import pandas as pd from typing import List def create_chart_timeline(df: pd.DataFrame, output_html: str chart_timeline.html): 創(chuàng)建歌曲排名時(shí)間線圖 :param df: 包含 date, rank, song 列的DataFrame :param output_html: 輸出的HTML文件名 if df.empty: print(數(shù)據(jù)框?yàn)榭諢o法生成圖表。) return # 確保日期列是datetime類型 df[date] pd.to_datetime(df[date]) # 使用plotly express創(chuàng)建線條圖 # 排名數(shù)字越小如1表示成績(jī)?cè)胶玫玒軸默認(rèn)從上到下增大。 # 為了讓圖表更直觀頂部表示排名更高我們可以用101-rank進(jìn)行轉(zhuǎn)換或者反轉(zhuǎn)Y軸。 fig px.line(df, xdate, yrank, colorsong, titleBillie Eilish - 《WHEN WE ALL FALL ASLEEP》 單曲 Hot 100 周榜排名推移, labels{date: 日期, rank: 排名, song: 歌曲}, hover_namesong, hover_data{date: |%Y-%m-%d, rank: True}) # 優(yōu)化圖表樣式 fig.update_layout( # 反轉(zhuǎn)Y軸讓排名1在最上方 yaxisdict(autorangereversed, title排名 (1冠軍)), xaxisdict(title日期, tickformat%Y-%m), hovermodex unified, # 鼠標(biāo)懸停時(shí)顯示同一X軸日期的所有數(shù)據(jù)點(diǎn) legenddict(title歌曲, yanchortop, y0.99, xanchorleft, x0.01), templateplotly_white ) # 添加一條標(biāo)注線表示冠軍位置排名第1 fig.add_hline(y1, line_dashdash, line_colorgold, annotation_text冠軍線, annotation_positiontop left, annotation_font_size10, annotation_font_colorgold) # 保存為交互式HTML文件 fig.write_html(output_html) print(f交互式圖表已生成: {output_html}) # 也可以在Jupyter notebook中直接顯示 # fig.show() def create_peak_rank_bar(df: pd.DataFrame, output_html: str peak_rank_bar.html): 創(chuàng)建每首歌峰值排名的條形圖 :param df: 包含 date, rank, song 列的DataFrame :param output_html: 輸出的HTML文件名 # 計(jì)算每首歌的峰值排名即rank的最小值 peak_ranks df.groupby(song)[rank].min().reset_index().sort_values(rank) fig px.bar(peak_ranks, xsong, yrank, colorrank, titleBillie Eilish 首專單曲 Hot 100 峰值排名, labels{song: 歌曲, rank: 最佳排名}, color_continuous_scaleViridis_r) # 使用反向色階排名越前顏色越深 fig.update_layout( xaxisdict(tickangle-45), # 傾斜x軸標(biāo)簽避免重疊 yaxisdict(autorangereversed, title排名 (越小越好)), templateplotly_white ) fig.write_html(output_html) print(f峰值排名條形圖已生成: {output_html}) # 在主程序中調(diào)用可視化函數(shù) if __name__ __main__: # 假設(shè)我們已經(jīng)有了數(shù)據(jù)DataFrame df # 這里演示從CSV加載 df pd.read_csv(data/billboard_eilish_data.csv, parse_dates[date]) create_chart_timeline(df, output/chart_timeline.html) create_peak_rank_bar(df, output/peak_rank_bar.html)現(xiàn)在更新main.py的末尾加入可視化調(diào)用# 在 main() 函數(shù)末尾return all_data 之前添加 # ... (之前的統(tǒng)計(jì)代碼) # 9. 生成可視化圖表 print(\n生成可視化圖表...) import visualizer # 確保輸出目錄存在 import os os.makedirs(output, exist_okTrue) visualizer.create_chart_timeline(all_data, output/eilish_hot100_timeline.html) visualizer.create_peak_rank_bar(all_data, output/eilish_peak_rank.html) print(圖表已保存至 output/ 目錄。用瀏覽器打開對(duì)應(yīng)的 .html 文件查看交互式圖表。) return all_data5. 運(yùn)行驗(yàn)證與結(jié)果分析5.1 項(xiàng)目結(jié)構(gòu)完成后的項(xiàng)目目錄結(jié)構(gòu)應(yīng)如下所示billboard_eilish_analysis/ ├── venv/ # Python虛擬環(huán)境目錄 ├── data/ # 數(shù)據(jù)存儲(chǔ)目錄 │ ├── billboard_eilish_data.csv │ └── song_statistics.csv ├── output/ # 圖表輸出目錄 │ ├── eilish_hot100_timeline.html │ └── eilish_peak_rank.html ├── scraper.py ├── data_manager.py ├── visualizer.py ├── main.py └── requirements.txt # 可使用 pip freeze requirements.txt 生成5.2 運(yùn)行程序確保虛擬環(huán)境已激活。由于我們尚未有真實(shí)的可抓取 URL首先需要模擬或獲取數(shù)據(jù)。你可以手動(dòng)從一些音樂數(shù)據(jù)網(wǎng)站確保合規(guī)查找并整理一份 CSV 數(shù)據(jù)放入data/billboard_eilish_data.csv。數(shù)據(jù)格式應(yīng)為三列date(YYYY-MM-DD),rank(整數(shù)),song(字符串)。運(yùn)行主程序python main.py程序會(huì)從data/目錄加載 CSV 文件進(jìn)行基本統(tǒng)計(jì)并在output/目錄生成兩個(gè) HTML 圖表文件。用瀏覽器打開output/eilish_hot100_timeline.html你將看到一個(gè)交互式時(shí)間線圖。可以將鼠標(biāo)懸停在線上查看具體某周某首歌的排名點(diǎn)擊圖例可以顯示或隱藏特定歌曲的曲線。5.3 預(yù)期結(jié)果與洞察生成的圖表應(yīng)能清晰展示“bad guy”的曲線可能最靠上排名數(shù)字小且持續(xù)在高位很長(zhǎng)時(shí)間反映了其作為爆款單曲的統(tǒng)治力。其他單曲如“when the party‘s over”、“bury a friend”可能也有不錯(cuò)的進(jìn)榜表現(xiàn)和較長(zhǎng)的在榜周期。一些歌曲的曲線可能起伏較大或僅在榜幾周這反映了單曲不同的市場(chǎng)反響和推廣策略。從整體看專輯發(fā)行前后一段時(shí)間多條曲線會(huì)集中出現(xiàn)體現(xiàn)了專輯發(fā)布帶來的整體熱度。6. 常見問題排查在實(shí)際運(yùn)行中你可能會(huì)遇到以下問題問題現(xiàn)象可能原因檢查與解決方式ModuleNotFoundError: No module named ‘requests’依賴未安裝或不在虛擬環(huán)境中1. 確認(rèn)終端提示符前有(venv)。2. 在項(xiàng)目根目錄下執(zhí)行pip install -r requirements.txt或重新安裝pip install requests beautifulsoup4 pandas plotly。運(yùn)行main.py提示FileNotFoundErrorCSV 數(shù)據(jù)文件不存在1. 確認(rèn)data/billboard_eilish_data.csv文件是否存在。2. 如果首次運(yùn)行需要先注釋掉load_from_csv取消注釋fetch_all_songs和save_to_csv部分并配置正確的BASE_URL進(jìn)行抓取。抓取函數(shù)返回None或數(shù)據(jù)為空1. 目標(biāo)網(wǎng)站結(jié)構(gòu)已變。2. 網(wǎng)絡(luò)請(qǐng)求被阻止。3. 歌曲名URL格式化不對(duì)。1. 用瀏覽器開發(fā)者工具重新檢查目標(biāo)頁面的HTML結(jié)構(gòu)更新scraper.py中的chart_table查找邏輯。2. 檢查robots.txt增加請(qǐng)求延遲delay或添加更多請(qǐng)求頭如Referer。3. 打印出構(gòu)造的完整URL手動(dòng)在瀏覽器訪問看是否有效。圖表Y軸排名順序反了1在底部默認(rèn)坐標(biāo)軸方向在visualizer.py的create_chart_timeline函數(shù)中我們已經(jīng)通過yaxisdict(autorange‘reversed’)進(jìn)行了反轉(zhuǎn)。如果未生效檢查 plotly 版本或手動(dòng)設(shè)置range[100, 1]。圖表中數(shù)據(jù)點(diǎn)缺失或斷線數(shù)據(jù)中存在缺失周次Billboard 榜單每周更新如果某首歌在某周未上榜即不在1-100名我們的示例抓取代碼可能未記錄。在抓取邏輯中需要決定是否記錄“未上榜”例如記為101或NaN。在可視化時(shí)plotly.line默認(rèn)會(huì)斷開缺失值處的線。若需連接可考慮使用插值或使用散點(diǎn)圖模式。生成的HTML圖表在瀏覽器中不顯示瀏覽器安全策略或路徑問題1. 嘗試從文件管理器雙擊打開HTML文件而非通過某些IDE的內(nèi)置預(yù)覽。2. 確保HTML文件路徑?jīng)]有中文字符或特殊符號(hào)。3. 檢查瀏覽器控制臺(tái)F12是否有錯(cuò)誤信息。7. 最佳實(shí)踐與擴(kuò)展方向7.1 數(shù)據(jù)抓取最佳實(shí)踐尊重網(wǎng)站始終遵守robots.txt設(shè)置合理的請(qǐng)求延遲如delay2秒以上避免在高峰時(shí)段抓取。錯(cuò)誤處理與重試實(shí)現(xiàn)重試機(jī)制如使用tenacity庫以應(yīng)對(duì)偶發(fā)的網(wǎng)絡(luò)錯(cuò)誤。緩存數(shù)據(jù)將抓取到的數(shù)據(jù)立即保存到本地文件或數(shù)據(jù)庫避免重復(fù)抓取相同內(nèi)容。我們的save_to_csv和load_from_csv就是為此設(shè)計(jì)。使用API優(yōu)先如果目標(biāo)網(wǎng)站提供官方API務(wù)必優(yōu)先使用。API通常更穩(wěn)定、高效且合規(guī)。標(biāo)識(shí)自己在請(qǐng)求頭中設(shè)置一個(gè)清晰的User-Agent例如YourProjectName/1.0 (your-emailexample.com)方便網(wǎng)站管理員聯(lián)系。7.2 數(shù)據(jù)處理與可視化增強(qiáng)數(shù)據(jù)完整性處理“未上榜”數(shù)據(jù)可以用NaN或一個(gè)超出范圍的值如101表示并在可視化時(shí)妥善處理如將線斷開或標(biāo)記不同顏色。更多維度除了排名還可以嘗試抓取和可視化“流媒體播放量”、“電臺(tái)播放量”、“銷量”等細(xì)分指標(biāo)如果數(shù)據(jù)源提供。圖表交互利用plotly的交互功能可以添加下拉菜單選擇特定歌曲、時(shí)間范圍滑塊等。部署為Web應(yīng)用使用Dash基于plotly或Streamlit可以快速將整個(gè)分析項(xiàng)目部署成一個(gè)交互式Web應(yīng)用方便分享。7.3 項(xiàng)目擴(kuò)展方向多專輯對(duì)比將代碼擴(kuò)展為可以比較不同藝術(shù)家或不同專輯的單曲榜單表現(xiàn)。預(yù)測(cè)模型基于歷史排名數(shù)據(jù)嘗試構(gòu)建簡(jiǎn)單的機(jī)器學(xué)習(xí)模型來預(yù)測(cè)歌曲未來的排名趨勢(shì)這是一個(gè)具有挑戰(zhàn)性的時(shí)間序列預(yù)測(cè)問題。情感分析關(guān)聯(lián)抓取歌曲發(fā)行前后的社交媒體情緒或樂評(píng)數(shù)據(jù)分析與榜單排名的相關(guān)性。自動(dòng)化報(bào)告使用Jupyter Notebook或Python腳本結(jié)合郵件庫定期如每周自動(dòng)生成榜單分析報(bào)告并發(fā)送。通過這個(gè)完整的項(xiàng)目你不僅學(xué)會(huì)了如何抓取和處理 Billboard 榜單數(shù)據(jù)更掌握了一套從需求分析、環(huán)境搭建、代碼實(shí)現(xiàn)、問題排查到結(jié)果展示的數(shù)據(jù)分析工程化流程。這套方法可以遷移到無數(shù)類似的數(shù)據(jù)獲取與可視化場(chǎng)景中。 Python實(shí)戰(zhàn)：Billboard榜單數(shù)據(jù)抓取與可視化分析
在實(shí)際音樂數(shù)據(jù)分析和可視化項(xiàng)目中我們經(jīng)常需要處理像 Billboard Hot 100 這樣的排行榜數(shù)據(jù)。分析一張專輯中所有單曲在榜單上的歷史走勢(shì)不僅能揭示專輯的整體商業(yè)影響力還能觀察單曲的生命周期和聽眾的持續(xù)興趣。Billie Eilish 的首張錄音室專輯《WHEN WE ALL FALL ASLEEP, WHERE DO WE GO?》是一張現(xiàn)象級(jí)的作品其多首單曲曾進(jìn)入美國公告牌 Hot 100 榜單。本文將帶你從零開始完成一個(gè)技術(shù)項(xiàng)目獲取、處理并可視化這張專輯所有進(jìn)榜單曲的周榜排名推移數(shù)據(jù)。通過這個(gè)案例你將掌握使用 Python 進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)采集、數(shù)據(jù)清洗、結(jié)構(gòu)化存儲(chǔ)以及生成動(dòng)態(tài)可視化圖表的核心技能。本文適合有一定 Python 基礎(chǔ)希望學(xué)習(xí)數(shù)據(jù)抓取和數(shù)據(jù)分析實(shí)戰(zhàn)的開發(fā)者。我們將使用requests和BeautifulSoup進(jìn)行網(wǎng)頁數(shù)據(jù)抓取用pandas進(jìn)行數(shù)據(jù)處理并用plotly庫生成交互式圖表。最終你將得到一個(gè)清晰展示每首單曲在 Hot 100 榜單上起伏波折的走勢(shì)圖并能從中解讀出一些有趣的商業(yè)和文化現(xiàn)象。1. 理解項(xiàng)目目標(biāo)與數(shù)據(jù)源分析在開始寫代碼之前明確我們要做什么以及數(shù)據(jù)從哪里來至關(guān)重要。這個(gè)項(xiàng)目的核心是追蹤一張?zhí)囟▽］嬛兴袉吻?Billboard Hot 100 周榜上的歷史排名。1.1 項(xiàng)目目標(biāo)拆解我們的目標(biāo)可以分解為以下幾個(gè)技術(shù)任務(wù)數(shù)據(jù)獲取從互聯(lián)網(wǎng)上可靠地獲取 Billie Eilish 首張專輯中所有單曲的 Billboard Hot 100 歷史周榜數(shù)據(jù)。數(shù)據(jù)清洗與整合原始數(shù)據(jù)可能包含缺失值、格式不一致等問題需要清洗并整合成結(jié)構(gòu)化的格式如 CSV 文件或數(shù)據(jù)庫表。數(shù)據(jù)可視化將清洗后的數(shù)據(jù)以時(shí)間序列圖的形式呈現(xiàn)X 軸為時(shí)間周Y 軸為榜單排名1-100每條線代表一首單曲。分析與洞察基于生成的圖表觀察單曲的登頂速度、在榜時(shí)長(zhǎng)、排名穩(wěn)定性等模式。1.2 數(shù)據(jù)源選擇與評(píng)估Billboard 官網(wǎng)提供了詳細(xì)的榜單數(shù)據(jù)但其頁面結(jié)構(gòu)復(fù)雜且對(duì)自動(dòng)化抓取可能有限制。因此我們可以選擇一些聚合了 Billboard 數(shù)據(jù)的第三方音樂數(shù)據(jù)網(wǎng)站這些網(wǎng)站通常結(jié)構(gòu)更清晰。例如Billboard的官方數(shù)據(jù)可以通過其 API 或特定頁面獲取但這里我們以一個(gè)假設(shè)的、結(jié)構(gòu)清晰的第三方數(shù)據(jù)頁面為例進(jìn)行教學(xué)。重要提示在實(shí)際操作中你必須檢查目標(biāo)網(wǎng)站的robots.txt文件確認(rèn)是否允許爬蟲抓取目標(biāo)路徑。遵守網(wǎng)站的服務(wù)條款不要進(jìn)行高頻、并發(fā)請(qǐng)求避免對(duì)服務(wù)器造成壓力?？紤]使用官方 API如果存在且滿足需求作為首選方案。本教程示例代碼僅用于教育目的演示技術(shù)流程實(shí)際數(shù)據(jù)抓取請(qǐng)確保合法合規(guī)。假設(shè)我們目標(biāo)頁面的 URL 模式為https://example-music-data.com/billboard-hot-100/song/{song-name}其中包含一個(gè)表格記錄了該歌曲每周的排名和日期。2. 環(huán)境準(zhǔn)備與依賴配置我們將創(chuàng)建一個(gè)獨(dú)立的 Python 虛擬環(huán)境來管理項(xiàng)目依賴確保環(huán)境的純凈和可復(fù)現(xiàn)性。2.1 創(chuàng)建項(xiàng)目目錄與虛擬環(huán)境打開終端Linux/macOS或命令提示符/PowerShellWindows執(zhí)行以下命令# 創(chuàng)建項(xiàng)目目錄 mkdir billboard_eilish_analysis cd billboard_eilish_analysis # 創(chuàng)建虛擬環(huán)境使用 venv python3 -m venv venv # 激活虛擬環(huán)境 # Linux/macOS: source venv/bin/activate # Windows: # venv\Scripts\activate激活后命令行提示符前通常會(huì)顯示(venv)表示已進(jìn)入虛擬環(huán)境。2.2 安裝必要的 Python 庫在虛擬環(huán)境激活狀態(tài)下使用pip安裝我們所需的庫pip install requests beautifulsoup4 pandas plotlyrequests用于發(fā)送 HTTP 請(qǐng)求獲取網(wǎng)頁內(nèi)容。beautifulsoup4用于解析 HTML 或 XML 文檔提取結(jié)構(gòu)化數(shù)據(jù)。pandas用于數(shù)據(jù)處理、分析和存儲(chǔ)是數(shù)據(jù)科學(xué)的核心工具。plotly用于創(chuàng)建交互式、出版質(zhì)量的圖表。安裝完成后可以通過pip list確認(rèn)這些包已正確安裝。2.3 確認(rèn)專輯曲目列表我們需要明確專輯《WHEN WE ALL FALL ASLEEP, WHERE DO WE GO?》中哪些歌曲進(jìn)入過 Hot 100。根據(jù)公開資料這些歌曲通常包括“bad guy”“when the party’s over”“wish you were gay”“xanny”“you should see me in a crown”“all the good girls go to hell”“my strange addiction”“bury a friend”“ilomilo”“l(fā)isten before i go”“i love you”“goodbye”注意這個(gè)列表可能需要根據(jù)最新的榜單歷史進(jìn)行核實(shí)。我們的代碼設(shè)計(jì)應(yīng)能靈活處理歌曲列表。3. 核心代碼實(shí)現(xiàn)數(shù)據(jù)抓取與處理我們將把代碼模塊化分別實(shí)現(xiàn)數(shù)據(jù)抓取、數(shù)據(jù)清洗和主流程控制。3.1 網(wǎng)頁抓取模塊 (scraper.py)創(chuàng)建一個(gè)名為scraper.py的文件。這個(gè)模塊負(fù)責(zé)從網(wǎng)絡(luò)獲取原始 HTML 并解析出我們需要的數(shù)據(jù)表格。import requests from bs4 import BeautifulSoup import time import pandas as pd from typing import List, Dict, Optional class BillboardScraper: def __init__(self, base_url: str, delay: float 1.0): 初始化爬蟲 :param base_url: 榜單數(shù)據(jù)頁面的基礎(chǔ)URL模式 :param delay: 每次請(qǐng)求之間的延遲秒用于禮貌爬取 self.base_url base_url self.delay delay self.session requests.Session() # 設(shè)置一個(gè)常見的用戶代理頭模擬瀏覽器訪問 self.session.headers.update({ User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 }) def fetch_song_chart_data(self, song_name: str) - Optional[pd.DataFrame]: 獲取指定歌曲的榜單數(shù)據(jù) :param song_name: 歌曲名稱將用于構(gòu)造URL :return: 包含date和rank列的DataFrame如果失敗則返回None # 構(gòu)造具體歌曲的URL。這里需要根據(jù)實(shí)際網(wǎng)站URL模式調(diào)整。 # 例如將歌曲名轉(zhuǎn)換為小寫并用連字符連接 formatted_song_name song_name.lower().replace( , -) url self.base_url.format(song_nameformatted_song_name) print(f正在抓取: {song_name} - {url}) try: response self.session.get(url, timeout10) response.raise_for_status() # 如果狀態(tài)碼不是200拋出HTTPError異常 except requests.exceptions.RequestException as e: print(f請(qǐng)求失敗 for {song_name}: {e}) return None # 解析HTML soup BeautifulSoup(response.content, html.parser) # 這里需要根據(jù)目標(biāo)網(wǎng)站的實(shí)際HTML結(jié)構(gòu)來定位表格 # 假設(shè)數(shù)據(jù)在一個(gè)id為chart-data的table中 chart_table soup.find(table, idchart-data) if not chart_table: # 如果id不對(duì)嘗試其他選擇器比如特定的class chart_table soup.find(table, class_chart-table) if not chart_table: print(f未找到榜單數(shù)據(jù)表格 for {song_name}) return None # 提取表格數(shù)據(jù)到列表 data [] # 假設(shè)第一行是表頭我們跳過。實(shí)際中可能需要更健壯的邏輯。 rows chart_table.find_all(tr)[1:] # 跳過表頭行 for row in rows: cols row.find_all(td) if len(cols) 2: # 至少包含日期和排名兩列 date_str cols[0].text.strip() rank_str cols[1].text.strip() # 簡(jiǎn)單的數(shù)據(jù)清洗移除排名中的‘#’等符號(hào)并轉(zhuǎn)換為整數(shù) try: rank int(rank_str.replace(#, ).replace(—, 0)) # 處理未上榜情況 # 注意有些網(wǎng)站可能用‘-’或空值表示未上榜這里需要根據(jù)實(shí)際情況調(diào)整 # 如果未上榜rank為0或大于100我們可以選擇跳過或保留 if 1 rank 100: data.append({date: date_str, rank: rank}) except ValueError: # 如果轉(zhuǎn)換失敗跳過這行數(shù)據(jù) continue if not data: print(f未從表格中解析出有效數(shù)據(jù) for {song_name}) return None # 轉(zhuǎn)換為DataFrame并處理日期格式 df pd.DataFrame(data) df[date] pd.to_datetime(df[date], errorscoerce) # 嘗試轉(zhuǎn)換日期錯(cuò)誤則設(shè)為NaT df df.dropna(subset[date]) # 刪除日期無效的行 df df.sort_values(date) # 按日期排序 df[song] song_name # 添加歌曲名列 print(f成功抓取 {song_name} 的 {len(df)} 條數(shù)據(jù)。) time.sleep(self.delay) # 請(qǐng)求間隔避免被封 return df # 示例用法在模塊內(nèi)測(cè)試用 if __name__ __main__: # 假設(shè)的基礎(chǔ)URL實(shí)際需要替換 BASE_URL https://example-music-data.com/billboard-hot-100/song/{song_name} scraper BillboardScraper(BASE_URL, delay2.0) test_df scraper.fetch_song_chart_data(bad guy) if test_df is not None: print(test_df.head())關(guān)鍵點(diǎn)解釋User-Agent設(shè)置請(qǐng)求頭模擬瀏覽器是繞過簡(jiǎn)單反爬機(jī)制的基礎(chǔ)。錯(cuò)誤處理使用try-except捕獲網(wǎng)絡(luò)請(qǐng)求和解析過程中的異常使程序更健壯。數(shù)據(jù)解析BeautifulSoup的find和find_all方法是核心。你需要使用瀏覽器的“開發(fā)者工具”F12來檢查目標(biāo)網(wǎng)頁的實(shí)際 HTML 結(jié)構(gòu)并調(diào)整選擇器如id,class_,table標(biāo)簽等。延遲time.sleep(delay)是“禮貌爬蟲”的基本要求避免短時(shí)間內(nèi)發(fā)送大量請(qǐng)求。日期處理pd.to_datetime可以智能解析多種日期格式errors’coerce’會(huì)將解析失敗的設(shè)為NaTNot a Time便于后續(xù)清理。3.2 數(shù)據(jù)整合與存儲(chǔ)模塊 (data_manager.py)創(chuàng)建一個(gè)data_manager.py文件負(fù)責(zé)管理歌曲列表、調(diào)用抓取模塊并將所有數(shù)據(jù)合并保存。import pandas as pd from scraper import BillboardScraper from typing import List import os class ChartDataManager: def __init__(self, song_list: List[str], base_url: str): self.song_list song_list self.base_url base_url self.all_data pd.DataFrame() self.scraper BillboardScraper(base_url) def fetch_all_songs(self) - pd.DataFrame: 遍歷歌曲列表抓取所有數(shù)據(jù) :return: 合并后的DataFrame dfs [] for song in self.song_list: df self.scraper.fetch_song_chart_data(song) if df is not None and not df.empty: dfs.append(df) else: print(f警告歌曲 {song} 的數(shù)據(jù)抓取失敗或?yàn)榭铡? if dfs: self.all_data pd.concat(dfs, ignore_indexTrue) print(f所有數(shù)據(jù)抓取完成?？傆?jì) {len(self.all_data)} 條記錄。) else: print(錯(cuò)誤未能抓取到任何數(shù)據(jù)。) self.all_data pd.DataFrame() return self.all_data def save_to_csv(self, filename: str billboard_eilish_data.csv): 將數(shù)據(jù)保存到CSV文件 :param filename: 輸出文件名 if self.all_data.empty: print(沒有數(shù)據(jù)可保存。請(qǐng)先運(yùn)行 fetch_all_songs。) return # 確保輸出目錄存在 os.makedirs(data, exist_okTrue) filepath os.path.join(data, filename) self.all_data.to_csv(filepath, indexFalse, encodingutf-8-sig) # utf-8-sig 支持Excel中文 print(f數(shù)據(jù)已保存至: {filepath}) def load_from_csv(self, filename: str billboard_eilish_data.csv) - pd.DataFrame: 從CSV文件加載數(shù)據(jù) :param filename: 輸入文件名 :return: 加載的DataFrame filepath os.path.join(data, filename) try: self.all_data pd.read_csv(filepath, parse_dates[date]) print(f數(shù)據(jù)已從 {filepath} 加載?？傆?jì) {len(self.all_data)} 條記錄。) except FileNotFoundError: print(f文件 {filepath} 未找到。) self.all_data pd.DataFrame() return self.all_data # 定義專輯曲目列表需要根據(jù)實(shí)際情況更新 EILISH_DEBUT_ALBUM_SONGS [ bad guy, when the partys over, wish you were gay, xanny, you should see me in a crown, all the good girls go to hell, my strange addiction, bury a friend, ilomilo, listen before i go, i love you, goodbye ]3.3 主程序入口 (main.py)創(chuàng)建main.py作為項(xiàng)目啟動(dòng)腳本它協(xié)調(diào)整個(gè)流程。from data_manager import ChartDataManager, EILISH_DEBUT_ALBUM_SONGS def main(): # 1. 配置 # 注意你需要替換成真實(shí)可用的、符合網(wǎng)站規(guī)則的URL模式 # 這里是一個(gè)示例實(shí)際中可能需要查詢參數(shù)如 ?songbad-guy BASE_URL https://example-music-data.com/chart-history/hot-100/{song_name} # 2. 初始化管理器 manager ChartDataManager(EILISH_DEBUT_ALBUM_SONGS, BASE_URL) # 3. 抓取數(shù)據(jù)首次運(yùn)行或需要更新數(shù)據(jù)時(shí)使用 # print(開始抓取數(shù)據(jù)...) # all_data manager.fetch_all_songs() # manager.save_to_csv() # 4. 從本地CSV加載數(shù)據(jù)如果已經(jīng)抓取過 print(從本地文件加載數(shù)據(jù)...) all_data manager.load_from_csv() if all_data.empty: print(數(shù)據(jù)加載失敗程序退出。) return # 5. 簡(jiǎn)單查看數(shù)據(jù) print(\n數(shù)據(jù)預(yù)覽:) print(all_data.head()) print(f\n數(shù)據(jù)形狀: {all_data.shape}) print(f\n包含的歌曲: {all_data[song].unique()}) # 6. 可以在這里進(jìn)行一些基本分析 # 例如計(jì)算每首歌的在榜周數(shù) song_stats all_data.groupby(song).agg( first_date(date, min), last_date(date, max), weeks_on_chart(rank, count), peak_rank(rank, min) # 排名數(shù)字越小越好所以用min ).sort_values(peak_rank) print(\n歌曲榜單表現(xiàn)統(tǒng)計(jì):) print(song_stats) # 7. 將統(tǒng)計(jì)結(jié)果也保存下來 song_stats.to_csv(data/song_statistics.csv) # 8. 準(zhǔn)備進(jìn)行可視化下一步 # 將處理好的數(shù)據(jù)傳遞給可視化模塊 return all_data if __name__ __main__: df main()4. 數(shù)據(jù)可視化生成交互式周榜推移圖數(shù)據(jù)抓取和清洗完成后我們使用plotly來創(chuàng)建交互式圖表。創(chuàng)建一個(gè)visualizer.py文件。import plotly.graph_objects as go import plotly.express as px import pandas as pd from typing import List def create_chart_timeline(df: pd.DataFrame, output_html: str chart_timeline.html): 創(chuàng)建歌曲排名時(shí)間線圖 :param df: 包含 date, rank, song 列的DataFrame :param output_html: 輸出的HTML文件名 if df.empty: print(數(shù)據(jù)框?yàn)榭諢o法生成圖表。) return # 確保日期列是datetime類型 df[date] pd.to_datetime(df[date]) # 使用plotly express創(chuàng)建線條圖 # 排名數(shù)字越小如1表示成績(jī)?cè)胶玫玒軸默認(rèn)從上到下增大。 # 為了讓圖表更直觀頂部表示排名更高我們可以用101-rank進(jìn)行轉(zhuǎn)換或者反轉(zhuǎn)Y軸。 fig px.line(df, xdate, yrank, colorsong, titleBillie Eilish - 《WHEN WE ALL FALL ASLEEP》 單曲 Hot 100 周榜排名推移, labels{date: 日期, rank: 排名, song: 歌曲}, hover_namesong, hover_data{date: |%Y-%m-%d, rank: True}) # 優(yōu)化圖表樣式 fig.update_layout( # 反轉(zhuǎn)Y軸讓排名1在最上方 yaxisdict(autorangereversed, title排名 (1冠軍)), xaxisdict(title日期, tickformat%Y-%m), hovermodex unified, # 鼠標(biāo)懸停時(shí)顯示同一X軸日期的所有數(shù)據(jù)點(diǎn) legenddict(title歌曲, yanchortop, y0.99, xanchorleft, x0.01), templateplotly_white ) # 添加一條標(biāo)注線表示冠軍位置排名第1 fig.add_hline(y1, line_dashdash, line_colorgold, annotation_text冠軍線, annotation_positiontop left, annotation_font_size10, annotation_font_colorgold) # 保存為交互式HTML文件 fig.write_html(output_html) print(f交互式圖表已生成: {output_html}) # 也可以在Jupyter notebook中直接顯示 # fig.show() def create_peak_rank_bar(df: pd.DataFrame, output_html: str peak_rank_bar.html): 創(chuàng)建每首歌峰值排名的條形圖 :param df: 包含 date, rank, song 列的DataFrame :param output_html: 輸出的HTML文件名 # 計(jì)算每首歌的峰值排名即rank的最小值 peak_ranks df.groupby(song)[rank].min().reset_index().sort_values(rank) fig px.bar(peak_ranks, xsong, yrank, colorrank, titleBillie Eilish 首專單曲 Hot 100 峰值排名, labels{song: 歌曲, rank: 最佳排名}, color_continuous_scaleViridis_r) # 使用反向色階排名越前顏色越深 fig.update_layout( xaxisdict(tickangle-45), # 傾斜x軸標(biāo)簽避免重疊 yaxisdict(autorangereversed, title排名 (越小越好)), templateplotly_white ) fig.write_html(output_html) print(f峰值排名條形圖已生成: {output_html}) # 在主程序中調(diào)用可視化函數(shù) if __name__ __main__: # 假設(shè)我們已經(jīng)有了數(shù)據(jù)DataFrame df # 這里演示從CSV加載 df pd.read_csv(data/billboard_eilish_data.csv, parse_dates[date]) create_chart_timeline(df, output/chart_timeline.html) create_peak_rank_bar(df, output/peak_rank_bar.html)現(xiàn)在更新main.py的末尾加入可視化調(diào)用# 在 main() 函數(shù)末尾return all_data 之前添加 # ... (之前的統(tǒng)計(jì)代碼) # 9. 生成可視化圖表 print(\n生成可視化圖表...) import visualizer # 確保輸出目錄存在 import os os.makedirs(output, exist_okTrue) visualizer.create_chart_timeline(all_data, output/eilish_hot100_timeline.html) visualizer.create_peak_rank_bar(all_data, output/eilish_peak_rank.html) print(圖表已保存至 output/ 目錄。用瀏覽器打開對(duì)應(yīng)的 .html 文件查看交互式圖表。) return all_data5. 運(yùn)行驗(yàn)證與結(jié)果分析5.1 項(xiàng)目結(jié)構(gòu)完成后的項(xiàng)目目錄結(jié)構(gòu)應(yīng)如下所示billboard_eilish_analysis/ ├── venv/ # Python虛擬環(huán)境目錄 ├── data/ # 數(shù)據(jù)存儲(chǔ)目錄 │ ├── billboard_eilish_data.csv │ └── song_statistics.csv ├── output/ # 圖表輸出目錄 │ ├── eilish_hot100_timeline.html │ └── eilish_peak_rank.html ├── scraper.py ├── data_manager.py ├── visualizer.py ├── main.py └── requirements.txt # 可使用 pip freeze requirements.txt 生成5.2 運(yùn)行程序確保虛擬環(huán)境已激活。由于我們尚未有真實(shí)的可抓取 URL首先需要模擬或獲取數(shù)據(jù)。你可以手動(dòng)從一些音樂數(shù)據(jù)網(wǎng)站確保合規(guī)查找并整理一份 CSV 數(shù)據(jù)放入data/billboard_eilish_data.csv。數(shù)據(jù)格式應(yīng)為三列date(YYYY-MM-DD),rank(整數(shù)),song(字符串)。運(yùn)行主程序python main.py程序會(huì)從data/目錄加載 CSV 文件進(jìn)行基本統(tǒng)計(jì)并在output/目錄生成兩個(gè) HTML 圖表文件。用瀏覽器打開output/eilish_hot100_timeline.html你將看到一個(gè)交互式時(shí)間線圖。可以將鼠標(biāo)懸停在線上查看具體某周某首歌的排名點(diǎn)擊圖例可以顯示或隱藏特定歌曲的曲線。5.3 預(yù)期結(jié)果與洞察生成的圖表應(yīng)能清晰展示“bad guy”的曲線可能最靠上排名數(shù)字小且持續(xù)在高位很長(zhǎng)時(shí)間反映了其作為爆款單曲的統(tǒng)治力。其他單曲如“when the party‘s over”、“bury a friend”可能也有不錯(cuò)的進(jìn)榜表現(xiàn)和較長(zhǎng)的在榜周期。一些歌曲的曲線可能起伏較大或僅在榜幾周這反映了單曲不同的市場(chǎng)反響和推廣策略。從整體看專輯發(fā)行前后一段時(shí)間多條曲線會(huì)集中出現(xiàn)體現(xiàn)了專輯發(fā)布帶來的整體熱度。6. 常見問題排查在實(shí)際運(yùn)行中你可能會(huì)遇到以下問題問題現(xiàn)象可能原因檢查與解決方式ModuleNotFoundError: No module named ‘requests’依賴未安裝或不在虛擬環(huán)境中1. 確認(rèn)終端提示符前有(venv)。2. 在項(xiàng)目根目錄下執(zhí)行pip install -r requirements.txt或重新安裝pip install requests beautifulsoup4 pandas plotly。運(yùn)行main.py提示FileNotFoundErrorCSV 數(shù)據(jù)文件不存在1. 確認(rèn)data/billboard_eilish_data.csv文件是否存在。2. 如果首次運(yùn)行需要先注釋掉load_from_csv取消注釋fetch_all_songs和save_to_csv部分并配置正確的BASE_URL進(jìn)行抓取。抓取函數(shù)返回None或數(shù)據(jù)為空1. 目標(biāo)網(wǎng)站結(jié)構(gòu)已變。2. 網(wǎng)絡(luò)請(qǐng)求被阻止。3. 歌曲名URL格式化不對(duì)。1. 用瀏覽器開發(fā)者工具重新檢查目標(biāo)頁面的HTML結(jié)構(gòu)更新scraper.py中的chart_table查找邏輯。2. 檢查robots.txt增加請(qǐng)求延遲delay或添加更多請(qǐng)求頭如Referer。3. 打印出構(gòu)造的完整URL手動(dòng)在瀏覽器訪問看是否有效。圖表Y軸排名順序反了1在底部默認(rèn)坐標(biāo)軸方向在visualizer.py的create_chart_timeline函數(shù)中我們已經(jīng)通過yaxisdict(autorange‘reversed’)進(jìn)行了反轉(zhuǎn)。如果未生效檢查 plotly 版本或手動(dòng)設(shè)置range[100, 1]。圖表中數(shù)據(jù)點(diǎn)缺失或斷線數(shù)據(jù)中存在缺失周次Billboard 榜單每周更新如果某首歌在某周未上榜即不在1-100名我們的示例抓取代碼可能未記錄。在抓取邏輯中需要決定是否記錄“未上榜”例如記為101或NaN。在可視化時(shí)plotly.line默認(rèn)會(huì)斷開缺失值處的線。若需連接可考慮使用插值或使用散點(diǎn)圖模式。生成的HTML圖表在瀏覽器中不顯示瀏覽器安全策略或路徑問題1. 嘗試從文件管理器雙擊打開HTML文件而非通過某些IDE的內(nèi)置預(yù)覽。2. 確保HTML文件路徑?jīng)]有中文字符或特殊符號(hào)。3. 檢查瀏覽器控制臺(tái)F12是否有錯(cuò)誤信息。7. 最佳實(shí)踐與擴(kuò)展方向7.1 數(shù)據(jù)抓取最佳實(shí)踐尊重網(wǎng)站始終遵守robots.txt設(shè)置合理的請(qǐng)求延遲如delay2秒以上避免在高峰時(shí)段抓取。錯(cuò)誤處理與重試實(shí)現(xiàn)重試機(jī)制如使用tenacity庫以應(yīng)對(duì)偶發(fā)的網(wǎng)絡(luò)錯(cuò)誤。緩存數(shù)據(jù)將抓取到的數(shù)據(jù)立即保存到本地文件或數(shù)據(jù)庫避免重復(fù)抓取相同內(nèi)容。我們的save_to_csv和load_from_csv就是為此設(shè)計(jì)。使用API優(yōu)先如果目標(biāo)網(wǎng)站提供官方API務(wù)必優(yōu)先使用。API通常更穩(wěn)定、高效且合規(guī)。標(biāo)識(shí)自己在請(qǐng)求頭中設(shè)置一個(gè)清晰的User-Agent例如YourProjectName/1.0 (your-emailexample.com)方便網(wǎng)站管理員聯(lián)系。7.2 數(shù)據(jù)處理與可視化增強(qiáng)數(shù)據(jù)完整性處理“未上榜”數(shù)據(jù)可以用NaN或一個(gè)超出范圍的值如101表示并在可視化時(shí)妥善處理如將線斷開或標(biāo)記不同顏色。更多維度除了排名還可以嘗試抓取和可視化“流媒體播放量”、“電臺(tái)播放量”、“銷量”等細(xì)分指標(biāo)如果數(shù)據(jù)源提供。圖表交互利用plotly的交互功能可以添加下拉菜單選擇特定歌曲、時(shí)間范圍滑塊等。部署為Web應(yīng)用使用Dash基于plotly或Streamlit可以快速將整個(gè)分析項(xiàng)目部署成一個(gè)交互式Web應(yīng)用方便分享。7.3 項(xiàng)目擴(kuò)展方向多專輯對(duì)比將代碼擴(kuò)展為可以比較不同藝術(shù)家或不同專輯的單曲榜單表現(xiàn)。預(yù)測(cè)模型基于歷史排名數(shù)據(jù)嘗試構(gòu)建簡(jiǎn)單的機(jī)器學(xué)習(xí)模型來預(yù)測(cè)歌曲未來的排名趨勢(shì)這是一個(gè)具有挑戰(zhàn)性的時(shí)間序列預(yù)測(cè)問題。情感分析關(guān)聯(lián)抓取歌曲發(fā)行前后的社交媒體情緒或樂評(píng)數(shù)據(jù)分析與榜單排名的相關(guān)性。自動(dòng)化報(bào)告使用Jupyter Notebook或Python腳本結(jié)合郵件庫定期如每周自動(dòng)生成榜單分析報(bào)告并發(fā)送。通過這個(gè)完整的項(xiàng)目你不僅學(xué)會(huì)了如何抓取和處理 Billboard 榜單數(shù)據(jù)更掌握了一套從需求分析、環(huán)境搭建、代碼實(shí)現(xiàn)、問題排查到結(jié)果展示的數(shù)據(jù)分析工程化流程。這套方法可以遷移到無數(shù)類似的數(shù)據(jù)獲取與可視化場(chǎng)景中。