Ciphey 搜索內(nèi)核重構(gòu)A* 模塊拆分與不可見字符過濾驅(qū)動(dòng)的字符串質(zhì)量增強(qiáng)實(shí)踐【免費(fèi)下載鏈接】Ciphey? Automatically decrypt encryptions without knowing the key or cipher, decode encodings, and crack hashes ?項(xiàng)目地址: https://gitcode.com/gh_mirrors/ci/Ciphey導(dǎo)讀本文以 docs/changes/2024-07-10-astar-refactor.md 變更記錄為骨架系統(tǒng)拆解 Ciphey 對 A* 解碼搜索實(shí)現(xiàn)的一次關(guān)鍵重構(gòu)將原本內(nèi)聚的搜索代碼拆分為核心算法與輔助函數(shù)兩個(gè)模塊并增強(qiáng)字符串質(zhì)量評估——對包含超過 50% 不可見字符的候選字符串立即拒絕從而提升內(nèi)存效率與搜索聚焦度。讀完本文你將掌握 Ciphey A* 搜索器的模塊邊界劃分、字符串質(zhì)量評分公式與閾值語義、對應(yīng)的測試用例設(shè)計(jì)以及該重構(gòu)與啟發(fā)式簡化、字符串剪枝等后續(xù)演進(jìn)之間的承接關(guān)系。一、重構(gòu)背景與目標(biāo)Ciphey 的搜索器searcher負(fù)責(zé)決定“下一步嘗試哪些解碼器、按什么順序嘗試”。在其搜索內(nèi)核中A* 是最優(yōu)先采用的算法src/searchers/mod.rs 中search_for_plaintext直接以獨(dú)立線程啟動(dòng)astar::astar。隨著啟發(fā)式函數(shù)、統(tǒng)計(jì)學(xué)習(xí)與并行擴(kuò)展等特性不斷疊加astar.rs單文件日益臃腫職責(zé)混雜。本次重構(gòu)的核心目標(biāo)有兩個(gè)代碼組織優(yōu)化將 A* 實(shí)現(xiàn)拆分為“搜索算法本體”與“支撐性工具函數(shù)”兩個(gè)文件讓啟發(fā)式計(jì)算、質(zhì)量評估、統(tǒng)計(jì)維護(hù)等邏輯從搜索主循環(huán)中剝離字符串質(zhì)量增強(qiáng)在calculate_string_quality中引入不可見字符占比閾值對超過 50% 不可見字符的字符串直接返回最低質(zhì)量分 0.0使這類候選在進(jìn)入解碼路徑之前即被淘汰。從實(shí)際收益看這次重構(gòu)屬于典型的“整理加固”它不改變 A* 的搜索范式而是讓搜索過程中的每一次節(jié)點(diǎn)擴(kuò)展node expansion都更快地丟棄低價(jià)值分支。二、模塊拆分從單文件到職責(zé)分離重構(gòu)最直觀的產(chǎn)出是src/searchers/目錄下的文件邊界變化其結(jié)構(gòu)為src/searchers/astar.rsA* 核心搜索算法實(shí)現(xiàn)包括節(jié)點(diǎn)定義、優(yōu)先級隊(duì)列、并行批處理與主搜索循環(huán)src/searchers/helper_functions.rs支撐 A* 的輔助函數(shù)涵蓋啟發(fā)式計(jì)算、字符串質(zhì)量評估、解碼器統(tǒng)計(jì)與序列模式判斷src/searchers/mod.rs通過mod astar;、mod bfs;、mod helper_functions;聲明三個(gè)子模塊并將astar以pub對外暴露src/searchers/mod.rs。2.1 astar.rs核心搜索算法重構(gòu)后的 src/searchers/astar.rs 只負(fù)責(zé)“搜索”本身內(nèi)部包含四個(gè)關(guān)鍵構(gòu)件AStarNode節(jié)點(diǎn)src/searchers/astar.rs持有當(dāng)前解碼狀態(tài)state、已付出代價(jià)cost即搜索樹深度 g、綜合代價(jià)total_costf g h以及下一次要嘗試的解碼器名next_decoder_name最小堆優(yōu)先級隊(duì)列基于BinaryHeap反向排序?qū)崿F(xiàn)ThreadSafePriorityQueue并封裝push、pop、extract_batch等線程安全操作src/searchers/astar.rsexpand_node節(jié)點(diǎn)擴(kuò)展src/searchers/astar.rs先執(zhí)行“decoder 標(biāo)記”解碼器再回退到全量解碼器期間依次執(zhí)行空文本跳過、calculate_string_worth質(zhì)量過濾、seen_strings去重與update_decoder_stats統(tǒng)計(jì)更新astar主循環(huán)src/searchers/astar.rs以 Rayon 并行批處理PARALLEL_BATCH_SIZE 10擴(kuò)展節(jié)點(diǎn)識別__RESULT__標(biāo)記節(jié)點(diǎn)并通過crossbeam通道發(fā)送結(jié)果在top_results模式下還會(huì)將明文寫入wait_athena_storage。2.2 helper_functions.rs輔助函數(shù)模塊src/searchers/helper_functions.rs 是本次重構(gòu)新增的模塊聚合了原本散落在搜索實(shí)現(xiàn)中的工具函數(shù)generate_heuristicA* 啟發(fā)式src/searchers/helper_functions.rscalculate_string_quality/calculate_string_worth字符串質(zhì)量評估與可解碼性判定src/searchers/helper_functions.rscalculate_non_printable_ratio非可打印字符比例統(tǒng)計(jì)src/searchers/helper_functions.rsupdate_decoder_stats/get_decoder_success_rate解碼器成功率的進(jìn)程內(nèi)統(tǒng)計(jì)src/searchers/helper_functions.rsis_common_sequence解碼器序列常見度判斷src/searchers/helper_functions.rscheck_if_string_cant_be_decodedBFS 路徑的剪枝判定src/searchers/helper_functions.rs。該模塊同時(shí)被 A* 與 BFS 兩條搜索路徑復(fù)用——src/searchers/bfs.rs 導(dǎo)入了check_if_string_cant_be_decoded用于節(jié)點(diǎn)過濾。這正是“單一職責(zé) 跨算法復(fù)用”的直接體現(xiàn)。三、字符串質(zhì)量評估增強(qiáng)不可見字符過濾本次重構(gòu)的第二個(gè)重點(diǎn)是calculate_string_quality的行為增強(qiáng)。3.1 質(zhì)量評分公式重構(gòu)后的函數(shù)邏輯src/searchers/helper_functions.rs分為兩級第一級不可見字符硬性過濾let non_printable_ratio calculate_non_printable_ratio(s); if non_printable_ratio 0.5 { return 0.0; // Return lowest quality for strings with 50% invisible chars }一旦字符串中不可見非可打印字符占比超過 50%質(zhì)量分直接歸零。由于后續(xù)calculate_string_worth以 0.2 為及格線見 3.3這類字符串會(huì)在節(jié)點(diǎn)擴(kuò)展階段被continue跳過從根本上阻止解碼器對垃圾輸入的空轉(zhuǎn)。第二級長度驅(qū)動(dòng)的分段評分if s.len() 3 { 0.1 } else if s.len() 5000 { 0.3 } else { 1.0 - (s.len() as f32 - 100.0).abs() / 900.0 }長度小于 3 的字符串質(zhì)量固定為 0.1過短信息量不足長度超過 5000 的字符串質(zhì)量固定為 0.3過長多為噪聲其余字符串以 100 字符為最優(yōu)長度中心質(zhì)量隨|len - 100|線性衰減900 為歸一化分母。3.2 非可打印字符比例的實(shí)現(xiàn)calculate_non_printable_ratiosrc/searchers/helper_functions.rs統(tǒng)計(jì)的是控制字符排除\n、\r、\t等常規(guī)空白與非 ASCII 字符的占比let non_printable_count text .chars() .filter(|c| { (c.is_control() c ! \n c ! \r c ! \t) || !c.is_ascii() }) .count(); non_printable_count as f32 / text.len() as f32空字符串被定義為 1.0全不可打印。Hello World與123!#\n\t的比例為 0.0而\u{0}\u{1}\u{2}的比例為 1.0。注意這里的“不可見字符”是從控制字符角度判定的倉庫另有一份獨(dú)立的不可見字符表 src/storage/invisible_chars/chars.txt由 src/storage/mod.rs 加載為INVISIBLE_CHARS集合用于 CLI 明文輸出時(shí)的安全提示見 src/cli_pretty_printing/mod.rs二者用途不同、互為補(bǔ)充。3.3 與既有過濾機(jī)制的協(xié)同本次增強(qiáng)并非孤立修改而是與字符串剪枝體系協(xié)同工作A路徑*expand_node在每次解碼產(chǎn)出新文本后調(diào)用calculate_string_worth(text[0])src/searchers/astar.rs質(zhì)量分低于 0.2 即跳過該結(jié)果并標(biāo)記解碼失敗隨后才進(jìn)行哈希去重calculate_hashDashSet與節(jié)點(diǎn)入隊(duì)BFS 路徑check_if_string_cant_be_decoded綜合三項(xiàng)判據(jù)——長度 ≤ 2、非可打印比例 0.3、質(zhì)量分 0.2——任一命中即判定不可解碼src/searchers/helper_functions.rs。從源碼結(jié)構(gòu)看A* 的calculate_string_worth只依賴質(zhì)量分閾值而 BFS 的check_if_string_cant_be_decoded閾值更激進(jìn)0.3 比例即拒絕兩條路徑對低質(zhì)量字符串的容忍度并不相同屬于有意為之的差異化策略。3.4 新增測試用例重構(gòu)同步新增了針對不可見字符過濾的單元測試test_calculate_string_quality_with_invisible_charssrc/searchers/helper_functions.rs用三組輸入驗(yàn)證閾值語義Hello\u{0}\u{0}\u{0}\u{0}World4/14 ≈ 28.6% 不可見→ 質(zhì)量分 0.0通過\u{0}\u{0}\u{0}\u{0}\u{0}\u{0}\u{0}Hello7/12 ≈ 58.3% 不可見→ 質(zhì)量分等于 0.0被拒絕全不可見字符串 → 質(zhì)量分等于 0.0被拒絕。配套的test_calculate_non_printable_ratiosrc/searchers/helper_functions.rs則驗(yàn)證了比例計(jì)算本身包括常規(guī)文本為 0.0、混合內(nèi)容約為 0.1666、純控制字符為 1.0、空字符串為 1.0 等邊界情況。四、權(quán)衡分析收益與代價(jià)關(guān)聯(lián)文檔對該重構(gòu)的 Trade-off 有明確陳述結(jié)合源碼可進(jìn)一步展開優(yōu)勢內(nèi)存效率提升50% 不可見字符的字符串在進(jìn)入解碼器之前即被淘汰配合 A* 的seen_strings去重集合PRUNE_THRESHOLD 100000見 src/searchers/astar.rs顯著減少搜索空間的膨脹可維護(hù)性增強(qiáng)輔助函數(shù)獨(dú)立成模塊后astar.rs的主循環(huán)可讀性明顯改善函數(shù)級單元測試如啟發(fā)式、質(zhì)量評估可以直接針對helper_functions編寫無需構(gòu)造完整搜索場景跨算法復(fù)用check_if_string_cant_be_decoded被 BFS 引用即是模塊拆分帶來的直接紅利。代價(jià)模塊復(fù)雜度略增新增一個(gè)文件意味著模塊間函數(shù)調(diào)用增加存在輕微的性能開銷跨模塊調(diào)用對分支預(yù)測與內(nèi)聯(lián)的擾動(dòng)需要持續(xù)校準(zhǔn)閾值50% 不可見字符閾值若設(shè)置不當(dāng)可能誤傷少數(shù)“長得奇怪但有效”的編碼文本如部分二進(jìn)制編碼產(chǎn)物因此必須由測試用例持續(xù)守護(hù)。五、結(jié)合 A* 全鏈路理解重構(gòu)的價(jià)值要真正理解這次字符串質(zhì)量增強(qiáng)的意義需要把它放回 A* 的完整決策鏈路中。5.1 啟發(fā)式與質(zhì)量懲罰當(dāng)前實(shí)現(xiàn)的generate_heuristicsrc/searchers/helper_functions.rs采用加法式評分包含四個(gè)分量解碼器熱度分量base_score 1.0 - decoder.get_popularity()熱度越高貢獻(xiàn)越低成功率代理分量base_score (1.0 - get_decoder_success_rate(name)) * 0.25用進(jìn)程內(nèi)成功率見update_decoder_statssrc/searchers/helper_functions.rs作為熱度的補(bǔ)充信號深度懲罰(0.05 * (1.0 depth/20) * depth)2深度越大懲罰越激進(jìn)防止搜索在無意義路徑上越走越深字符串質(zhì)量分量base_score (1.0 - quality) * 0.5低質(zhì)量字符串直接推高啟發(fā)值使其在優(yōu)先級隊(duì)列中后置?？梢奵alculate_string_quality的輸出同時(shí)影響兩處generate_heuristic中的質(zhì)量懲罰項(xiàng)以及expand_node中的硬性淘汰判定。硬過濾在前、軟懲罰在后構(gòu)成“先拒絕、后降權(quán)”的雙層防線。5.2 并行擴(kuò)展與統(tǒng)計(jì)學(xué)習(xí)A* 主循環(huán)每次從隊(duì)列批量取出至多 10 個(gè)節(jié)點(diǎn)PARALLEL_BATCH_SIZE用 Rayonpar_iter并行執(zhí)行expand_nodesrc/searchers/astar.rs。每個(gè)節(jié)點(diǎn)的成功/失敗都會(huì)回調(diào)update_decoder_stats實(shí)時(shí)更新該解碼器的成功次數(shù)與總嘗試次數(shù)并進(jìn)而影響后續(xù)節(jié)點(diǎn)的啟發(fā)值——這是“統(tǒng)計(jì)學(xué)習(xí)”機(jī)制的進(jìn)程內(nèi)閉環(huán)。文檔中提到的“將成功率持久化到磁盤、實(shí)現(xiàn)跨會(huì)話學(xué)習(xí)”仍是未完成的 TODO見 src/searchers/helper_functions.rs 的注釋。5.3 動(dòng)態(tài)剪枝當(dāng)seen_strings規(guī)模超過當(dāng)前閾值時(shí)A* 會(huì)清空已見集合并按搜索進(jìn)度收緊閾值src/searchers/astar.rslet progress_factor new_depth as f32 / MAX_DEPTH as f32; let new_threshold INITIAL_PRUNE_THRESHOLD - (progress_factor * 5000.0) as usize;即閾值從 100000 起隨深度MAX_DEPTH 100線性下調(diào)至 95000越深入搜索越頻繁剪枝。字符串質(zhì)量增強(qiáng)與此機(jī)制互為補(bǔ)充質(zhì)量過濾從“源頭”減少進(jìn)入seen_strings的垃圾字符串動(dòng)態(tài)剪枝則從“存量”控制集合規(guī)模。六、重構(gòu)的后續(xù)演進(jìn)脈絡(luò)將本次變更與同目錄下的其他變更記錄對照可以看到一條清晰的演進(jìn)主線2024-07-10-astar-simplified-heuristic-rewrite.mddocs/changes/2024-07-10-astar-simplified-heuristic-rewrite.md將啟發(fā)式從“多因子乘法懲罰”改為“加法式簡化模型”移除 CipherIdentifier 依賴新增深度懲罰與熱度分量——這正是重構(gòu)后helper_functions.rs中g(shù)enerate_heuristic的形態(tài)來源2024-07-10-improve-string-pruning.mddocs/changes/2024-07-10-improve-string-pruning.md將check_if_string_cant_be_decoded擴(kuò)展為“長度 非可打印比例 質(zhì)量分”三重判據(jù)與本文的 50% 閾值增強(qiáng)同屬字符串剪枝主題2024-07-10-remove-decoder-popularity.mddocs/changes/2024-07-10-remove-decoder-popularity.md移除冗余的get_decoder_popularity函數(shù)改為以解碼器自身popularity屬性與成功率代理進(jìn)一步收緊了輔助函數(shù)模塊的 API 面。這些變更與本次重構(gòu)共享同一目標(biāo)讓 A在更少的節(jié)點(diǎn)上做更聰明的決策*。質(zhì)量評估負(fù)責(zé)“少生成垃圾節(jié)點(diǎn)”啟發(fā)式負(fù)責(zé)“優(yōu)先生成好節(jié)點(diǎn)”剪枝負(fù)責(zé)“控制節(jié)點(diǎn)總量”。七、未來改進(jìn)方向關(guān)聯(lián)文檔列出的 Future Improvements 與源碼現(xiàn)狀高度吻合成功率持久化DECODER_SUCCESS_RATES目前僅為LazyMutexHashMap的進(jìn)程內(nèi)結(jié)構(gòu)src/searchers/helper_functions.rs寫入磁盤的 TODO 尚未實(shí)現(xiàn)一旦落地即可實(shí)現(xiàn)跨會(huì)話學(xué)習(xí)讓啟發(fā)式基于歷史數(shù)據(jù)而非單次運(yùn)行更精細(xì)的語言檢測當(dāng)前質(zhì)量評估僅依賴長度與控制字符比例文檔建議引入更成熟的語言/文本檢測手段如 n-gram 或熵分析以提升對“隨機(jī)噪聲”與“真實(shí)編碼”的區(qū)分度工具函數(shù)進(jìn)一步下沉is_common_sequence、質(zhì)量評估等通用函數(shù)可繼續(xù)沉淀在helper_functions模塊中供 BFS、未來的 Beam Search 等其他搜索算法復(fù)用。結(jié)語2024-07-10的這次重構(gòu)是 Ciphey 搜索內(nèi)核從“能用”走向“可控”的關(guān)鍵一步。通過astar.rs與helper_functions.rs的職責(zé)切分搜索算法、啟發(fā)式、質(zhì)量評估與統(tǒng)計(jì)維護(hù)各歸其位通過calculate_string_quality對 50% 不可見字符的硬性拒絕搜索資源被集中投放到真正值得解碼的候選上。對于希望深入理解 Ciphey 搜索機(jī)制或借鑒其架構(gòu)思路的開發(fā)者建議按 src/searchers/mod.rs → src/searchers/astar.rs → src/searchers/helper_functions.rs 的順序閱讀源碼并以 src/searchers/helper_functions.rs 的測試集作為行為規(guī)格說明即可快速建立完整認(rèn)知?！久赓M(fèi)下載鏈接】Ciphey? Automatically decrypt encryptions without knowing the key or cipher, decode encodings, and crack hashes ?項(xiàng)目地址: https://gitcode.com/gh_mirrors/ci/Ciphey創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考