：aclnnLtTensor 與 aclnnInplaceLtTensor 全解析)
算子庫人工智能CANN【免費下載鏈接】ops-math本項目是CANN提供的數(shù)學(xué)類基礎(chǔ)計算算子庫實現(xiàn)網(wǎng)絡(luò)在NPU上加速計算。項目地址https://gitcode.com/cann/ops-math點擊查看免費下載導(dǎo)讀本文以 CANN ops-math 倉庫中 Less小于比較算子的兩個單算子 API 接口為核心系統(tǒng)講解aclnnLtTensor與aclnnInplaceLtTensor的產(chǎn)品支持情況、功能語義、兩段式調(diào)用范式、完整參數(shù)約束與錯誤碼并結(jié)合倉庫源碼剖析其底層計算流程Contiguous → Cast → Less → ViewCopy、平臺差異與 kernel 實現(xiàn)原理。讀完本文你將掌握在 NPU 上通過 aclnn 接口完成逐元素小于比較并輸出 Bool 張量的完整編碼能力并理解普通輸出與原地inplace輸出的工程取舍。產(chǎn)品支持情況根據(jù) math/less/docs/aclnnLtTensoraclnnInplaceLtTensor.md 與 math/less/README.md 的記載Less 算子及配套的兩個 aclnn 接口支持情況如下產(chǎn)品是否支持Ascend 950PR / Ascend 950DT支持Atlas A3 訓(xùn)練系列產(chǎn)品 / Atlas A3 推理系列產(chǎn)品支持Atlas A2 訓(xùn)練系列產(chǎn)品 / Atlas A2 推理系列產(chǎn)品支持Atlas 200I/500 A2 推理產(chǎn)品支持Atlas 推理系列產(chǎn)品不支持Atlas 訓(xùn)練系列產(chǎn)品支持注意在Atlas 200I/500 A2 推理產(chǎn)品與Atlas 訓(xùn)練系列產(chǎn)品上aclnnLtTensor/aclnnInplaceLtTensor不支持BFLOAT16數(shù)據(jù)類型見原文檔約束說明中 npu910,310b 標(biāo)記段。功能說明aclnnLtTensor與aclnnInplaceLtTensor實現(xiàn)相同的功能判斷輸入self中的每個元素是否小于輸入other中的元素返回一個 Bool 類型的 Tensor。計算公式為$$ out_i (self_i other_i) ? [True] : [False] $$即當(dāng)self_i嚴(yán)格小于other_i時輸出True否則輸出False。這一語義與 PyTorch 的torch.lt一致常用于掩碼生成、條件篩選、比較統(tǒng)計等場景。兩個接口的功能區(qū)別在于結(jié)果的存放位置aclnnLtTensor需新建一個輸出張量對象out存儲計算結(jié)果輸入self保持不變aclnnInplaceLtTensor無需新建輸出張量對象直接在輸入張量selfRef的內(nèi)存中原地寫入計算結(jié)果節(jié)省一份輸出內(nèi)存。在倉庫中該算子的完整實現(xiàn)分布于 math/less 目錄op_api提供 aclnn 接口層、op_host提供算子定義與 tiling、op_kernel提供 AscendC kernel 實現(xiàn)、op_kernel_aicpu提供 AICPU 兜底實現(xiàn)、framework提供 TF 插件適配。兩段式接口與函數(shù)原型aclnnLtTensor和aclnnInplaceLtTensor均為兩段式接口詳細(xì)范式見 兩段式接口必須先調(diào)用xxxGetWorkspaceSize第一段接口獲取計算所需的workspace 大小與包含算子計算流程的op 執(zhí)行器executor再依據(jù) workspaceSize 在 Device 側(cè)申請內(nèi)存后調(diào)用第二段接口執(zhí)行計算。說明workspace 是指除輸入/輸出外算子在 NPU 上完成計算所需的臨時內(nèi)存。第二段接口如aclnnLtTensor不能重復(fù)調(diào)用否則會出現(xiàn)異常。四個接口的原型如下aclnnStatus aclnnLtTensorGetWorkspaceSize( const aclTensor* self, const aclTensor* other, aclTensor* out, uint64_t* workspaceSize, aclOpExecutor** executor)aclnnStatus aclnnLtTensor( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)aclnnStatus aclnnInplaceLtTensorGetWorkspaceSize( const aclTensor* selfRef, const aclTensor* other, uint64_t* workspaceSize, aclOpExecutor** executor)aclnnStatus aclnnInplaceLtTensor( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)接口聲明位于 math/less/op_api/aclnn_lt_tensor.h實現(xiàn)位于 math/less/op_api/aclnn_lt_tensor.cpp調(diào)用時需要包含頭文件aclnnop/aclnn_lt_tensor.h。aclnnLtTensorGetWorkspaceSize 參數(shù)說明參數(shù)名輸入/輸出描述使用說明數(shù)據(jù)類型數(shù)據(jù)格式維度(shape)非連續(xù)TensorselfaclTensor*輸入輸入張量數(shù)據(jù)類型與 other 需滿足互推導(dǎo)關(guān)系shape 需與 other 滿足 broadcast 關(guān)系FLOAT、FLOAT16、BFLOAT16、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、DOUBLE、BOOLND0-8√otheraclTensor*輸入輸入張量數(shù)據(jù)類型與 self 需滿足互推導(dǎo)關(guān)系shape 需與 self 滿足 broadcast 關(guān)系FLOAT、FLOAT16、BFLOAT16、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、DOUBLE、BOOL---outaclTensor*輸出輸出張量shape 與 self、other 廣播之后的 shape 一致數(shù)據(jù)類型要求為 BOOL 可轉(zhuǎn)換的數(shù)據(jù)類型參見互轉(zhuǎn)換關(guān)系FLOAT、FLOAT16、BFLOAT16、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、DOUBLE、BOOL、COMPLEX64、COMPLEX128ND0-8√workspaceSizeuint64_t*輸出返回需要在 Device 側(cè)申請的 workspace 大小-----executoraclOpExecutor**輸出返回 op 執(zhí)行器包含了算子計算流程-----約束Atlas 200I/500 A2 推理產(chǎn)品、Atlas 訓(xùn)練系列產(chǎn)品不支持 BFLOAT16 數(shù)據(jù)類型。返回值與錯誤碼aclnnLtTensorGetWorkspaceSize返回aclnnStatus狀態(tài)碼完整定義見 aclnn返回碼。第一段接口完成入?yún)⑿ｒ灣霈F(xiàn)以下場景時報錯返回值錯誤碼描述ACLNN_ERR_PARAM_NULLPTR161001傳入的 self、other 或 out 是空指針ACLNN_ERR_PARAM_INVALID161002self、other 或 out 的數(shù)據(jù)類型不在支持的范圍之內(nèi)ACLNN_ERR_PARAM_INVALID161002self、other 或 out 的維度大于 8ACLNN_ERR_PARAM_INVALID161002self 和 other 的數(shù)據(jù)類型無法進行推導(dǎo)ACLNN_ERR_PARAM_INVALID161002self 和 other 的 shape 無法進行 broadcastACLNN_ERR_PARAM_INVALID161002out 的 shape 與 broadcast 后的 shape 不一致在 math/less/op_api/aclnn_lt_tensor.cpp 的CheckParams中可以看到校驗順序與上述錯誤碼一一對應(yīng)先做空指針檢查CheckNotNull返回ACLNN_ERR_PARAM_NULLPTR再檢查數(shù)據(jù)類型是否在支持列表內(nèi)CheckDtypeValid、類型能否互推導(dǎo)CheckPromoteType、shape 能否 broadcast 且與 out 一致CheckShape其余全部歸入ACLNN_ERR_PARAM_INVALID。aclnnLtTensor 參數(shù)說明參數(shù)名輸入/輸出描述workspace輸入在 Device 側(cè)申請的 workspace 內(nèi)存地址workspaceSize輸入在 Device 側(cè)申請的 workspace 大小由第一段接口 aclnnLtTensorGetWorkspaceSize 獲取executor輸入op 執(zhí)行器包含了算子計算流程stream輸入指定執(zhí)行任務(wù)的 StreamaclnnInplaceLtTensorGetWorkspaceSize 參數(shù)說明參數(shù)名輸入/輸出描述使用說明數(shù)據(jù)類型數(shù)據(jù)格式維度(shape)非連續(xù)TensorselfRefaclTensor*輸入|輸出輸入|輸出張量數(shù)據(jù)類型與 other 需滿足互推導(dǎo)關(guān)系shape 需與 other 滿足 broadcast 關(guān)系broadcast 后的 shape 需與 selfRef 的 shape 一致FLOAT、FLOAT16、BFLOAT16、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、DOUBLE、BOOLND0-8√otheraclTensor*輸入輸入張量數(shù)據(jù)類型與 selfRef 需滿足互推導(dǎo)關(guān)系shape 需與 self 滿足 broadcast 關(guān)系broadcast 后的 shape 需與 selfRef 的 shape 一致FLOAT、FLOAT16、BFLOAT16、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、DOUBLE、BOOL---workspaceSizeuint64_t*輸出返回需要在 Device 側(cè)申請的 workspace 大小-----executoraclOpExecutor**輸出返回 op 執(zhí)行器包含了算子計算流程-----約束Atlas 200I/500 A2 推理產(chǎn)品、Atlas 訓(xùn)練系列產(chǎn)品不支持 BFLOAT16 數(shù)據(jù)類型。返回值與錯誤碼返回值錯誤碼描述ACLNN_ERR_PARAM_NULLPTR161001傳入的 selfRef、other 是空指針ACLNN_ERR_PARAM_INVALID161002selfRef 和 other 的數(shù)據(jù)類型不在支持的范圍之內(nèi)ACLNN_ERR_PARAM_INVALID161002selfRef 和 other 的數(shù)據(jù)類型無法進行推導(dǎo)ACLNN_ERR_PARAM_INVALID161002selfRef 和 other 的 shape 無法做 broadcastACLNN_ERR_PARAM_INVALID161002selfRef 和 other 做 broadcast 后的 shape 不等于 selfRef 的 shapeACLNN_ERR_PARAM_INVALID161002selfRef、other 的維度大于 8注意原地版本的差異點由于結(jié)果寫回selfRef因此要求廣播后的 shape 必須與 selfRef 的 shape 相等否則無法原地寫回這是與普通版本最核心的語義區(qū)別。aclnnInplaceLtTensor 參數(shù)說明參數(shù)名輸入/輸出描述workspace輸入在 Device 側(cè)申請的 workspace 內(nèi)存地址workspaceSize輸入在 Device 側(cè)申請的 workspace 大小由第一段接口 aclnnInplaceLtTensorGetWorkspaceSize 獲取executor輸入op 執(zhí)行器包含了算子計算流程stream輸入指定執(zhí)行任務(wù)的 Stream約束說明確定性計算aclnnLtTensor與aclnnInplaceLtTensor默認(rèn)確定性實現(xiàn)。即同一輸入在相同硬件與軟件環(huán)境下多次執(zhí)行結(jié)果完全一致不會引入并行歸約順序?qū)е碌姆谴_定誤差可放心用于需要復(fù)現(xiàn)結(jié)果的訓(xùn)練與調(diào)試場景更詳細(xì)的背景可參考 確定性計算說明。調(diào)用示例示例代碼僅供參考完整編譯與執(zhí)行流程請參考 編譯與運行樣例。兩個完整可運行的示例同樣保存在倉庫中math/less/examples/test_aclnn_lt_tensor.cpp 與 math/less/examples/test_aclnn_inplace_lt_tensor.cpp。aclnnLtTensor 示例代碼#include iostream #include vector #include acl/acl.h #include aclnnop/aclnn_lt_tensor.h #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vectorint64_t shape) { int64_t shapeSize 1; for (auto i : shape) { shapeSize * i; } return shapeSize; } int Init(int32_t deviceId, aclrtStream* stream) { // 固定寫法資源初始化 auto ret aclInit(nullptr); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclInit failed. ERROR: %d\n, ret); return ret); ret aclrtSetDevice(deviceId); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtSetDevice failed. ERROR: %d\n, ret); aclFinalize(); return ret); ret aclrtCreateStream(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtCreateStream failed. ERROR: %d\n, ret); aclrtResetDevice(deviceId); aclFinalize(); return ret); return 0; } template typename T int CreateAclTensor(const std::vectorT hostData, const std::vectorint64_t shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size GetShapeSize(shape) * sizeof(T); // 調(diào)用aclrtMalloc申請device側(cè)內(nèi)存 auto ret aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtMalloc failed. ERROR: %d\n, ret); return ret); // 調(diào)用aclrtMemcpy將host側(cè)數(shù)據(jù)拷貝到device側(cè)內(nèi)存上 ret aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtMemcpy failed. ERROR: %d\n, ret); return ret); // 計算連續(xù)tensor的strides std::vectorint64_t strides(shape.size(), 1); for (int64_t i shape.size() - 2; i 0; i--) { strides[i] shape[i 1] * strides[i 1]; } // 調(diào)用aclCreateTensor接口創(chuàng)建aclTensor *tensor aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } struct LtTensorData { std::vectorint64_t selfShape {4, 2}; std::vectorint64_t otherShape {4, 2}; std::vectorint64_t outShape {4, 2}; void* selfDeviceAddr nullptr; void* otherDeviceAddr nullptr; void* outDeviceAddr nullptr; aclTensor* self nullptr; aclTensor* other nullptr; aclTensor* out nullptr; std::vectordouble selfHostData {0, 1, 2, 3, 4, 5, 6, 7}; std::vectordouble otherHostData {5, 5, 5, 5, 5, 5, 5, 5}; std::vectordouble outHostData {0, 0, 0, 0, 0, 0, 0, 0}; void* workspaceAddr nullptr; uint64_t workspaceSize 0; }; int CreateInputAndOutputTensors(LtTensorData data) { auto ret 0; // 創(chuàng)建self aclTensor ret CreateAclTensor(data.selfHostData, data.selfShape, data.selfDeviceAddr, aclDataType::ACL_DOUBLE, data.self); CHECK_RET(ret ACL_SUCCESS, return ret); // 創(chuàng)建other aclTensor ret CreateAclTensor(data.otherHostData, data.otherShape, data.otherDeviceAddr, aclDataType::ACL_DOUBLE, data.other); CHECK_RET(ret ACL_SUCCESS, return ret); // 創(chuàng)建out aclTensor ret CreateAclTensor(data.outHostData, data.outShape, data.outDeviceAddr, aclDataType::ACL_DOUBLE, data.out); CHECK_RET(ret ACL_SUCCESS, return ret); return ret; } int ExecuteLtTensorComputation(aclrtStream stream, LtTensorData data) { auto ret 0; aclOpExecutor* executor; // 調(diào)用aclnnLtTensor第一段接口 ret aclnnLtTensorGetWorkspaceSize(data.self, data.other, data.out, data.workspaceSize, executor); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnLtTensorGetWorkspaceSize failed. ERROR: %d\n, ret); return ret); // 根據(jù)第一段接口計算出的workspaceSize申請device內(nèi)存 data.workspaceAddr nullptr; if (data.workspaceSize 0) { ret aclrtMalloc(data.workspaceAddr, data.workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(allocate workspace failed. ERROR: %d\n, ret); return ret); } // 調(diào)用aclnnLtTensor第二段接口 ret aclnnLtTensor(data.workspaceAddr, data.workspaceSize, executor, stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnLtTensor failed. ERROR: %d\n, ret); return ret); // 同步等待任務(wù)執(zhí)行結(jié)束 ret aclrtSynchronizeStream(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtSynchronizeStream failed. ERROR: %d\n, ret); return ret); return ret; } int ProcessAndPrintResults(const LtTensorData data) { auto ret 0; auto size GetShapeSize(data.outShape); std::vectordouble resultData(size, 0); ret aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), data.outDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(copy result from device to host failed. ERROR: %d\n, ret); return ret); for (int64_t i 0; i size; i) { LOG_PRINT(result[%ld] is: %lf\n, i, resultData[i]); } return ret; } void ReleaseResources(LtTensorData data) { // 釋放aclTensor和aclScalar aclDestroyTensor(data.self); aclDestroyTensor(data.other); aclDestroyTensor(data.out); // 釋放device資源 aclrtFree(data.selfDeviceAddr); aclrtFree(data.otherDeviceAddr); aclrtFree(data.outDeviceAddr); if (data.workspaceSize 0) { aclrtFree(data.workspaceAddr); } } int ExecuteLtTensorOperator(aclrtStream stream) { LtTensorData data; // 創(chuàng)建輸入和輸出張量 auto ret CreateInputAndOutputTensors(data); CHECK_RET(ret ACL_SUCCESS, return ret); // 執(zhí)行LtTensor算子操作 ret ExecuteLtTensorComputation(stream, data); CHECK_RET(ret ACL_SUCCESS, return ret); // 處理并打印結(jié)果 ret ProcessAndPrintResults(data); CHECK_RET(ret ACL_SUCCESS, return ret); // 釋放資源 ReleaseResources(data); return 0; } int main() { int32_t deviceId 0; aclrtStream stream; auto ret Init(deviceId, stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(Init acl failed. ERROR: %d\n, ret); return ret); // 執(zhí)行LtTensor操作 ret ExecuteLtTensorOperator(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(ExecuteLtTensorOperator failed. ERROR: %d\n, ret); return ret); // 重置設(shè)備和終結(jié)ACL aclrtDestroyStream(stream); aclrtResetDevice(deviceId); aclFinalize(); return 0; }示例中self {0,1,2,3,4,5,6,7}、other {5,5,5,5,5,5,5,5}逐元素執(zhí)行比較后期望輸出前 5 個元素為True對應(yīng)數(shù)值 1.0后 3 個元素為False對應(yīng)數(shù)值 0.0。結(jié)果通過aclrtMemcpy(..., ACL_MEMCPY_DEVICE_TO_HOST)拷回 Host 側(cè)打印驗證。aclnnInplaceLtTensor 示例代碼#include iostream #include vector #include acl/acl.h #include aclnnop/aclnn_lt_tensor.h #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vectorint64_t shape) { int64_t shape_size 1; for (auto i : shape) { shape_size * i; } return shape_size; } int Init(int32_t deviceId, aclrtStream* stream) { // 固定寫法,資源初始化 auto ret aclInit(nullptr); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclInit failed. ERROR: %d\n, ret); return ret); ret aclrtSetDevice(deviceId); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtSetDevice failed. ERROR: %d\n, ret); aclFinalize(); return ret); ret aclrtCreateStream(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtCreateStream failed. ERROR: %d\n, ret); aclrtResetDevice(deviceId); aclFinalize(); return ret); return 0; } templatetypename T int CreateAclTensor(const std::vectorT hostData, const std::vectorint64_t shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size GetShapeSize(shape) * sizeof(T); // 調(diào)用aclrtMalloc申請device側(cè)內(nèi)存 auto ret aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtMalloc failed. ERROR: %d\n, ret); return ret); // 調(diào)用aclrtMemcpy將host側(cè)數(shù)據(jù)拷貝到device側(cè)內(nèi)存上 ret aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtMemcpy failed. ERROR: %d\n, ret); return ret); // 計算連續(xù)tensor的strides std::vectorint64_t strides(shape.size(), 1); for (int64_t i shape.size() - 2; i 0; i--) { strides[i] shape[i 1] * strides[i 1]; } // 調(diào)用aclCreateTensor接口創(chuàng)建aclTensor *tensor aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int ExecuteInplaceLtTensorOperator(aclrtStream stream) { auto ret 0; std::vectorint64_t selfShape {4, 2}; std::vectorint64_t otherShape {4, 2}; void* selfDeviceAddr nullptr; void* otherDeviceAddr nullptr; aclTensor* self nullptr; aclTensor* other nullptr; std::vectordouble selfHostData {0, 1, 2, 3, 4, 5, 6, 7}; std::vectorint otherHostData {1, 1, 1, 1, 0, 0, 0, 0}; ret CreateAclTensor(selfHostData, selfShape, selfDeviceAddr, aclDataType::ACL_DOUBLE, self); CHECK_RET(ret ACL_SUCCESS, return ret); ret CreateAclTensor(otherHostData, otherShape, otherDeviceAddr, aclDataType::ACL_INT32, other); CHECK_RET(ret ACL_SUCCESS, return ret); uint64_t workspaceSize 0; aclOpExecutor* executor; ret aclnnInplaceLtTensorGetWorkspaceSize(self, other, workspaceSize, executor); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnInplaceLtTensorGetWorkspaceSize failed. ERROR: %d\n, ret); return ret); void* workspaceAddr nullptr; if (workspaceSize 0) { ret aclrtMalloc(workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(allocate workspace failed. ERROR: %d\n, ret); return ret); } ret aclnnInplaceLtTensor(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnInplaceLtTensor failed. ERROR: %d\n, ret); return ret); ret aclrtSynchronizeStream(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtSynchronizeStream failed. ERROR: %d\n, ret); return ret); auto size GetShapeSize(selfShape); std::vectordouble resultData(size, 0); ret aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), selfDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(copy result from device to host failed. ERROR: %d\n, ret); return ret); for (int64_t i 0; i size; i) { LOG_PRINT(result[%ld] is: %lf\n, i, resultData[i]); } aclDestroyTensor(self); aclDestroyTensor(other); aclrtFree(selfDeviceAddr); aclrtFree(otherDeviceAddr); if (workspaceSize 0) { aclrtFree(workspaceAddr); } return 0; } int main() { int32_t deviceId 0; aclrtStream stream; auto ret Init(deviceId, stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(Init acl failed. ERROR: %d\n, ret); return ret); // 執(zhí)行InplaceLtTensor操作 ret ExecuteInplaceLtTensorOperator(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(ExecuteInplaceLtTensorOperator failed. ERROR: %d\n, ret); return ret); // 重置設(shè)備和終結(jié)ACL aclrtDestroyStream(stream); aclrtResetDevice(deviceId); aclFinalize(); return 0; }原地示例展示了兩個工程要點輸入可以是混合數(shù)據(jù)類型self為ACL_DOUBLE、other為ACL_INT32兩者滿足互推導(dǎo)關(guān)系f64 與 s32 推導(dǎo)為 f64由接口內(nèi)部完成隱式轉(zhuǎn)換無需用戶手動 Cast結(jié)果從self的 Device 地址讀取執(zhí)行完aclnnInplaceLtTensor后比較結(jié)果直接寫回self所在內(nèi)存因此只需從selfDeviceAddr拷回結(jié)果即可全程無需分配輸出張量。源碼級原理剖析接口層的完整計算流水線在 math/less/op_api/aclnn_lt_tensor.cpp 的注釋中完整計算流程被描述為self other | | \ / Contiguous(workspace_0) Contiguous(workspace_2) \ / Cast(workspace_1) Cast(workspace_3) \ / Less(workspace_4) | Cast(workspace_5) | ViewCopy | result對應(yīng)aclnnLtTensorGetWorkspaceSize的實現(xiàn)邏輯aclnn_lt_tensor.cpp空 Tensor 快速路徑若self或other為空 Tensor直接返回workspaceSize 0不構(gòu)造計算圖隱式類型提升先通過op::PromoteType或 A2 平臺上的op::BinaryOpTypePromote推導(dǎo)統(tǒng)一計算類型特別地若推導(dǎo)結(jié)果為DT_BOOL會提升為DT_UINT8aclnn_lt_tensor.cpp因為 BOOL 參與向量比較計算不直接、且 kernel 側(cè)統(tǒng)一按 uint8 語義處理布爾結(jié)果Contiguous Cast分別對self、other做l0op::Contiguous支持非連續(xù)張量輸入與l0op::Cast轉(zhuǎn)換為統(tǒng)一推導(dǎo)類型Less 核心計算調(diào)用l0op::Less完成逐元素比較產(chǎn)出 BOOL 結(jié)果Cast ViewCopy將 BOOL 結(jié)果 Cast 成out的目標(biāo)數(shù)據(jù)類型如示例中的 DOUBLE再通過l0op::ViewCopy拷貝到輸出張量從而兼容out為非連續(xù)張量的情況最后通過executor-GetWorkspaceSize()匯總整條流水線各階段workspace_0 至 workspace_5所需的臨時內(nèi)存總大小。Inplace 接口的實現(xiàn)本質(zhì)從 aclnn_lt_tensor.cpp 可以看出aclnnInplaceLtTensorGetWorkspaceSize的實現(xiàn)極為簡潔aclnnStatus aclnnInplaceLtTensorGetWorkspaceSize(const aclTensor* selfRef, const aclTensor* other, uint64_t* workspaceSize, aclOpExecutor** executor) { auto out const_castaclTensor*(selfRef); return aclnnLtTensorGetWorkspaceSize(selfRef, other, out, workspaceSize, executor); }即原地版本只是將selfRef同時作為輸出out傳給普通版本計算完成后結(jié)果通過 ViewCopy 寫回selfRef的內(nèi)存。這也解釋了為何原地版本要求broadcast 后的 shape 必須與 selfRef 的 shape 一致——輸出寫回的目標(biāo)地址容量是固定的。平臺相關(guān)的數(shù)據(jù)類型支持在 aclnn_lt_tensor.cpp 中輸入與輸出的數(shù)據(jù)類型支持列表按平臺區(qū)分ASCEND910Atlas 訓(xùn)練系列產(chǎn)品等輸入支持 FLOAT、INT32、INT64、FLOAT16、INT16、INT8、UINT8、DOUBLE、UINT32、UINT64、BOOL、UINT16不含 BFLOAT16ASCEND910B 及以上Atlas A2/A3、Ascend 950 等或 RegBase 架構(gòu)在上述基礎(chǔ)上額外支持 BFLOAT16輸出側(cè)還額外支持 COMPLEX64、COMPLEX128作為 BOOL 可轉(zhuǎn)換的目標(biāo)類型。這一差異正是原文檔中Atlas 訓(xùn)練系列產(chǎn)品、Atlas 200I/500 A2 推理產(chǎn)品不支持 BFLOAT16約束的代碼級來源由GetCurrentPlatformInfo().GetSocVersion()動態(tài)判定。算子定義、InferShape 與 Tiling在算子定義層面math/less/op_host/less_def.cpp算子名為Less輸入為x1、x2輸出為y輸入數(shù)據(jù)類型支持 BF16、FLOAT16、FLOAT、INT8、UINT8、INT32、INT64、UINT64、BOOL、DOUBLE輸出固定為 BOOLAICore 配置開啟DynamicCompileStaticFlag、DynamicRankSupportFlag、DynamicShapeSupportFlag即支持動態(tài) shape 與動態(tài) rank 編譯并指定 kernel 文件為less_apt在 math/less/op_host/less_infershape.cpp 中InferShape 直接復(fù)用廣播基類Ops::Base::InferShape4Broadcast與接口層shape 需滿足 broadcast 關(guān)系的校驗保持一致在 math/less/op_host/arch35/less_tiling_arch35.cpp 中tiling 按輸入數(shù)據(jù)類型int64、uint64、int32、float、half、uint8、int8/bool、double實例化對應(yīng)的BroadcastBaseTilingLessComputeT::OpDag模板同一時刻要求x1與x2的數(shù)據(jù)類型一致該文件在接口層完成類型提升后天然滿足。Kernel 層的 DAG 計算圖在 math/less/op_kernel/arch35/less_dag.h 中kernel 通過 DAG有向無環(huán)圖描述計算輸入經(jīng)Vec::CopyInBrcT廣播拷貝進 Vector 單元Input0/Input1Vec::Compareuint8_t, T, LESS_CMP_MODELESS_CMP_MODE 0執(zhí)行小于比較產(chǎn)出 uint8 掩碼再經(jīng)Vec::SelectLESS_SELECT_MODE 2結(jié)合常量 1/0 把比較結(jié)果映射為布爾值最終Vec::CopyOutuint8_t寫回輸出內(nèi)存配置為MemLevel::LEVEL_2。入口 math/less/op_kernel/less_apt.cpp 中l(wèi)esskernel 使用BroadcastSchschMode, OpDag調(diào)度器統(tǒng)一處理廣播邏輯當(dāng)輸入類型為 BOOL 時按int8_t模板實例化其余類型按DTYPE_X1模板實例化。此外math/less/op_kernel_aicpu/less_aicpu.cpp 提供 AICPU 側(cè)的兜底實現(xiàn)。二進制配置與測試驗證算子的各數(shù)據(jù)類型二進制配置位于 math/less/op_host/config/ascend950/less_binary.json如Less_BFLOAT16、Less_FLOAT32、Less_INT64等輸出統(tǒng)一為bool以及 math/less/op_host/config/ascend350/less_binary.json。倉庫同時提供了多層次的測試用例用于驗證接口行為OP API 單元測試math/less/tests/ut/op_api/test_lt_tensor.cpp 覆蓋 FLOAT、FLOAT16、INT32、INT64 等多種 dtype 與 ND/NHWC/NCHW 等 format 組合并包含廣播場景如{4,5}與{2,3,4,5}的廣播比較通過OP_API_UT(aclnnLtTensor, ...)框架自動校驗GetWorkspaceSize與計算結(jié)果InferShape 單元測試math/less/tests/ut/op_host/test_less_infershape.cppAICPU 兜底測試math/less/tests/ut/op_kernel_aicpu/test_less.cppST 測試math/less/tests/st/aclnnLtTensor/atk_aclnnLtTensor.json 與 math/less/tests/st/arch35/ttk_kernel_less_st.csv。工程選型建議需要保留原輸入時使用aclnnLtTensor自行創(chuàng)建out張量接收結(jié)果希望節(jié)省內(nèi)存、原輸入不再需要時使用aclnnInplaceLtTensor直接將selfRef原地改寫省去一份輸出張量的申請與拷貝注意廣播約束普通版本允許out的 shape 等于廣播后 shape原地版本要求廣播后 shape 與selfRefshape 完全一致平臺差異在 Atlas 訓(xùn)練系列產(chǎn)品、Atlas 200I/500 A2 推理產(chǎn)品上避免使用 BFLOAT16 輸入否則第一段接口會返回ACLNN_ERR_PARAM_INVALID。如需了解算子本身的完整語義、參數(shù)總覽與其他調(diào)用方式如 aclnnLtScalar、圖模式調(diào)用可進一步閱讀 math/less/README.md 與同目錄下的 aclnnLtScalaraclnnInplaceLtScalar 文檔。贊分享算子庫人工智能CANN【免費下載鏈接】ops-math本項目是CANN提供的數(shù)學(xué)類基礎(chǔ)計算算子庫實現(xiàn)網(wǎng)絡(luò)在NPU上加速計算。項目地址https://gitcode.com/cann/ops-math點擊查看免費下載相關(guān)推薦CANN ops-math Less 算子 aclnnLtTensor 與 aclnnInplaceLtTensor 接口調(diào)用指南CANN ops math Less 算子 aclnnLtTensor 與 aclnnInplaceLtTensor 接口調(diào)用指南 本篇技術(shù)指南以 CANN o算子庫人工智能CANNCANN ops-math 算子實戰(zhàn)aclnnDiv 與 aclnnInplaceDiv 除法算子接口全解析CANN ops math 算子實戰(zhàn)aclnnDiv 與 aclnnInplaceDiv 除法算子接口全解析 本篇技術(shù)指南圍繞 CANN ops math 數(shù)算子庫人工智能CANNCANN ops-math 除法取模算子 aclnnDivMod / aclnnInplaceDivMod 接口全解析與實戰(zhàn)CANN ops math 除法取模算子 aclnnDivMod / aclnnInplaceDivMod 接口全解析與實戰(zhàn) 本文是 CANN ops math算子庫人工智能CANN創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 CANN ops-math 算子接口實戰(zhàn)：aclnnLtTensor 與 aclnnInplaceLtTensor 全解析
算子庫人工智能CANN【免費下載鏈接】ops-math本項目是CANN提供的數(shù)學(xué)類基礎(chǔ)計算算子庫實現(xiàn)網(wǎng)絡(luò)在NPU上加速計算。項目地址https://gitcode.com/cann/ops-math點擊查看免費下載導(dǎo)讀本文以 CANN ops-math 倉庫中 Less小于比較算子的兩個單算子 API 接口為核心系統(tǒng)講解aclnnLtTensor與aclnnInplaceLtTensor的產(chǎn)品支持情況、功能語義、兩段式調(diào)用范式、完整參數(shù)約束與錯誤碼并結(jié)合倉庫源碼剖析其底層計算流程Contiguous → Cast → Less → ViewCopy、平臺差異與 kernel 實現(xiàn)原理。讀完本文你將掌握在 NPU 上通過 aclnn 接口完成逐元素小于比較并輸出 Bool 張量的完整編碼能力并理解普通輸出與原地inplace輸出的工程取舍。產(chǎn)品支持情況根據(jù) math/less/docs/aclnnLtTensoraclnnInplaceLtTensor.md 與 math/less/README.md 的記載Less 算子及配套的兩個 aclnn 接口支持情況如下產(chǎn)品是否支持Ascend 950PR / Ascend 950DT支持Atlas A3 訓(xùn)練系列產(chǎn)品 / Atlas A3 推理系列產(chǎn)品支持Atlas A2 訓(xùn)練系列產(chǎn)品 / Atlas A2 推理系列產(chǎn)品支持Atlas 200I/500 A2 推理產(chǎn)品支持Atlas 推理系列產(chǎn)品不支持Atlas 訓(xùn)練系列產(chǎn)品支持注意在Atlas 200I/500 A2 推理產(chǎn)品與Atlas 訓(xùn)練系列產(chǎn)品上aclnnLtTensor/aclnnInplaceLtTensor不支持BFLOAT16數(shù)據(jù)類型見原文檔約束說明中 npu910,310b 標(biāo)記段。功能說明aclnnLtTensor與aclnnInplaceLtTensor實現(xiàn)相同的功能判斷輸入self中的每個元素是否小于輸入other中的元素返回一個 Bool 類型的 Tensor。計算公式為$$ out_i (self_i other_i) ? [True] : [False] $$即當(dāng)self_i嚴(yán)格小于other_i時輸出True否則輸出False。這一語義與 PyTorch 的torch.lt一致常用于掩碼生成、條件篩選、比較統(tǒng)計等場景。兩個接口的功能區(qū)別在于結(jié)果的存放位置aclnnLtTensor需新建一個輸出張量對象out存儲計算結(jié)果輸入self保持不變aclnnInplaceLtTensor無需新建輸出張量對象直接在輸入張量selfRef的內(nèi)存中原地寫入計算結(jié)果節(jié)省一份輸出內(nèi)存。在倉庫中該算子的完整實現(xiàn)分布于 math/less 目錄op_api提供 aclnn 接口層、op_host提供算子定義與 tiling、op_kernel提供 AscendC kernel 實現(xiàn)、op_kernel_aicpu提供 AICPU 兜底實現(xiàn)、framework提供 TF 插件適配。兩段式接口與函數(shù)原型aclnnLtTensor和aclnnInplaceLtTensor均為兩段式接口詳細(xì)范式見 兩段式接口必須先調(diào)用xxxGetWorkspaceSize第一段接口獲取計算所需的workspace 大小與包含算子計算流程的op 執(zhí)行器executor再依據(jù) workspaceSize 在 Device 側(cè)申請內(nèi)存后調(diào)用第二段接口執(zhí)行計算。說明workspace 是指除輸入/輸出外算子在 NPU 上完成計算所需的臨時內(nèi)存。第二段接口如aclnnLtTensor不能重復(fù)調(diào)用否則會出現(xiàn)異常。四個接口的原型如下aclnnStatus aclnnLtTensorGetWorkspaceSize( const aclTensor* self, const aclTensor* other, aclTensor* out, uint64_t* workspaceSize, aclOpExecutor** executor)aclnnStatus aclnnLtTensor( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)aclnnStatus aclnnInplaceLtTensorGetWorkspaceSize( const aclTensor* selfRef, const aclTensor* other, uint64_t* workspaceSize, aclOpExecutor** executor)aclnnStatus aclnnInplaceLtTensor( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)接口聲明位于 math/less/op_api/aclnn_lt_tensor.h實現(xiàn)位于 math/less/op_api/aclnn_lt_tensor.cpp調(diào)用時需要包含頭文件aclnnop/aclnn_lt_tensor.h。aclnnLtTensorGetWorkspaceSize 參數(shù)說明參數(shù)名輸入/輸出描述使用說明數(shù)據(jù)類型數(shù)據(jù)格式維度(shape)非連續(xù)TensorselfaclTensor*輸入輸入張量數(shù)據(jù)類型與 other 需滿足互推導(dǎo)關(guān)系shape 需與 other 滿足 broadcast 關(guān)系FLOAT、FLOAT16、BFLOAT16、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、DOUBLE、BOOLND0-8√otheraclTensor*輸入輸入張量數(shù)據(jù)類型與 self 需滿足互推導(dǎo)關(guān)系shape 需與 self 滿足 broadcast 關(guān)系FLOAT、FLOAT16、BFLOAT16、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、DOUBLE、BOOL---outaclTensor*輸出輸出張量shape 與 self、other 廣播之后的 shape 一致數(shù)據(jù)類型要求為 BOOL 可轉(zhuǎn)換的數(shù)據(jù)類型參見互轉(zhuǎn)換關(guān)系FLOAT、FLOAT16、BFLOAT16、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、DOUBLE、BOOL、COMPLEX64、COMPLEX128ND0-8√workspaceSizeuint64_t*輸出返回需要在 Device 側(cè)申請的 workspace 大小-----executoraclOpExecutor**輸出返回 op 執(zhí)行器包含了算子計算流程-----約束Atlas 200I/500 A2 推理產(chǎn)品、Atlas 訓(xùn)練系列產(chǎn)品不支持 BFLOAT16 數(shù)據(jù)類型。返回值與錯誤碼aclnnLtTensorGetWorkspaceSize返回aclnnStatus狀態(tài)碼完整定義見 aclnn返回碼。第一段接口完成入?yún)⑿ｒ灣霈F(xiàn)以下場景時報錯返回值錯誤碼描述ACLNN_ERR_PARAM_NULLPTR161001傳入的 self、other 或 out 是空指針ACLNN_ERR_PARAM_INVALID161002self、other 或 out 的數(shù)據(jù)類型不在支持的范圍之內(nèi)ACLNN_ERR_PARAM_INVALID161002self、other 或 out 的維度大于 8ACLNN_ERR_PARAM_INVALID161002self 和 other 的數(shù)據(jù)類型無法進行推導(dǎo)ACLNN_ERR_PARAM_INVALID161002self 和 other 的 shape 無法進行 broadcastACLNN_ERR_PARAM_INVALID161002out 的 shape 與 broadcast 后的 shape 不一致在 math/less/op_api/aclnn_lt_tensor.cpp 的CheckParams中可以看到校驗順序與上述錯誤碼一一對應(yīng)先做空指針檢查CheckNotNull返回ACLNN_ERR_PARAM_NULLPTR再檢查數(shù)據(jù)類型是否在支持列表內(nèi)CheckDtypeValid、類型能否互推導(dǎo)CheckPromoteType、shape 能否 broadcast 且與 out 一致CheckShape其余全部歸入ACLNN_ERR_PARAM_INVALID。aclnnLtTensor 參數(shù)說明參數(shù)名輸入/輸出描述workspace輸入在 Device 側(cè)申請的 workspace 內(nèi)存地址workspaceSize輸入在 Device 側(cè)申請的 workspace 大小由第一段接口 aclnnLtTensorGetWorkspaceSize 獲取executor輸入op 執(zhí)行器包含了算子計算流程stream輸入指定執(zhí)行任務(wù)的 StreamaclnnInplaceLtTensorGetWorkspaceSize 參數(shù)說明參數(shù)名輸入/輸出描述使用說明數(shù)據(jù)類型數(shù)據(jù)格式維度(shape)非連續(xù)TensorselfRefaclTensor*輸入|輸出輸入|輸出張量數(shù)據(jù)類型與 other 需滿足互推導(dǎo)關(guān)系shape 需與 other 滿足 broadcast 關(guān)系broadcast 后的 shape 需與 selfRef 的 shape 一致FLOAT、FLOAT16、BFLOAT16、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、DOUBLE、BOOLND0-8√otheraclTensor*輸入輸入張量數(shù)據(jù)類型與 selfRef 需滿足互推導(dǎo)關(guān)系shape 需與 self 滿足 broadcast 關(guān)系broadcast 后的 shape 需與 selfRef 的 shape 一致FLOAT、FLOAT16、BFLOAT16、INT32、UINT32、INT64、UINT64、INT16、UINT16、INT8、UINT8、DOUBLE、BOOL---workspaceSizeuint64_t*輸出返回需要在 Device 側(cè)申請的 workspace 大小-----executoraclOpExecutor**輸出返回 op 執(zhí)行器包含了算子計算流程-----約束Atlas 200I/500 A2 推理產(chǎn)品、Atlas 訓(xùn)練系列產(chǎn)品不支持 BFLOAT16 數(shù)據(jù)類型。返回值與錯誤碼返回值錯誤碼描述ACLNN_ERR_PARAM_NULLPTR161001傳入的 selfRef、other 是空指針ACLNN_ERR_PARAM_INVALID161002selfRef 和 other 的數(shù)據(jù)類型不在支持的范圍之內(nèi)ACLNN_ERR_PARAM_INVALID161002selfRef 和 other 的數(shù)據(jù)類型無法進行推導(dǎo)ACLNN_ERR_PARAM_INVALID161002selfRef 和 other 的 shape 無法做 broadcastACLNN_ERR_PARAM_INVALID161002selfRef 和 other 做 broadcast 后的 shape 不等于 selfRef 的 shapeACLNN_ERR_PARAM_INVALID161002selfRef、other 的維度大于 8注意原地版本的差異點由于結(jié)果寫回selfRef因此要求廣播后的 shape 必須與 selfRef 的 shape 相等否則無法原地寫回這是與普通版本最核心的語義區(qū)別。aclnnInplaceLtTensor 參數(shù)說明參數(shù)名輸入/輸出描述workspace輸入在 Device 側(cè)申請的 workspace 內(nèi)存地址workspaceSize輸入在 Device 側(cè)申請的 workspace 大小由第一段接口 aclnnInplaceLtTensorGetWorkspaceSize 獲取executor輸入op 執(zhí)行器包含了算子計算流程stream輸入指定執(zhí)行任務(wù)的 Stream約束說明確定性計算aclnnLtTensor與aclnnInplaceLtTensor默認(rèn)確定性實現(xiàn)。即同一輸入在相同硬件與軟件環(huán)境下多次執(zhí)行結(jié)果完全一致不會引入并行歸約順序?qū)е碌姆谴_定誤差可放心用于需要復(fù)現(xiàn)結(jié)果的訓(xùn)練與調(diào)試場景更詳細(xì)的背景可參考 確定性計算說明。調(diào)用示例示例代碼僅供參考完整編譯與執(zhí)行流程請參考 編譯與運行樣例。兩個完整可運行的示例同樣保存在倉庫中math/less/examples/test_aclnn_lt_tensor.cpp 與 math/less/examples/test_aclnn_inplace_lt_tensor.cpp。aclnnLtTensor 示例代碼#include iostream #include vector #include acl/acl.h #include aclnnop/aclnn_lt_tensor.h #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vectorint64_t shape) { int64_t shapeSize 1; for (auto i : shape) { shapeSize * i; } return shapeSize; } int Init(int32_t deviceId, aclrtStream* stream) { // 固定寫法資源初始化 auto ret aclInit(nullptr); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclInit failed. ERROR: %d\n, ret); return ret); ret aclrtSetDevice(deviceId); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtSetDevice failed. ERROR: %d\n, ret); aclFinalize(); return ret); ret aclrtCreateStream(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtCreateStream failed. ERROR: %d\n, ret); aclrtResetDevice(deviceId); aclFinalize(); return ret); return 0; } template typename T int CreateAclTensor(const std::vectorT hostData, const std::vectorint64_t shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size GetShapeSize(shape) * sizeof(T); // 調(diào)用aclrtMalloc申請device側(cè)內(nèi)存 auto ret aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtMalloc failed. ERROR: %d\n, ret); return ret); // 調(diào)用aclrtMemcpy將host側(cè)數(shù)據(jù)拷貝到device側(cè)內(nèi)存上 ret aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtMemcpy failed. ERROR: %d\n, ret); return ret); // 計算連續(xù)tensor的strides std::vectorint64_t strides(shape.size(), 1); for (int64_t i shape.size() - 2; i 0; i--) { strides[i] shape[i 1] * strides[i 1]; } // 調(diào)用aclCreateTensor接口創(chuàng)建aclTensor *tensor aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } struct LtTensorData { std::vectorint64_t selfShape {4, 2}; std::vectorint64_t otherShape {4, 2}; std::vectorint64_t outShape {4, 2}; void* selfDeviceAddr nullptr; void* otherDeviceAddr nullptr; void* outDeviceAddr nullptr; aclTensor* self nullptr; aclTensor* other nullptr; aclTensor* out nullptr; std::vectordouble selfHostData {0, 1, 2, 3, 4, 5, 6, 7}; std::vectordouble otherHostData {5, 5, 5, 5, 5, 5, 5, 5}; std::vectordouble outHostData {0, 0, 0, 0, 0, 0, 0, 0}; void* workspaceAddr nullptr; uint64_t workspaceSize 0; }; int CreateInputAndOutputTensors(LtTensorData data) { auto ret 0; // 創(chuàng)建self aclTensor ret CreateAclTensor(data.selfHostData, data.selfShape, data.selfDeviceAddr, aclDataType::ACL_DOUBLE, data.self); CHECK_RET(ret ACL_SUCCESS, return ret); // 創(chuàng)建other aclTensor ret CreateAclTensor(data.otherHostData, data.otherShape, data.otherDeviceAddr, aclDataType::ACL_DOUBLE, data.other); CHECK_RET(ret ACL_SUCCESS, return ret); // 創(chuàng)建out aclTensor ret CreateAclTensor(data.outHostData, data.outShape, data.outDeviceAddr, aclDataType::ACL_DOUBLE, data.out); CHECK_RET(ret ACL_SUCCESS, return ret); return ret; } int ExecuteLtTensorComputation(aclrtStream stream, LtTensorData data) { auto ret 0; aclOpExecutor* executor; // 調(diào)用aclnnLtTensor第一段接口 ret aclnnLtTensorGetWorkspaceSize(data.self, data.other, data.out, data.workspaceSize, executor); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnLtTensorGetWorkspaceSize failed. ERROR: %d\n, ret); return ret); // 根據(jù)第一段接口計算出的workspaceSize申請device內(nèi)存 data.workspaceAddr nullptr; if (data.workspaceSize 0) { ret aclrtMalloc(data.workspaceAddr, data.workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(allocate workspace failed. ERROR: %d\n, ret); return ret); } // 調(diào)用aclnnLtTensor第二段接口 ret aclnnLtTensor(data.workspaceAddr, data.workspaceSize, executor, stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnLtTensor failed. ERROR: %d\n, ret); return ret); // 同步等待任務(wù)執(zhí)行結(jié)束 ret aclrtSynchronizeStream(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtSynchronizeStream failed. ERROR: %d\n, ret); return ret); return ret; } int ProcessAndPrintResults(const LtTensorData data) { auto ret 0; auto size GetShapeSize(data.outShape); std::vectordouble resultData(size, 0); ret aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), data.outDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(copy result from device to host failed. ERROR: %d\n, ret); return ret); for (int64_t i 0; i size; i) { LOG_PRINT(result[%ld] is: %lf\n, i, resultData[i]); } return ret; } void ReleaseResources(LtTensorData data) { // 釋放aclTensor和aclScalar aclDestroyTensor(data.self); aclDestroyTensor(data.other); aclDestroyTensor(data.out); // 釋放device資源 aclrtFree(data.selfDeviceAddr); aclrtFree(data.otherDeviceAddr); aclrtFree(data.outDeviceAddr); if (data.workspaceSize 0) { aclrtFree(data.workspaceAddr); } } int ExecuteLtTensorOperator(aclrtStream stream) { LtTensorData data; // 創(chuàng)建輸入和輸出張量 auto ret CreateInputAndOutputTensors(data); CHECK_RET(ret ACL_SUCCESS, return ret); // 執(zhí)行LtTensor算子操作 ret ExecuteLtTensorComputation(stream, data); CHECK_RET(ret ACL_SUCCESS, return ret); // 處理并打印結(jié)果 ret ProcessAndPrintResults(data); CHECK_RET(ret ACL_SUCCESS, return ret); // 釋放資源 ReleaseResources(data); return 0; } int main() { int32_t deviceId 0; aclrtStream stream; auto ret Init(deviceId, stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(Init acl failed. ERROR: %d\n, ret); return ret); // 執(zhí)行LtTensor操作 ret ExecuteLtTensorOperator(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(ExecuteLtTensorOperator failed. ERROR: %d\n, ret); return ret); // 重置設(shè)備和終結(jié)ACL aclrtDestroyStream(stream); aclrtResetDevice(deviceId); aclFinalize(); return 0; }示例中self {0,1,2,3,4,5,6,7}、other {5,5,5,5,5,5,5,5}逐元素執(zhí)行比較后期望輸出前 5 個元素為True對應(yīng)數(shù)值 1.0后 3 個元素為False對應(yīng)數(shù)值 0.0。結(jié)果通過aclrtMemcpy(..., ACL_MEMCPY_DEVICE_TO_HOST)拷回 Host 側(cè)打印驗證。aclnnInplaceLtTensor 示例代碼#include iostream #include vector #include acl/acl.h #include aclnnop/aclnn_lt_tensor.h #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vectorint64_t shape) { int64_t shape_size 1; for (auto i : shape) { shape_size * i; } return shape_size; } int Init(int32_t deviceId, aclrtStream* stream) { // 固定寫法,資源初始化 auto ret aclInit(nullptr); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclInit failed. ERROR: %d\n, ret); return ret); ret aclrtSetDevice(deviceId); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtSetDevice failed. ERROR: %d\n, ret); aclFinalize(); return ret); ret aclrtCreateStream(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtCreateStream failed. ERROR: %d\n, ret); aclrtResetDevice(deviceId); aclFinalize(); return ret); return 0; } templatetypename T int CreateAclTensor(const std::vectorT hostData, const std::vectorint64_t shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size GetShapeSize(shape) * sizeof(T); // 調(diào)用aclrtMalloc申請device側(cè)內(nèi)存 auto ret aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtMalloc failed. ERROR: %d\n, ret); return ret); // 調(diào)用aclrtMemcpy將host側(cè)數(shù)據(jù)拷貝到device側(cè)內(nèi)存上 ret aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtMemcpy failed. ERROR: %d\n, ret); return ret); // 計算連續(xù)tensor的strides std::vectorint64_t strides(shape.size(), 1); for (int64_t i shape.size() - 2; i 0; i--) { strides[i] shape[i 1] * strides[i 1]; } // 調(diào)用aclCreateTensor接口創(chuàng)建aclTensor *tensor aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int ExecuteInplaceLtTensorOperator(aclrtStream stream) { auto ret 0; std::vectorint64_t selfShape {4, 2}; std::vectorint64_t otherShape {4, 2}; void* selfDeviceAddr nullptr; void* otherDeviceAddr nullptr; aclTensor* self nullptr; aclTensor* other nullptr; std::vectordouble selfHostData {0, 1, 2, 3, 4, 5, 6, 7}; std::vectorint otherHostData {1, 1, 1, 1, 0, 0, 0, 0}; ret CreateAclTensor(selfHostData, selfShape, selfDeviceAddr, aclDataType::ACL_DOUBLE, self); CHECK_RET(ret ACL_SUCCESS, return ret); ret CreateAclTensor(otherHostData, otherShape, otherDeviceAddr, aclDataType::ACL_INT32, other); CHECK_RET(ret ACL_SUCCESS, return ret); uint64_t workspaceSize 0; aclOpExecutor* executor; ret aclnnInplaceLtTensorGetWorkspaceSize(self, other, workspaceSize, executor); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnInplaceLtTensorGetWorkspaceSize failed. ERROR: %d\n, ret); return ret); void* workspaceAddr nullptr; if (workspaceSize 0) { ret aclrtMalloc(workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(allocate workspace failed. ERROR: %d\n, ret); return ret); } ret aclnnInplaceLtTensor(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnInplaceLtTensor failed. ERROR: %d\n, ret); return ret); ret aclrtSynchronizeStream(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtSynchronizeStream failed. ERROR: %d\n, ret); return ret); auto size GetShapeSize(selfShape); std::vectordouble resultData(size, 0); ret aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), selfDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(copy result from device to host failed. ERROR: %d\n, ret); return ret); for (int64_t i 0; i size; i) { LOG_PRINT(result[%ld] is: %lf\n, i, resultData[i]); } aclDestroyTensor(self); aclDestroyTensor(other); aclrtFree(selfDeviceAddr); aclrtFree(otherDeviceAddr); if (workspaceSize 0) { aclrtFree(workspaceAddr); } return 0; } int main() { int32_t deviceId 0; aclrtStream stream; auto ret Init(deviceId, stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(Init acl failed. ERROR: %d\n, ret); return ret); // 執(zhí)行InplaceLtTensor操作 ret ExecuteInplaceLtTensorOperator(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(ExecuteInplaceLtTensorOperator failed. ERROR: %d\n, ret); return ret); // 重置設(shè)備和終結(jié)ACL aclrtDestroyStream(stream); aclrtResetDevice(deviceId); aclFinalize(); return 0; }原地示例展示了兩個工程要點輸入可以是混合數(shù)據(jù)類型self為ACL_DOUBLE、other為ACL_INT32兩者滿足互推導(dǎo)關(guān)系f64 與 s32 推導(dǎo)為 f64由接口內(nèi)部完成隱式轉(zhuǎn)換無需用戶手動 Cast結(jié)果從self的 Device 地址讀取執(zhí)行完aclnnInplaceLtTensor后比較結(jié)果直接寫回self所在內(nèi)存因此只需從selfDeviceAddr拷回結(jié)果即可全程無需分配輸出張量。源碼級原理剖析接口層的完整計算流水線在 math/less/op_api/aclnn_lt_tensor.cpp 的注釋中完整計算流程被描述為self other | | \ / Contiguous(workspace_0) Contiguous(workspace_2) \ / Cast(workspace_1) Cast(workspace_3) \ / Less(workspace_4) | Cast(workspace_5) | ViewCopy | result對應(yīng)aclnnLtTensorGetWorkspaceSize的實現(xiàn)邏輯aclnn_lt_tensor.cpp空 Tensor 快速路徑若self或other為空 Tensor直接返回workspaceSize 0不構(gòu)造計算圖隱式類型提升先通過op::PromoteType或 A2 平臺上的op::BinaryOpTypePromote推導(dǎo)統(tǒng)一計算類型特別地若推導(dǎo)結(jié)果為DT_BOOL會提升為DT_UINT8aclnn_lt_tensor.cpp因為 BOOL 參與向量比較計算不直接、且 kernel 側(cè)統(tǒng)一按 uint8 語義處理布爾結(jié)果Contiguous Cast分別對self、other做l0op::Contiguous支持非連續(xù)張量輸入與l0op::Cast轉(zhuǎn)換為統(tǒng)一推導(dǎo)類型Less 核心計算調(diào)用l0op::Less完成逐元素比較產(chǎn)出 BOOL 結(jié)果Cast ViewCopy將 BOOL 結(jié)果 Cast 成out的目標(biāo)數(shù)據(jù)類型如示例中的 DOUBLE再通過l0op::ViewCopy拷貝到輸出張量從而兼容out為非連續(xù)張量的情況最后通過executor-GetWorkspaceSize()匯總整條流水線各階段workspace_0 至 workspace_5所需的臨時內(nèi)存總大小。Inplace 接口的實現(xiàn)本質(zhì)從 aclnn_lt_tensor.cpp 可以看出aclnnInplaceLtTensorGetWorkspaceSize的實現(xiàn)極為簡潔aclnnStatus aclnnInplaceLtTensorGetWorkspaceSize(const aclTensor* selfRef, const aclTensor* other, uint64_t* workspaceSize, aclOpExecutor** executor) { auto out const_castaclTensor*(selfRef); return aclnnLtTensorGetWorkspaceSize(selfRef, other, out, workspaceSize, executor); }即原地版本只是將selfRef同時作為輸出out傳給普通版本計算完成后結(jié)果通過 ViewCopy 寫回selfRef的內(nèi)存。這也解釋了為何原地版本要求broadcast 后的 shape 必須與 selfRef 的 shape 一致——輸出寫回的目標(biāo)地址容量是固定的。平臺相關(guān)的數(shù)據(jù)類型支持在 aclnn_lt_tensor.cpp 中輸入與輸出的數(shù)據(jù)類型支持列表按平臺區(qū)分ASCEND910Atlas 訓(xùn)練系列產(chǎn)品等輸入支持 FLOAT、INT32、INT64、FLOAT16、INT16、INT8、UINT8、DOUBLE、UINT32、UINT64、BOOL、UINT16不含 BFLOAT16ASCEND910B 及以上Atlas A2/A3、Ascend 950 等或 RegBase 架構(gòu)在上述基礎(chǔ)上額外支持 BFLOAT16輸出側(cè)還額外支持 COMPLEX64、COMPLEX128作為 BOOL 可轉(zhuǎn)換的目標(biāo)類型。這一差異正是原文檔中Atlas 訓(xùn)練系列產(chǎn)品、Atlas 200I/500 A2 推理產(chǎn)品不支持 BFLOAT16約束的代碼級來源由GetCurrentPlatformInfo().GetSocVersion()動態(tài)判定。算子定義、InferShape 與 Tiling在算子定義層面math/less/op_host/less_def.cpp算子名為Less輸入為x1、x2輸出為y輸入數(shù)據(jù)類型支持 BF16、FLOAT16、FLOAT、INT8、UINT8、INT32、INT64、UINT64、BOOL、DOUBLE輸出固定為 BOOLAICore 配置開啟DynamicCompileStaticFlag、DynamicRankSupportFlag、DynamicShapeSupportFlag即支持動態(tài) shape 與動態(tài) rank 編譯并指定 kernel 文件為less_apt在 math/less/op_host/less_infershape.cpp 中InferShape 直接復(fù)用廣播基類Ops::Base::InferShape4Broadcast與接口層shape 需滿足 broadcast 關(guān)系的校驗保持一致在 math/less/op_host/arch35/less_tiling_arch35.cpp 中tiling 按輸入數(shù)據(jù)類型int64、uint64、int32、float、half、uint8、int8/bool、double實例化對應(yīng)的BroadcastBaseTilingLessComputeT::OpDag模板同一時刻要求x1與x2的數(shù)據(jù)類型一致該文件在接口層完成類型提升后天然滿足。Kernel 層的 DAG 計算圖在 math/less/op_kernel/arch35/less_dag.h 中kernel 通過 DAG有向無環(huán)圖描述計算輸入經(jīng)Vec::CopyInBrcT廣播拷貝進 Vector 單元Input0/Input1Vec::Compareuint8_t, T, LESS_CMP_MODELESS_CMP_MODE 0執(zhí)行小于比較產(chǎn)出 uint8 掩碼再經(jīng)Vec::SelectLESS_SELECT_MODE 2結(jié)合常量 1/0 把比較結(jié)果映射為布爾值最終Vec::CopyOutuint8_t寫回輸出內(nèi)存配置為MemLevel::LEVEL_2。入口 math/less/op_kernel/less_apt.cpp 中l(wèi)esskernel 使用BroadcastSchschMode, OpDag調(diào)度器統(tǒng)一處理廣播邏輯當(dāng)輸入類型為 BOOL 時按int8_t模板實例化其余類型按DTYPE_X1模板實例化。此外math/less/op_kernel_aicpu/less_aicpu.cpp 提供 AICPU 側(cè)的兜底實現(xiàn)。二進制配置與測試驗證算子的各數(shù)據(jù)類型二進制配置位于 math/less/op_host/config/ascend950/less_binary.json如Less_BFLOAT16、Less_FLOAT32、Less_INT64等輸出統(tǒng)一為bool以及 math/less/op_host/config/ascend350/less_binary.json。倉庫同時提供了多層次的測試用例用于驗證接口行為OP API 單元測試math/less/tests/ut/op_api/test_lt_tensor.cpp 覆蓋 FLOAT、FLOAT16、INT32、INT64 等多種 dtype 與 ND/NHWC/NCHW 等 format 組合并包含廣播場景如{4,5}與{2,3,4,5}的廣播比較通過OP_API_UT(aclnnLtTensor, ...)框架自動校驗GetWorkspaceSize與計算結(jié)果InferShape 單元測試math/less/tests/ut/op_host/test_less_infershape.cppAICPU 兜底測試math/less/tests/ut/op_kernel_aicpu/test_less.cppST 測試math/less/tests/st/aclnnLtTensor/atk_aclnnLtTensor.json 與 math/less/tests/st/arch35/ttk_kernel_less_st.csv。工程選型建議需要保留原輸入時使用aclnnLtTensor自行創(chuàng)建out張量接收結(jié)果希望節(jié)省內(nèi)存、原輸入不再需要時使用aclnnInplaceLtTensor直接將selfRef原地改寫省去一份輸出張量的申請與拷貝注意廣播約束普通版本允許out的 shape 等于廣播后 shape原地版本要求廣播后 shape 與selfRefshape 完全一致平臺差異在 Atlas 訓(xùn)練系列產(chǎn)品、Atlas 200I/500 A2 推理產(chǎn)品上避免使用 BFLOAT16 輸入否則第一段接口會返回ACLNN_ERR_PARAM_INVALID。如需了解算子本身的完整語義、參數(shù)總覽與其他調(diào)用方式如 aclnnLtScalar、圖模式調(diào)用可進一步閱讀 math/less/README.md 與同目錄下的 aclnnLtScalaraclnnInplaceLtScalar 文檔。贊分享算子庫人工智能CANN【免費下載鏈接】ops-math本項目是CANN提供的數(shù)學(xué)類基礎(chǔ)計算算子庫實現(xiàn)網(wǎng)絡(luò)在NPU上加速計算。項目地址https://gitcode.com/cann/ops-math點擊查看免費下載相關(guān)推薦CANN ops-math Less 算子 aclnnLtTensor 與 aclnnInplaceLtTensor 接口調(diào)用指南CANN ops math Less 算子 aclnnLtTensor 與 aclnnInplaceLtTensor 接口調(diào)用指南 本篇技術(shù)指南以 CANN o算子庫人工智能CANNCANN ops-math 算子實戰(zhàn)aclnnDiv 與 aclnnInplaceDiv 除法算子接口全解析CANN ops math 算子實戰(zhàn)aclnnDiv 與 aclnnInplaceDiv 除法算子接口全解析 本篇技術(shù)指南圍繞 CANN ops math 數(shù)算子庫人工智能CANNCANN ops-math 除法取模算子 aclnnDivMod / aclnnInplaceDivMod 接口全解析與實戰(zhàn)CANN ops math 除法取模算子 aclnnDivMod / aclnnInplaceDivMod 接口全解析與實戰(zhàn) 本文是 CANN ops math算子庫人工智能CANN創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考