IDA旧版本插件移植后卡死问题的研究及修复

问题概述

在逆向工程中，许多安全研究人员会遇到将IDA旧版本(如7.7)的hexrays反编译插件移植到新版本IDA(如8.3+)时出现的卡死问题。这个问题特别在反编译ARM32架构代码时频繁出现，严重影响工作效率。

问题现象

• 使用移植后的IDA 7.7 hexrays插件时，反编译过程会在特定函数(如sub_8DB0)处卡死
• 即使处理很小的ARM32文件(16KB)，也会出现长时间无响应
• 影响vulfi等扫描类插件的正常运行

问题根源分析

通过xdbg调试分析，发现问题出在ida-orig.is_numop+191函数的死循环上。深入研究发现：

1. API变动：IDA 7.7到8.4版本间is_numop函数实现有重大变更
2. 参数差异：
   • 8.4版本使用__int64 a1(64位)
   • 7.7版本使用int a1(32位)
3. 位域覆盖范围：
   • 8.4版本处理8个位域(位20-23,24-27,32-35,36-39等)
   • 7.7版本仅处理2个位域(位20-23,24-27)
4. 逻辑差异：两个版本的判断逻辑不完全相同

现有修复方法的问题

已有解决方案使用is_numop0替换is_numop，但这种方法存在缺陷：

• is_numop0本质是调用is_numop(a1,0)
• 仅对20-23位进行操作，忽略其他位域判断
• 影响反编译结果的准确性

推荐的修复方案

修复思路

采用DLL劫持方法，在ida.dll中创建新函数is_num0p替代is_numop，并修改旧插件导入表指向新函数。

详细修复步骤

1. 重新编译ida_dll_shim

1. 在ida_dll_exports.h中添加新函数is_num0p，内容为7.7版本的is_numop实现
2. 使用Visual Studio重新编译生成ida.dll和ida64.dll
3. 替换原先生成的dll文件

验证方法：使用IDA查看导出表，确认is_numop和is_num0p同时存在并可跳转

2. 修改hex反编译dll的导入表

1. 使用CFF Explorer工具
2. 打开异构hex反编译dll(如hexarm.dll)
3. 导航至importDirectory
4. 将导入函数is_numop改为is_num0p
5. 保存修改

3. 最终验证

1. 启动修改后的IDA
2. 使用xdbg附加调试
3. 确认程序进入新创建的is_num0p函数
4. 运行测试案例，确认不再出现卡死

技术细节补充

is_numop函数分析

8.4版本逻辑

// 伪代码表示
bool is_numop(__int64 a1, int a2) {
    int v2 = a2 & 0xF;
    if (v2 == 0xF) {
        // 检查8组不同的四位字段
        for (int v3 = 0; v3 < 8; v3++) {
            int shift = 4 * (v3 + (v3 > 1) + 5);
            int value = (a1 >> shift) & 0xF;
            if (value == 0x2 || value == 0x7 || value == 0x6 || value == 0x1) {
                return true;
            }
        }
    } else if (v2 < 8) {
        // 检查指定四位字段
        int shift = 4 * (v2 + (v2 > 1) + 5);
        int value = (a1 >> shift) & 0xF;
        return (value == 0x2 || value == 0x7 || value == 0x6 || value == 0x1);
    }
    return false;
}

7.7版本逻辑

// 伪代码表示
bool is_numop(int a1, int a2) {
    // 仅处理两个位域(20-23位和24-27位)
    int value1 = (a1 >> 20) & 0xF;
    int value2 = (a1 >> 24) & 0xF;
    return (value1 == 0x2 || value1 == 0x7 || value1 == 0x6 || value1 == 0x1 ||
            value2 == 0x2 || value2 == 0x7 || value2 == 0x6 || value2 == 0x1);
}

DLL依赖关系

修复前的依赖关系：

IDA进程 → ida.dll(劫持层) → ida-orig.dll(原始IDA 8.4)
        ↘ hexarm.dll(旧版插件) → 调用ida-orig.is_numop(不兼容)

修复后的依赖关系：

IDA进程 → ida.dll(劫持层) → ida-orig.dll(原始IDA 8.4)
        ↘ hexarm.dll(修改后) → 调用ida.dll.is_num0p(兼容实现)

注意事项

1. 确保备份原始文件，以防修改失败
2. 修改导入表时注意不要破坏其他函数引用
3. 不同架构的插件(如hexarm.dll和hexrays-x86_64.dll)可能需要分别处理
4. 测试时使用小型样本文件，便于快速验证

参考资源

1. 在新版IDA中使用旧版本反编译插件
2. Microsoft DLL搜索顺序文档
3. ida_dll_shim项目源码
4. CFF Explorer工具

通过上述方法，可以有效解决IDA旧版本插件移植后的卡死问题，同时保持反编译结果的准确性。此方法的核心在于理解版本间API差异，并通过合理的DLL劫持技术实现兼容。