iOS底层原理探索 — 内存管理之 Tagged Pointer Format Changes-一一网

写在前面： iOS底层原理探究是本人在平时的开发和学习中不断积累的一段进阶之
路的。 记录我的不断探索之旅，希望能有帮助到各位读者朋友。
复制代码

目录如下：

以上内容的总结专栏

iOS 底层原理探索之阶段总结

细枝末节整理

iOS开发细节整理总结

前言

接着上一篇，我们看下苹果对于Objective——C runtime运行时所作的优化。按照苹果官方的说法，即使我们的app不做任何优化，运行速度也会变快，那么苹果底层做了什么优化来作为支撑的呢？今天，我们就一探究竟。

内存管理方案

说到内存管理，大家想到的应该都是 ARC MRC 等，这里我们要看的是下面三个：

首先，我们要复习下苹果关于运行时做出的更改

来自苹果WWDC2020关于 Objective-C 运行时做出的更改

Objective-C运行时的进步

深入了解作为每个 Objective-C 和 Swift 类基础的低级位和字节的微观世界。了解内部数据结构、方法列表和标记指针的最新变化如何提供更好的性能和更低的内存使用。我们将演示如何识别和修复依赖于内部细节的代码崩溃，并向您展示如何使您的代码不受运行时更改的影响。

Tagged Pointer Format Changes

什么是Tagged Pointer

让我们先来看看普通对象指针的结构通常当我们看到这些指针时它们被打印成这些大的十六进制数字我们经常看到过这些数字；
让我们把它分解成二进制表示法；
我们有 64 位然而我们并没有真正地使用到所有这些位；
我们只在一个真正的对象指针中使用了中间的这些位；
由于对齐要求的存在低位始终为 0 对象必须总是位于指针大小倍数的一个地址中；
由于地址空间有限所以高位始终为 0 我们实际上不会用到 2^64；
这些高位和低位总是 0；
所以让我们从这些始终为 0 的位中选择一个位并把它设置为 1；
这可以让我们立即知道这不是一个真正的对象指针 然后我们可以给其他所有位赋予一些其他的意义；

我们称这种指针为 tagged pointer

例如 我们可以在其他位中塞入一个数值

只要我们想教 NSNumber 如何读取这些位并让运行时适当地处理 tagged pointer 系统的其他部分就可以把这些东西当做对象指针来处理并且永远不会知道其中的区别

这样可以节省我们为每一种类似情况分配一个小数字对象的代价 这是一个重大的改进

顺便说一下这些值实际上是通过与进程启动时初始化的随机值相结合而被混淆的

这一安全措施使得很难伪造 tagged pointer

在接下来的讨论中我们将忽略这一点因为它只是在顶部增加了一层只是要注意如果你真的试图在内存中查看这些值它们会被打乱

Tagged Pointers On Intel

这就是 Intel 上 tagged pointer 的完整格式

我们把低位设置为 1 表示这是一个 tagged pointer

正如我们所讨论的对于一个真正的指针这个位必须始终为 0 所以这让我们可以把它们区分开来

接下来的 3 位是标签号这表示 tagged pointer 的类型例如 3 表示它是一个 NSNumber 6 表示它是一个 NSDate

由于我们有 3 个标签位所以有 8 种可能的标签类型

剩下的位是有效负载这是特定类型可以随意使用的数据

对于标记的 NSNumber 这是实际的数字

现在标签 7 有一个特殊情况它表示一个扩展标签扩展标签使用接下来的 8 位来编码类型这允许多出 256 个标签类型但是代价是减少有效负载

这使得我们可以将 tagged pointer 用于更多的类型只要它们可以将其数据装入更小的空间

这可用于一些东西如用户界面 colors 或 NSIndexSets

现在如果这对你来说非常方便你可能会感到失望因为只有运行时维护者即 Apple 可以添加 tagged pointer 类型

但如果你是一个 Swift 程序员你会感到很高兴可以创建自己的 tagged pointer 类型如果你曾经使用过一个具有关联值的枚举那是一个类似于 tagged pointer 的类

Swift 运行时将枚举判别器存储在关联值有效负载的备用位中

而且 Swift 对值类型的使用实际上使得 tagged pointer 变得没那么重要了因为值不再需要完全是指针大小

例如 Swift UUID 类型可以是两个字并保持内联而不是分配一个单独的对象因为它不适合在一个指针里面

这就是 intel 上的 tagged pointer 让我们来看看 ARM

Tagged Pointers On ARM64

在 arm64 上这些是反过来的

最高位设置为 1 而不是最低位用来表示一个 tagged pointer

然后在接下来的 3 个位中出现标签号

而有效负载使用剩余的位

为什么我们在 ARM 上使用顶部位来表示 tagged pointer 而不是像在 intel 上那样使用底部位来表示呢？

嗯这实际上是对 objc_msgSend 的一个小优化

我们希望 msgSend 中最常见的路径可以尽可能地快而最常见的路径是一个普通的指针

我们有两种不太常见的情况

tagged pointer 和 nil

事实证明当我们使用最高位时我们可以通过一次比较对这两个进行检查相比于分开检查 nil 和 tagged pointer 这就为 msgSend 中的常见情况节省了一个条件分支

和 Intel 中一样对于标签 7 我们有一个特殊情况接下来的 8 位被用作扩展标签然后剩下的位用于有效负载或者说这其实是 iOS 13 使用的旧格式

在2020年的版本中我们做了一些改动我们将标签位保持在最高位因为 msgSend 的优化还是非常有用的

标签号现在移到了最下面的 3 个位

如果正在使用扩展标签那么它会占据标签位后的高 8 位

为什么我们要这样做呢？好吧让我们再来看看正常指针

我们现有的工具比如动态链接会忽略指针的前 8 位这是由于一个名为 Top Byte Ignore 的 ARM 特性

而我们会把扩展标签放在 Top Byte Ignore 位

对于一个对齐指针底部 3 个位总是 0

但我们可以改变这一点只需要通过在指针上添加一个小数字

我们将添加 7 以将低位设置为 1 请记住 7 表示这是一个扩展标签

这意味着我们实际上可将上面的这个指针放入一个扩展标签指针有效负载中

这个结果是一个 tagged pointer 以及其有效负载中包含一个正常指针

为什么这很有用呢？好的它开启了 tagged pointer 的能力引用二进制文件中的常量数据的能力例如字符串或其他数据结构否则它们将不得不占用 dirty memory

当然现在这些变化意味着今年晚些时候 iOS 14 发布时直接访问这些位的代码将会失效

在过去像这样的位检查是可以进行的

但在未来的 OS上它会给你错误的答案然后你的 app 会开始莫名其妙地破坏用户数据

所以不要使用那些依赖于我们所谈到的任何东西的代码相反你大概可以猜到我要说什么也就是要使用 API

像 isKindOfClass 这样的类型检查它们在旧的 tagged pointer 格式上工作在新的 tagged pointer 格式上它们也将继续工作所有的 NSString 或 NSNumber 方法都能继续工作这些 tagged pointer 中的所有信息都可以通过标准的 API 来检索

按照苹果的说法， Tagget Pointer 有3倍的空间效率和106倍的创建销毁性能的提升。

代码验证

模拟器环境

NSTaggedPointerString

其地址 0xe162ff2824e12ccf 看起来有一点那么多不科学；上一篇内存五大区中，如果是在栈区通常以 0x7 开头，如果在堆区通常以 0x6 开头，如果在全局区通常以 0x1开头，然而这个 NSTaggedPointerString 地址以 0xa 开头。

下面，我们来到源码环境探索下其内容：

_objc_decodeTaggedPointer


/// 这里就是 Ben 同学说的 这些值实际上是通过 与进程启动时初始化的随机值相结合 而被混淆的
// 这一安全措施使得 很难伪造 tagged pointer
static inline uintptr_t
_objc_decodeTaggedPointer_noPermute(const void * _Nullable ptr)
{
    uintptr_t value = (uintptr_t)ptr;
#if OBJC_SPLIT_TAGGED_POINTERS
    if ((value & _OBJC_TAG_NO_OBFUSCATION_MASK) == _OBJC_TAG_NO_OBFUSCATION_MASK)
        return value;
#endif
    return value ^ objc_debug_taggedpointer_obfuscator;
}

static inline uintptr_t
_objc_decodeTaggedPointer(const void * _Nullable ptr)
{
    uintptr_t value = _objc_decodeTaggedPointer_noPermute(ptr);
#if OBJC_SPLIT_TAGGED_POINTERS
    uintptr_t basicTag = (value >> _OBJC_TAG_INDEX_SHIFT) & _OBJC_TAG_INDEX_MASK;

    value &= ~(_OBJC_TAG_INDEX_MASK << _OBJC_TAG_INDEX_SHIFT);
    value |= _objc_obfuscatedTagToBasicTag(basicTag) << _OBJC_TAG_INDEX_SHIFT;
#endif
    return value;
}

----

/***********************************************************************
* initializeTaggedPointerObfuscator
* Initialize objc_debug_taggedpointer_obfuscator with randomness.
*
* 带标记的指针混淆器旨在使其更加困难 
* 对于攻击者来说，要构造一个带有标记的指针的特定对象， 
* 出现缓冲区溢出或其他写控制时 内存。
* 设置时，模糊器是带有标记指针的xord 或检索有效载荷值。
* 它们首先充满了随机性 使用。
**********************************************************************/
static void
initializeTaggedPointerObfuscator(void)
{
    if (!DisableTaggedPointerObfuscation) {
        // Pull random data into the variable, then shift away all non-payload bits.
        arc4random_buf(&objc_debug_taggedpointer_obfuscator,
                       sizeof(objc_debug_taggedpointer_obfuscator));
        objc_debug_taggedpointer_obfuscator &= ~_OBJC_TAG_MASK;

#if OBJC_SPLIT_TAGGED_POINTERS
        // The obfuscator doesn't apply to any of the extended tag mask or the no-obfuscation bit.
        objc_debug_taggedpointer_obfuscator &= ~(_OBJC_TAG_EXT_MASK | _OBJC_TAG_NO_OBFUSCATION_MASK);

        // Shuffle the first seven entries of the tag permutator.
        int max = 7;
        for (int i = max - 1; i >= 0; i--) {
            int target = arc4random_uniform(i + 1);
            swap(objc_debug_tag60_permutations[i],
                 objc_debug_tag60_permutations[target]);
        }
#endif
    } else {
        // Set the obfuscator to zero for apps linked against older SDKs,
        // in case they're relying on the tagged pointer representation.
        objc_debug_taggedpointer_obfuscator = 0;
    }
}

复制代码

_objc_makeTaggedPointer

static inline void * _Nonnull
_objc_makeTaggedPointer(objc_tag_index_t tag, uintptr_t value)
{
    // PAYLOAD_LSHIFT and PAYLOAD_RSHIFT are the payload extraction shifts.
    // They are reversed here for payload insertion.

    // ASSERT(_objc_taggedPointersEnabled());
    if (tag <= OBJC_TAG_Last60BitPayload) {
        // ASSERT(((value << _OBJC_TAG_PAYLOAD_RSHIFT) >> _OBJC_TAG_PAYLOAD_LSHIFT) == value);
        uintptr_t result =
            (_OBJC_TAG_MASK | 
             ((uintptr_t)tag << _OBJC_TAG_INDEX_SHIFT) | 
             ((value << _OBJC_TAG_PAYLOAD_RSHIFT) >> _OBJC_TAG_PAYLOAD_LSHIFT));
        return _objc_encodeTaggedPointer(result);
    } else {
        // ASSERT(tag >= OBJC_TAG_First52BitPayload);
        // ASSERT(tag <= OBJC_TAG_Last52BitPayload);
        // ASSERT(((value << _OBJC_TAG_EXT_PAYLOAD_RSHIFT) >> _OBJC_TAG_EXT_PAYLOAD_LSHIFT) == value);
        uintptr_t result =
            (_OBJC_TAG_EXT_MASK |
             ((uintptr_t)(tag - OBJC_TAG_First52BitPayload) << _OBJC_TAG_EXT_INDEX_SHIFT) |
             ((value << _OBJC_TAG_EXT_PAYLOAD_RSHIFT) >> _OBJC_TAG_EXT_PAYLOAD_LSHIFT));
        return _objc_encodeTaggedPointer(result);
    }
}
复制代码