思考到基于 Transformer 的重新着实预料器的争议 ，钻研者们正在思考为甚么 Transformer 在光阴序列预料中的审阅实用展现致使不如线性模子 ，而在良多其余规模却发挥着主导熏染。颠倒更的新

克日 ，天下来自清华大学的预料一篇新论文提出了一个差距的视角 ——Transformer 的功能不是固有的 ，而是泛起由于将架构不当地运用于光阴序列数据组成的
。

论文地址 ：https://arxiv.org/pdf/2310.06625.pdf

基于 Transformer 的重新着实预料器的现有妄想可能并不适宜多变量光阴序列预料 。如图 2 左侧所示，审阅实用统一光阴步长的颠倒更的新点根基上代表了残缺差距的物理意思，但丈量服从却不不同，天下这些点被嵌入到一个 token 中
，预料多变量相关性被抹去。泛起而且，重新着实在事实天下中，审阅实用由于多变量光阴点的颠倒更的新部份感触野以及光阴戳不同过错齐，单个光阴步组成的标志很难揭示有利信息。此外 ，尽管序列变更会受到序列挨次的极大影响，但在光阴维度上却不适当地接管变体留意力机制。因此，Transformer 在捉拿根基序列表征以及形貌多元相关性方面的能耐被削弱 ，限度了其在差距光阴序列数据上的能耐以及泛化能耐。

对于将每一个光阴步的多变量点嵌入一个（光阴）token 的不同理性，钻研者从光阴序列的反向视角动身，将每一个变量的全部光阴序列自力嵌入一个（变量）token，这是扩展部份感触野的 patching 的极其情景  。经由颠倒，嵌入的 token 群集了序列的全局表征，可能愈加以变量为中间，更好地运用留意力机制妨碍多变量分割关连
。同时 ，前馈收集可能熟练地学习恣意回溯序列编码的差距变量的泛化表征，并解码以预料未来序列。

钻研者以为 Transformer 对于光阴序列预料并非实用，而是运用不妥 。在文中，钻研者重新审阅了 Transformer 的妄想 ，并建议将 iTransformer 作为光阴序列预料的根基支柱。他们将每一个光阴序列嵌入为变量 token，接管多变量相关性关注 ，并运用前馈收集妨碍序列编码。试验服从表明，本文所提出的 iTransformer 在图 1 所示的实际预料基准上抵达了 SOTA 水准 ，并出人预料地处置了基于 Transformer 的预料器的痛点。

总结来说，本文的贡献有如下三点：

• 钻研者对于 Transformer 的架构妨碍了反思，发现原生 Transformer 组件在光阴序列上的能耐尚未患上到短缺开拓。

• 本文提出的 iTransformer 将自力光阴序列视为 token ，经由自留意力捉拿多变量相关性，并运用层归一化以及前馈收集模块学习更好的序列全局展现法，用于光阴序列预料。

• 经由试验，iTransformer 在着实天下的预料基准上抵达了 SOTA。钻研者合成了反转模块以及架构抉择，为未来改善基于 Transformer 的预料器指明了倾向。

iTransformer

在多变量光阴序列预料中，给定历史审核：

用 T 个光阴步长以及 N 个变量 ，钻研者预料未来的 S 个光阴步长：

。为利便起见
，展现为

• ·勇士要完蛋吗？库里独木难支？还有挽救可能吗？两粒猛药拯救一下
• ·掘金半年报行情 7月如何布局？
• ·西部巨变！9人4队大生意妄想：怯夫坚持格林，湖人四巨头降生
• ·又是1比0 又是引进当红国脚 上海申花双喜临门 夺冠指日可待
• ·原创 名记：在夺冠后，湖人欲进行交易补强，佩林卡瞄准猛龙悍将
• ·又是1比0！ 上海申花队本赛季已7场1比0获胜
• ·[瞎话板]太阳谢绝为先锋达里厄斯
• ·打包交易，再见灰熊！美媒晒篮网交易猜想，他或将前往火箭官宣！3笔签约达成，火箭双喜临门，太阳新决定，勇士续约功勋
• ·2023财富MPW女性峰会成功举办 领英中国王茜入选中国最具影响力商业女性未来榜
• ·法国男篮宣告天下杯台甫单:状元文班缺阵 戈贝尔巴图姆领衔
• ·[瞎话板]前爵士球员阿祖布伊克将代表凯尔特人出战夏日联赛
• ·工信部无线电规画局赵征：中频段仍将是未来挪移通讯睁开的主力频段
• ·原创 辽篮争冠三喜临门，CBA总冠军先生驰援，赵继伟弗格迎帮手
• ·灰熊挖角勇士防守核心格林？多队争夺当红自由球员！
• ·祝愿国米！有望截胡尤文3000万侵略手加盟，中场上将或者离队
• ·原创 湖人欲留住5+3悍将！浓眉的完美搭档，季后赛低迷只是因为受伤！