跳到正文
K = 0.731
语言预训练（当代技术主题写实插画）

加速史四维视角距今 8 年

2018年6月11日

语言预训练

GPT和BERT先从大量无标注文本中学习，再适配具体任务，语言模型从专用工具走向可复用的基础。

画风 ·当代技术主题写实插画

地球生命起源恐龙与哺乳动物智能体
方向键逐幅切换画面 · 滚轮缩放 · 拖动或点击定位时间

文明读数

小曲线是每项指标的全部有据历史，横轴同样按对数时间；圆点是此刻。

卡尔达肖夫指数

0.726

按一次能源功率换算 · I 型文明 = 1

世界人口

77.5 亿人

今天的 1/1

人类一次能源总功率

1.8×10¹³瓦

今天的 1/1

每美元算力

3.5×10¹⁰每秒浮点运算次数/美元（FLOP/s per $，名义美元）

今天的 1/2

伦敦到纽约一条消息的最快送达时间

0.03 秒

与今天相当

人类达到的最快移动速度

39,897千米/时

与今天相当

此刻附近

轴上离此刻最近的八件事，点标题跳过去。

  1. 2017年6月12日智能

    论文《注意力就是你所需要的》提出Transformer架构。 来源

  2. 2018年2月6日宇宙

    现役运力最大的火箭首飞，两枚助推器同步回收着陆。 来源

  3. 2018年6月11日智能

    OpenAI用无标注文本预训练语言模型，再针对任务微调。 来源

  4. 2018年10月11日智能

    谷歌的双向预训练模型刷新多项语言理解任务。 来源

  5. 2019年1月3日宇宙

    人类探测器首次在月球背面软着陆。 来源

  6. 2019年2月14日智能

    15亿参数模型能写出连贯长文，OpenAI分阶段发布。 来源

  7. 2019年4月10日宇宙

    事件视界望远镜公布 M87 黑洞阴影图像。 来源

  8. 2019年10月23日计算

    谷歌Sycamore处理器在特定采样任务上超过经典超算。 来源

能力进度

已经掌握93 / 121项

最近掌握

尚未出现

时代画卷

每个时代用它自己的画风来画。

数据在 industry/chronicle/，每条都附出处；指标在两个有来源的数据点之间按对数插值；预测包含机构、社区观点与注明提出者的本站情景推演，年份不是确定的实现日期。配图由 AI 按各时代的画风绘制。

明早 08:00 把这样一份日报发到你邮箱

和上面这份一样：几件值得看的事。免费，点确认信之后才会开始发送，每封信都能一键退订。 看一份往期日报