Skip to content

Latest commit

 

History

History
executable file
·
67 lines (45 loc) · 1.53 KB

README.md

File metadata and controls

executable file
·
67 lines (45 loc) · 1.53 KB

ChatCRNN

本项目暂无任何实用价值,仅用于测试TransformerEncoder的推理能力,算法细节可参考:
https://www.zhihu.com/question/605567747/answer/3441552623

测试环境: Ubuntu 18+

任务状态说明
三位整数乘法 测试精度约为99.994% 不依赖CoT、编程等任何辅助方式
Transformer层数:7

训练数据集 测试代码

四位整数乘法 测试精度约为99.949% 不依赖CoT、编程等任何辅助方式
Transformer层数:7

训练数据集 测试代码

数数

问题描述

测试精度约为99.981% 统计字符串中字母的个数
不依赖CoT、编程等任何辅助方式
Transformer层数:7

训练数据集 测试代码

实验总结

TransformerEncoder+CTCLoss组合已经在多行文本识别、图像识别、多位整数乘法、数数等不同任务上表现出了很强的适应性。

在语音识别领域,TransformerEncoder+CTCLoss组合也有着广泛的应用: https://huggingface.co/learn/audio-course/chapter3/ctc