如何检测浏览器中的代码语言

存储库：https://github.com/ray-d-song/guesslang-JS

演示：https://ray-d-song.github.io/guesslang-js/

最近在做一个叫EchoRSS的项目，有一个非常想要的功能，就是拦截订阅中的外部链接（阅读全文、引用等）并直接显示在当前页面上。

存在返回的html代码块丢失语言标注的问题（或者原代码块中的pre和code标签上没有标注语言），因此无法使用shiki或prism.js等工具进行高亮显示。

我找到了三种检测代码语言的解决方案：

1. 语言学家

这是一个部署在服务器上的ruby项目，github使用它来检测存储库的语言构成。如果你需要极高的精度并且可以在服务器上计算，这是最好的解决方案。

2. HLJS

highlight.js 是一个非常著名的网页代码高亮库，也是唯一提供自动代码检测的库。

原理很简单，就是枚举该语言的关键词，然后将它们与文本一一匹配，最后看哪一个匹配度最高。

hljs 有四个问题。

• 需要非常长的代码长度，大多数语言至少需要300个字符才能达到相对较好的准确性。
• 检测语言的部分并不是一个单独的模块，而是与解析器和渲染器紧密耦合，而且代码也非常命令式，很难提取出有用的部分。
• 如果不提取检测模块，在使用hljs高亮时，代码的原始格式（换行和缩进）将会丢失。
• 需要大量正则匹配，性能较差，并且由于原因2，无法在Web Worker中运行。

3. 猜测

guesslang是一个基于tensorflow.js的机器学习项目。

微软在2021年将此项目移植到node.js，并在vscode中添加了自动语言检测功能。

三年前有个越南小伙hieplpvip也把这个项目移植到浏览器上，但是也存在三个问题：

• 内存泄漏，内存泄漏…
• 仅支持<script>标签引入umd格式，不支持esm，不支持bundle</script>
• 同样，由于原因2，它不支持Web Worker

这家伙还没有维护这个项目，三月份支持esm的壮举请求也没有得到回复。

于是我从hljs中提取了检测模块，并fork了guesslang-js来修复上述问题，最终guesslang获胜，结果是这样的：
https://github.com/ray-d-song/guesslang-js

我觉得说的太多了，也许以后有人需要，所以我就发一下。

如果有人了解tensorflow.js，希望能推荐一些学习资料，我想进一步修改为web gpu计算以提高效率。