Groq本身是一家专注于人工智能芯片研发的公司，随着大模型的爆发，也加入到这场盛宴，提供类似OpenAI的大模型推理服务。笔者介绍的就是这家公司提供的公益项目，简单来说就是免费为用户提供大模型推理服务，没有任何套路，目前已推出包括Gemma、Llama、Mixtral在内的10种不同级别的模型，另外还支持2种TTS模型，强烈建议需要的朋友入手。 🦀 获取Groq Key 1️⃣ 注册Groq 打开下面的网址，注册一个账号并登录，或者直接使用Github或Google账号登录。 https://console.groq.com/login 2️⃣ 创建Key 打开API Keys菜单，点击Create API Key创建一个用于调用大模型推理的Key。 3️⃣ 关于使用的限制 因为是完全免费的服务，自然会有些限制，否则分分钟就会被刷嘎掉，这对于一个公益项目来说还是有必要的。具体可见下图，基本上就是对每分钟和每天的调用次数、每分钟和每天的Token上限做了一些限制，大部分没有每日Token上限，对于个人来说完全够用了。 🦀 使用Groq 剩下的就是如何使用了，用了API Key以后就好办了。很多大模型客户端都支持直接接入Groq，包括Oneapi、Dify、NextChat、LobeChat等。下面简单介绍在LobeChat如何使用。 首先启动LobeChat，打开应用设置->语言模型，找到groq配置项。 如果直连groq，则API代理地址空着即可；如果使用Oneapi这类的代理服务，则填写代理地址。 如果直连groq，则API Key填写在groq网站创建的Key；如果使用Oneapi这类的代理服务，则填写代理中的Key。 模型列表全选即可。 然后关闭设置界面，回到聊天界面，点击左下角1所在的按钮，选择groq中的模型，以Gemma2 9B为例。 下面就可以开始与大模...