Author: cek
-
De LLM Tuning a Meditaciones de Marco Aurelio…
Esta noche estaba enfrascado añadiendo nuevas funciones a mi código de LLM y en una de mis pruebas de rendimiento, la conversación ha acabado derivando en algo tan profundo para mi que me he visto en la necesidad de compartirlo desde mi minúsculo e insignificante rincón… Sí, hay varios extractos famosos del libro “Meditaciones” de…
-
Lion EvoLved Sign Momentum: El nuevo optimizador descubierto por Google Brain
📌 Según los autores del artículo, una tasa de aprendizaje adecuada para Lion es generalmente 3-10 veces menor que la utilizada con Adam(w). Dado que la decadencia efectiva del peso (weight decay) es lr * λ, el valor de la decadencia del peso desacoplada λ utilizada para Lion es 3-10 veces mayor que la utilizada…
-
El Futuro de los Smartphones: Apostando Fuerte por los sLM
Los fabricantes de dispositivos móviles están optimistas sobre las perspectivas del uso de la inteligencia artificial (iA) en los smartphones. Empresas como Qualcomm y MediaTek han lanzado conjuntos de chips para smartphones que tienen el suficiente músculo para el procesamiento de aplicaciones de iA. Anteriormente, muchas aplicaciones de iA en dispositivos se procesaban parcialmente en…
-
¡Apple abre el código fuente de modelos grandes para dispositivos móviles!
Apple ha lanzado un modelo de inteligencia artificial (IA) llamado OpenELM (Open Efficient Language Model), junto con su código, pesos, conjuntos de datos y procesos de entrenamiento. Al igual que Google, Samsung y Microsoft, que se centran en el desarrollo de modelos de IA generativos tanto en ordenadores como en dispositivos móviles, Apple también se…
-
OpenBioLLM-70B y 8B: Supera a GPT-4, Gemini, Meditron-70B, Med-PaLM-1 y Med-PaLM-2 en el dominio médico
Los desarrolladores de este modelo crearon un conjunto de datos personalizado y diverso, colaborando con expertos médicos para asegurar la máxima calidad. El conjunto de datos abarca más de 3.000 temas de atención médica y 10+ asignaturas médicas. La destacada actuación de OpenBioLLM-70B es evidente en 9 conjuntos de datos biomédicos diversos, logrando un impresionante…
-
LLM Tuning Fun…
Also available at my Linkedin Today I was in the middle of a tuning session where I’m timing how long it takes for my adapted LLM to respond with a metric I call “TTFW” (Time To First Word) as I’m constantly working on improving all the different bits and pieces so AiMA Beyond Ai gives…