A Hugging Face egy új funkciót adott hozzá a transformers serve eszközhöz, amellyel 250 autoregresszív nyelvi (LLM) és vizuális-nyelvi (VLM) modell alakítható át döntéshozatali modellé. A `/v1/systemone` végpont segítségével a rendszer nem generál teljes szöveget, hanem a modell logit értékei alapján közvetlenül pontozza a megadott opciókat.
A megoldás a lehetséges döntéseket választokenekké alakítja (például A = számlázás, B = technikai, C = értékesítés). A modell futtatása után a generálás leáll az első lépésben, és a rendszer kizárólag a megadott opciók valószínűségi értékeit számítja ki. Bár az eredmények nem kalibráltak, a módszer kiemelkedően jól támogatja a kötegelt feldolgozást (batching), így egyetlen lépésben több routing vagy értékelési feladat is elvégezhető.
A funkció a vizuális-nyelvi modellekkel is működik, így képalapú döntési és osztályozási feladatokhoz is használható.
Az eredeti szöveg (Hugging Face (LinkedIn))
Fun addition to transformers serve: you can now turn any of the 250 autoregressive (LLM+VLM) model into a JEV-like decision model.
/v1/systemone scores a set of decision with the models logits. No need to generate text!
Decision models we see these days sometimes add a head on top of the model: classification, reward, value, etc. You train that head for the decisions you care about, then serve the model with it.
We take another approach to leverage current architectures for the same purpose. For each question, we turn the possible decisions into answer tokens. For example:
A = billing
B = technical
C = sales
We run the normal autoregressive model, but instead of sampling the next token and continuing generation, we stop after the forward pass.
Then we look only at the logits for A/B/C and softmax over them.
So the LM itself gives you:
billing: 0.03
technical: 0.94
sales: 0.03
Compared to other decision models; this output is not calibrated, meaning logits are not necessarily as interpretable.
Whats great with this is that this also works very well with batching: you can batch many decisions into a single forward pass: routing, scoring, yes/no questions, others.
This also works with VLMs, which results in great example; which one of these autoregressive VLMs can get the microducks over the finish line the quickest?
