> ## Documentation Index
> Fetch the complete documentation index at: https://wb-21fd5541-workspaces-notebooks.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# Evaluation<R, E, M>

> Référence du SDK TypeScript

export const GitHubLink = ({url, compact = false}) => <a href={url} target="_blank" rel="noopener noreferrer" className={compact ? "source-link" : "github-source-link"}>
    {compact ? "voir la source" : <>
    <svg width="20" height="20" viewBox="0 0 24 24" fill="currentColor" xmlns="http://www.w3.org/2000/svg">
      <path d="M12 0C5.37 0 0 5.37 0 12c0 5.31 3.435 9.795 8.205 11.385.6.105.825-.255.825-.57 0-.285-.015-1.23-.015-2.235-3.015.555-3.795-.735-4.035-1.41-.135-.345-.72-1.41-1.23-1.695-.42-.225-1.02-.78-.015-.795.945-.015 1.62.87 1.845 1.23 1.08 1.815 2.805 1.305 3.495.99.105-.78.42-1.305.765-1.605-2.67-.3-5.46-1.335-5.46-5.925 0-1.305.465-2.385 1.23-3.225-.12-.3-.54-1.53.12-3.18 0 0 1.005-.315 3.3 1.23.96-.27 1.98-.405 3-.405s2.04.135 3 .405c2.295-1.56 3.3-1.23 3.3-1.23.66 1.65.24 2.88.12 3.18.765.84 1.23 1.905 1.23 3.225 0 4.605-2.805 5.625-5.475 5.925.435.375.81 1.095.81 2.22 0 1.605-.015 2.895-.015 3.3 0 .315.225.69.825.57A12.02 12.02 0 0024 12c0-6.63-5.37-12-12-12z" />
    </svg>
    Source GitHub
      </>}
  </a>;

<GitHubLink url="https://github.com/wandb/weave/blob/7c9efdc9fe05ffcaf2430dd652ef9bc5b3ffdfaa/sdks/node/src/evaluation.ts#L145" />

Configure une évaluation qui comprend un ensemble d’évaluateurs et un jeu de données.

L’appel à `evaluation.evaluate(model)` transmet des lignes d’un jeu de données à un modèle, en faisant correspondre
les noms des colonnes du jeu de données aux noms des arguments dans `model.predict`.

Il appelle ensuite tous les évaluateurs et enregistre les résultats dans weave.

<div id="example">
  ## Exemple
</div>

```ts twoslash theme={null}
// @noErrors
// Collectez vos exemples dans un jeu de données
const dataset = new weave.Dataset({
  id: 'my-dataset',
  rows: [
    { question: 'What is the capital of France?', expected: 'Paris' },
    { question: 'Who wrote "To Kill a Mockingbird"?', expected: 'Harper Lee' },
    { question: 'What is the square root of 64?', expected: '8' },
  ],
});

// Définissez une fonction d'évaluation personnalisée
const scoringFunction = weave.op(function isEqual({ modelOutput, datasetRow }) {
  return modelOutput == datasetRow.expected;
});

// Définissez la fonction à évaluer
const model = weave.op(async function alwaysParisModel({ question }) {
  return 'Paris';
});

// Lancez l'évaluation
const evaluation = new weave.Evaluation({
  id: 'my-evaluation',
  dataset: dataset,
  scorers: [scoringFunction],
});

const results = await evaluation.evaluate({ model });
```

<div id="extends">
  ## Étend
</div>

* [`WeaveObject`](./weaveobject)

<div id="type-parameters">
  ## Paramètres de type
</div>

<ParamField path="R" type="extends DatasetRow" />

<ParamField path="E" type="extends DatasetRow" />

<ParamField path="M" />

<div id="constructor">
  ## Constructeur
</div>

> **new Evaluation**\<`R`, `E`, `M`>(`parameters`) : `Evaluation`\<`R`, `E`, `M`>

<div id="parameters">
  ### Paramètres
</div>

<ParamField path="parameters" type="object" required>
  <Expandable title="propriétés" defaultOpen>
    <ParamField path="columnMapping" type="{[key: string]: keyof R; __savedRef?: keyof R; }">
      <Expandable title="propriétés" defaultOpen>
        <ParamField path="__savedRef" type="keyof R" />
      </Expandable>
    </ParamField>

    <ParamField path="dataset" type="Dataset<R>" required>
      Voir [`Dataset`](./dataset).
    </ParamField>

    <ParamField path="description" type="string" />

    <ParamField path="maxConcurrency" type="number" />

    <ParamField path="name" type="string" />

    <ParamField path="scorers" type="(Op<(...args) => any> | {…})[]" required>
      Voir [`Op`](../type-aliases/op).

      Type complet : `(Op<(...args) => any> | { id: string; invoke: (...args) => any; })[]`
    </ParamField>
  </Expandable>
</ParamField>

<div id="returns">
  ### Renvoie
</div>

`Evaluation`\<`R`, `E`, `M`>

<div id="overrides">
  ### Redéfinit
</div>

[`WeaveObject`](./weaveobject).[`constructor`](./weaveobject#constructor)

<div id="properties">
  ## Propriétés
</div>

<div id="__savedref">
  ### \_\_savedRef
</div>

> `facultatif` **\_\_savedRef** : [`ObjectRef`](./objectref) | `Promise`\<[`ObjectRef`](./objectref)>

<div id="inherited-from">
  #### Hérité de
</div>

[`WeaveObject`](./weaveobject).[`__savedRef`](./weaveobject#__savedref)

<div id="accessors">
  ## Accesseurs
</div>

<div id="description">
  ### description
</div>

<div id="get-signature">
  #### Signature d’obtention
</div>

> **get** **description**(): `string` | `undefined`

<div id="returns-2">
  ##### Renvoie
</div>

`string` | `undefined`

<div id="inherited-from-2">
  #### Hérité de
</div>

[`WeaveObject`](./weaveobject).[`description`](./weaveobject#description)

***

<div id="name">
  ### nom
</div>

<div id="get-signature-2">
  #### Signature d’obtention
</div>

> **get** **name**(): `string`

<div id="returns-3">
  ##### Renvoie
</div>

`string`

<div id="inherited-from-3">
  #### Hérité de
</div>

[`WeaveObject`](./weaveobject).[`name`](./weaveobject#name)

<div id="methods">
  ## Méthodes
</div>

<div id="evaluate">
  ### evaluate()
</div>

> **evaluate**(`__namedParameters`) : `Promise`\<`Record`\<`string`, `any`>>

<div id="parameters-2">
  #### Paramètres
</div>

<ParamField path="__namedParameters" type="object" required>
  <Expandable title="propriétés" defaultOpen>
    <ParamField path="maxConcurrency" type="number = 5" />

    <ParamField path="model" type="Op<(...args) => Promise<M>> | {…}" required>
      Voir [`Op`](../type-aliases/op).

      Type complet : `Op<(...args) => Promise<M>> | { id: string; invoke: (...args) => Promise<M>; }`
    </ParamField>

    <ParamField path="nTrials" type="number = 1" />
  </Expandable>
</ParamField>

<div id="returns-4">
  #### Renvoie
</div>

`Promise`\<`Record`\<`string`, `any`>>

***

<div id="predictandscore">
  ### predictAndScore()
</div>

> **predictAndScore**(`__namedParameters`) : `Promise`\<\{ `model_latency` : `number`; `model_output` : `any`; `model_success` : `boolean`; `scores` : \{\[`key` : `string`] : `any`; }; }>

<div id="parameters-3">
  #### Paramètres
</div>

<ParamField path="__namedParameters" type="object" required>
  <Expandable title="propriétés" defaultOpen>
    <ParamField path="columnMapping" type="{[key: string]: keyof R; __savedRef?: keyof R; }">
      <Expandable title="propriétés" defaultOpen>
        <ParamField path="__savedRef" type="keyof R" />
      </Expandable>
    </ParamField>

    <ParamField path="example" type="R" required />

    <ParamField path="model" type="Op<(...args) => Promise<M>> | {…}" required>
      Voir [`Op`](../type-aliases/op).

      Type complet : `Op<(...args) => Promise<M>> | { id: string; invoke: (...args) => Promise<M>; }`
    </ParamField>
  </Expandable>
</ParamField>

<div id="returns-5">
  #### Renvoie
</div>

`Promise`\<\{ `model_latency`: `number`; `model_output`: `any`; `model_success`: `boolean`; `scores`: \{\[`key`: `string`]: `any`; }; }>

***

<div id="saveattrs">
  ### saveAttrs()
</div>

> **saveAttrs**(): `objet`

<div id="returns-6">
  #### Renvoie
</div>

`objet`

<div id="inherited-from-4">
  #### Hérité de
</div>

[`WeaveObject`](./weaveobject).[`saveAttrs`](./weaveobject#saveattrs)