Find Jobs
Hire Freelancers

Adding some Hardcoded examples in Generations through BigCode Harness Code

₹600-2000 INR

Cerrado
Publicado hace 11 meses

₹600-2000 INR

Pagado a la entrega
The code generation LM evaluation harness is a framework designed to evaluate code generation models. It is inspired by the EleutherAI/lm-evaluation-harness, which focuses on evaluating language models in general. The evaluation harness supports various code generation tasks and provides features such as multi-GPU text generation, Docker support for security and reproducibility, and compatibility with autoregressive models available on the Hugging Face model hub. Code generation Python tasks: The harness includes four code generation Python tasks, namely HumanEval, APPS, MBPP, and DS-1000. These tasks can be evaluated using both completion (left-to-right) and insertion (FIM) modes. The task is to modify the [login to view URL] file in the lm_eval package to append hard-coded prompts and solutions from the HumanEval dataset (below link) to the TokenizedDataset. [login to view URL]
ID del proyecto: 36762647

Información sobre el proyecto

2 propuestas
Proyecto remoto
Activo hace 10 meses

¿Buscas ganar dinero?

Beneficios de presentar ofertas en Freelancer

Fija tu plazo y presupuesto
Cobra por tu trabajo
Describe tu propuesta
Es gratis registrarse y presentar ofertas en los trabajos

Sobre este cliente

Bandera de INDIA
Bhopal, India
5,0
6
Forma de pago verificada
Miembro desde sept 17, 2022

Verificación del cliente

¡Gracias! Te hemos enviado un enlace para reclamar tu crédito gratuito.
Algo salió mal al enviar tu correo electrónico. Por favor, intenta de nuevo.
Usuarios registrados Total de empleos publicados
Freelancer ® is a registered Trademark of Freelancer Technology Pty Limited (ACN 142 189 759)
Copyright © 2024 Freelancer Technology Pty Limited (ACN 142 189 759)
Cargando visualización previa
Permiso concedido para Geolocalización.
Tu sesión de acceso ha expirado y has sido desconectado. Por favor, inica sesión nuevamente.