¿Hay tarifas por ejecutar AI?

¡Esto es fantástico, no puedo esperar a probarlo!

¿Hay alguna tarifa que pagar, o límites en el tamaño de las comunidades antes de que envíen demasiadas solicitudes y haya que pagar tarifas para mantenerlo operativo?

Me doy cuenta de que es un tema delicado, pero ¿los proveedores de servicios de IA están grabando las respuestas y, en caso afirmativo, hay alguna información sobre lo que hacen con los datos?

1 me gusta

Hay algo que puedes consultar en askym pero probablemente quieras autoalojarlo o intentar usar sus APIs para mantener tus datos seguros por ti mismo :slight_smile:

1 me gusta

¿Es probable que haya cargos por API en el futuro para alguno de estos, o una política de uso justo si un foro grande envía muchas solicitudes?

1 me gusta

Algunos módulos utilizan API de pago (como chat gpt). Otros utilizan recursos de código abierto que puedes autoalojar. No hay ningún cargo por estos, excepto la potencia informática para ejecutarlos (y quizás alguien que los instale y gestione).

2 Me gusta

Gracias @pfaffman. He echado un vistazo y sería útil si pudiéramos iniciar una discusión al respecto, ya que no está claro cuántas solicitudes enviará cada uno, e imagino que las personas que los usan querrán saber cuánto costará si lo proporcionan a sus usuarios.

Entiendo que eso es complicado, ya que algunos de ellos tienen múltiples opciones para elegir. Simplemente no vi a nadie hablando de ello en absoluto.

ChatGPT 3 cuesta actualmente $0.002 por cada 1000 tokens o aproximadamente 750 palabras, según Google.

¿Alguien ha calculado cuántas llamadas a la API está haciendo un usuario promedio en su sitio a través de estos complementos?

1 me gusta

Con una multitud de 10/50 personas que usan la API, probablemente gastas $5/10 al mes (o mucho menos), pero depende totalmente del uso específico.

2 Me gusta

No creo que haya mucho que adivinar. Hay muchas funciones diferentes de IA. Es imposible adivinar si los usuarios encontrarán que pueden usarlo y pasar todo el día jugando con él o qué. Tendrías que probarlo y estar muy atento a cuánto se usó y estar preparado para deshabilitarlo (o limitarlo a un conjunto más pequeño de usuarios) si te pasabas del presupuesto.

Creo que pagas por adelantado ChatGPT, así que podrías dejar que se agote hasta cero sin preocuparte por pasarte del presupuesto.

Algunos de los módulos se pueden autoalojar, por lo que no costarían nada más que el alojamiento de la VM.

2 Me gusta

Gracias. No es ideal, ya que estoy intentando presentar los costos para una propuesta de financiación, pero no parece haber una respuesta específica todavía, ya que las herramientas son muy nuevas.

1 me gusta

En ese caso, por mi limitada experiencia viendo y revisando subvenciones para la NSF, solo pide tanto dinero como creas que puedes conseguir. :slight_smile:

Puedes hacer algunos cálculos aproximados, así que empezarías con

(Quizás quieras obtener tus precios de ChatGPT para la propuesta :slight_smile: )

Entonces, si una cosa de 750 palabras cuesta 0,0002 $, ¿cuántas de esas necesitas para hacer lo que sea que estés proponiendo? A menos que estés proponiendo “enciende ChatGPT en un foro y mira qué pasa”, entonces deberías tener una idea de lo que esperarías. Pero si solo estás haciendo algo exploratorio, entonces simplemente calcula cuánto dicen las directrices que puedes gastar en recursos informáticos (por ejemplo, presupuesto total menos personal y gastos generales) y usa ese número. :person_shrugging:

4 Me gusta

Gracias Jay. Pautas muy flexibles, así que tendré que adivinar y redondear un poco.

3 Me gusta