Azure OpenAI

Переглянути на Github

Сервіс Azure OpenAI надає доступ до передових мовних моделей, які ви можете налаштувати для розмовного штучного інтелекту, створення контенту та обґрунтування даних.

Перед налаштуванням

Перш ніж підключитися, переконайтеся, що у вас є:

• Resource URL для вашого облікового запису Azure OpenAI.
• Ви знаєте Deployment name та API key для вашого облікового запису Azure OpenAI.

Про те, як створити та розгорнути ресурс служби Azure OpenAI, ви можете дізнатися тут.

Підключення

1. Перейдіть до розділу Додатки та знайдіть додаток Azure OpenAI. Для пошуку можна скористатися функцією пошуку.
2. Натисніть Add Connection.
3. Назвіть ваше підключення для подальшого використання, наприклад, ‘Моє підключення до Azure OpenAI’.
4. Введіть Resource URL, Deployment name та API key для вашого облікового запису Azure OpenAI.
5. Натисніть Connect.
6. Переконайтеся, що підключення було успішно додано.

ПРИМІТКА: Зверніть увагу на параметр підключення Resource URL. Іноді правильна URL-адреса може містити певний шлях після доменного імені. Наприклад: https://example.openai.azure.com/**openai**

Actions

Chat actions

• Generate completion: Завершує заданий запит.
• Chat: Надає відповідь на повідомлення в чаті.
• Chat with system prompt: Надає відповідь на повідомлення в чаті з налаштовуваною системною підказкою.
• Create summary: Створює резюме вхідного тексту.
• Generate edit: Редагує вхідний текст відповідно до інструкції.
• Execute Blackbird prompt: Виконує запит, створений службою Blackbird AI.

Translation-Related Actions

• Post-edit MT: Переглядає машинний переклад тексту та створює відредаговану версію.
• Get translation issues: Переглядає переклад тексту та створює коментар з описом проблеми.
• Get MQM report: Виконує аналіз якості перекладу. Результат буде у формі фреймворку MQM.
• Get MQM dimension values: Виконує аналіз якості перекладу. Ця дія повертає лише оцінки (від 1 до 10) кожного виміру.
• Translate text: Локалізує наданий текст.

Audio Actions

• Create English translation: Створює переклад англійською мовою на основі аудіо- або відеофайлу (mp3, mp4, mpeg, mpga, m4a, wav або webm).
• Create transcription: Створює транскрипцію аудіо- або відеофайлу (mp3, mp4, mpeg, mpga, m4a, wav або webm).

Image Actions

• Generate image: Створює зображення на основі запиту.

Text Analysis Actions

• Create embedding: Створює вкладення для наданого тексту. Вкладення — це список чисел з плаваючою комою, що фіксує семантичну інформацію про текст, який він представляє.
• Tokenize text: Токенізує наданий текст. Опціонально можна вказати кодування: cl100k_base (використовується для gpt-4, gpt-3.5-turbo, text-embedding-ada-002) або p50k_base (використовується для моделей codex, text-davinci-002, text-davinci-003).

XLIFF Actions

Зауважте, наразі лише gpt-4o версії: 2024-08-06 підтримує структуровані виводи. Це означає, що дії, які підтримують файли XLIFF, можна використовувати лише з цією версією моделі. Відповідну інформацію про підтримувані моделі можна знайти в документації Azure OpenAI.

• Get Quality Scores for XLIFF file Отримує оцінки якості на рівні сегмента та файлу для файлів XLIFF. Наразі підтримує лише версію 1.2 XLIFF. Опціонально можна додати параметри Threshold, New Target State та Condition до дії Blackbird, щоб змінити значення цільового стану сегментів, що відповідають бажаним критеріям (необхідно заповнити всі три параметри).

  Опціональні вхідні дані:

  • Prompt: Додайте свої критерії для оцінки кожної пари джерело-ціль. Якщо не вказано, за замовчуванням це “accuracy, fluency, consistency, style, grammar and spelling”.
  • Bucket size: Кількість одиниць перекладу для обробки в одному запиті. (Див. окремий розділ)
  • Source and Target languages: За замовчуванням ці значення беруться з заголовка XLIFF. Ви можете надати інші значення, спеціальний формат не потрібен.
  • Threshold: значення від 0 до 10.
  • Condition: Критерії для фільтрації сегментів, цільовий стан яких буде змінено.
  • New Target State: значення для оновлення цільового стану для відфільтрованих одиниць перекладу.

  Вихідні дані:

  • Average Score: зведена оцінка всіх сегментових оцінок.
  • Updated XLIFF file: оцінка сегмента додана до атрибута extradata та оновлений цільовий стан, якщо це вказано.

• Post-edit XLIFF file Оновлює цільові елементи файлів XLIFF 1.2

  Опціональні вхідні дані:

  • Prompt: Додайте свої лінгвістичні критерії для постредагування цільових елементів.
  • Bucket size: Кількість одиниць перекладу для обробки в одному запиті. (Див. окремий розділ)
  • Source and Target languages: За замовчуванням ці значення беруться з заголовка XLIFF. Ви можете надати інші значення, спеціальний формат не потрібен.
  • Glossary

• Process XLIFF file отримавши файл XLIFF, обробляє кожну одиницю перекладу відповідно до наданих інструкцій (за замовчуванням перекладає вихідні теги) та оновлює цільовий текст для кожної одиниці. Ця дія наразі підтримує лише версію 1.2 XLIFF.

Bucket size, продуктивність та вартість

Файли XLIFF можуть містити багато сегментів. Кожна дія бере ваші сегменти та надсилає їх до додатку ШІ для обробки. Можливо, що кількість сегментів настільки велика, що запит перевищує контекстне вікно моделі або модель займає більше часу, ніж дозволено для дій Blackbird. Саме тому ми ввели параметр розміру кошика (bucket size). Ви можете налаштувати цей параметр, щоб визначити, скільки сегментів надсилати до моделі ШІ одночасно. Це дозволить вам розділити робоче навантаження на різні API-виклики. Компроміс полягає в тому, що той самий контекстний запит потрібно надсилати з кожним запитом (що збільшує кількість використаних токенів). За результатами експериментів ми виявили, що розмір bucket size 1500 є достатнім для таких моделей, як gpt-4o. Саме тому 1500 є розміром кошика за замовчуванням, однак інші моделі можуть вимагати інших розмірів.

Пакетна обробка

Ви можете використовувати пакетні (асинхронні) дії для обробки великих файлів XLIFF. Пакетна дія поверне об’єкт batch, який ви можете використовувати для перевірки статусу обробки за допомогою Batch ID. Зауважте, що модель повинна бути розгорнута як Global-batch. Для отримання додаткової інформації про те, як розгорнути модель як Global-batch, зверніться до документації Azure OpenAI.

Ми будемо використовувати Deployment name (з підключення) як модель, тому вам потрібно переконатися, що модель розгорнута як Global-batch, і ви надали правильну назву розгортання у підключенні. Приклад імені розгортання: organization-gpt-4o-globalbatch.

• (Batch) Process XLIFF file - Асинхронно обробляє кожну одиницю перекладу у файлі XLIFF відповідно до наданих інструкцій (за замовчуванням лише перекладає вихідні теги) та оновлює цільовий текст для кожної одиниці.
• (Batch) Post-edit XLIFF file - Асинхронно постредагує цільовий текст кожної одиниці перекладу у файлі XLIFF відповідно до наданих інструкцій та оновлює цільовий текст для кожної одиниці.
• (Batch) Get Quality Scores for XLIFF file - Асинхронно отримує оцінки якості для кожної одиниці перекладу у файлі XLIFF.

Щоб отримати результати пакетної обробки, ви можете використовувати такі дії:

• (Batch) Get results of the batch process - Отримати результати пакетного процесу. Ця дія підходить лише для обробки та постредагування файлу XLIFF і повинна викликатися після завершення пакетного процесу.
• (Batch) Get quality scores results - Отримати результати оцінок якості пакетного процесу. Ця дія підходить лише для отримання оцінок якості для файлу XLIFF і повинна викликатися після завершення пакетного процесу.

Зауважте, що ви повинні вказати правильний вихідний файл XLIFF у вхідних даних Original XLIFF. Це допоможе нам побудувати правильний файл XLIFF з оновленими цільовими сегментами.

Приклад

Ось приклад того, як ви можете використовувати додаток Azure OpenAI у робочому процесі:

Цей робочий процес автоматизує процес обробки конкретного тригера в Slack. Ось покроковий опис:

1. On app mentioned (Slack): Робочий процес починається, коли додаток згадується в каналі Slack.
2. Find translation issues (Blackbird Prompts): Потім використовує Blackbird Prompts для пошуку проблем перекладу в згаданому контенті.
3. Build prompt: Далі він будує запит на основі виявлених проблем.
4. Chat (Azure OpenAI): Побудований запит надсилається до Azure OpenAI для створення відповіді або рішення.
5. Send message (Slack): Нарешті, відповідь від OpenAI надсилається назад як повідомлення в каналі Slack.

Зворотний зв’язок

Бажаєте використовувати цей додаток або маєте відгуки щодо нашої реалізації? Зв’яжіться з нами, використовуючи встановлені канали або створіть проблему.