diff --git a/Api.Gateway/Api.Gateway.csproj b/Api.Gateway/Api.Gateway.csproj new file mode 100644 index 00000000..0b6b959f --- /dev/null +++ b/Api.Gateway/Api.Gateway.csproj @@ -0,0 +1,17 @@ + + + + net8.0 + enable + enable + + + + + + + + + + + diff --git a/Api.Gateway/LoadBalancers/QueryBasedLoadBalancer.cs b/Api.Gateway/LoadBalancers/QueryBasedLoadBalancer.cs new file mode 100644 index 00000000..9a73f742 --- /dev/null +++ b/Api.Gateway/LoadBalancers/QueryBasedLoadBalancer.cs @@ -0,0 +1,43 @@ +using Ocelot.LoadBalancer.Interfaces; +using Ocelot.Responses; +using Ocelot.Values; + +namespace Api.Gateway.LoadBalancers; + + +/// +/// Балансировщик нагрузки на основе параметра запроса id. +/// +/// +/// Алгоритм: индекс реплики = id % количество_реплик. +/// Это гарантирует, что один и тот же идентификатор всегда попадает +/// на одну и ту же реплику (sticky routing по id). +/// +/// +/// Делегат, возвращающий список доступных реплик сервиса. +/// Вызывается при каждом запросе, чтобы учитывать динамически +/// изменяющийся пул экземпляров. +/// +public class QueryBasedLoadBalancer(Func>> serviceProviderFactory) : ILoadBalancer +{ + public string Type => nameof(QueryBasedLoadBalancer); + + public async Task> LeaseAsync(HttpContext context) + { + var services = await serviceProviderFactory(); + + if (services.Count == 0) + throw new InvalidOperationException("No available downstream services"); + + if (!context.Request.Query.TryGetValue("id", out var idValue) || + !int.TryParse(idValue, out var id) || + id < 0) + throw new InvalidOperationException("Query parameter 'id' is missing or invalid"); + + var index = id % services.Count; + + return new OkResponse(services[index].HostAndPort); + } + + public void Release(ServiceHostAndPort hostAndPort) { } +} \ No newline at end of file diff --git a/Api.Gateway/Program.cs b/Api.Gateway/Program.cs new file mode 100644 index 00000000..c74a8bee --- /dev/null +++ b/Api.Gateway/Program.cs @@ -0,0 +1,33 @@ +using Api.Gateway.LoadBalancers; +using Ocelot.DependencyInjection; +using Ocelot.Middleware; + +var builder = WebApplication.CreateBuilder(args); + +builder.AddServiceDefaults(); +builder.Services.AddServiceDiscovery(); +builder.Configuration.AddJsonFile("ocelot.json", optional: false, reloadOnChange: true); +builder.Services.AddOcelot() + .AddCustomLoadBalancer((_, _, provider) => new(provider.GetAsync)); + + +var trustedUrls = builder.Configuration.GetSection("CorsOrigins").Get() ?? []; +builder.Services.AddCors(options => +{ + options.AddDefaultPolicy(policy => + { + policy.WithOrigins(trustedUrls) + .WithMethods("GET") + .WithHeaders("Content-Type"); + }); +}); + +var app = builder.Build(); + +app.UseCors(); + +app.MapDefaultEndpoints(); + +await app.UseOcelot(); + +app.Run(); diff --git a/Api.Gateway/Properties/launchSettings.json b/Api.Gateway/Properties/launchSettings.json new file mode 100644 index 00000000..82a900e4 --- /dev/null +++ b/Api.Gateway/Properties/launchSettings.json @@ -0,0 +1,38 @@ +{ + "$schema": "http://json.schemastore.org/launchsettings.json", + "iisSettings": { + "windowsAuthentication": false, + "anonymousAuthentication": true, + "iisExpress": { + "applicationUrl": "http://localhost:62081", + "sslPort": 44391 + } + }, + "profiles": { + "http": { + "commandName": "Project", + "dotnetRunMessages": true, + "launchBrowser": true, + "applicationUrl": "http://localhost:5200", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + }, + "https": { + "commandName": "Project", + "dotnetRunMessages": true, + "launchBrowser": true, + "applicationUrl": "https://localhost:7190;http://localhost:5200", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + }, + "IIS Express": { + "commandName": "IISExpress", + "launchBrowser": true, + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + } + } +} diff --git a/Api.Gateway/appsettings.Development.json b/Api.Gateway/appsettings.Development.json new file mode 100644 index 00000000..0c208ae9 --- /dev/null +++ b/Api.Gateway/appsettings.Development.json @@ -0,0 +1,8 @@ +{ + "Logging": { + "LogLevel": { + "Default": "Information", + "Microsoft.AspNetCore": "Warning" + } + } +} diff --git a/Api.Gateway/appsettings.json b/Api.Gateway/appsettings.json new file mode 100644 index 00000000..c6c9e512 --- /dev/null +++ b/Api.Gateway/appsettings.json @@ -0,0 +1,13 @@ +{ + "Logging": { + "LogLevel": { + "Default": "Information", + "Microsoft.AspNetCore": "Warning" + } + }, + "AllowedHosts": "*", + "CorsOrigins": [ + "http://localhost:5127", + "https://localhost:7282" + ] +} diff --git a/Api.Gateway/ocelot.json b/Api.Gateway/ocelot.json new file mode 100644 index 00000000..59e0a2b2 --- /dev/null +++ b/Api.Gateway/ocelot.json @@ -0,0 +1,20 @@ +{ + "Routes": [ + { + "UpstreamPathTemplate": "/generate", + "UpstreamHttpMethod": [ "GET" ], + "DownstreamPathTemplate": "/api/generate", + "DownstreamScheme": "https", + "DownstreamHostAndPorts": [ + { "Host": "localhost", "Port": 5000 }, + { "Host": "localhost", "Port": 5001 }, + { "Host": "localhost", "Port": 5002 }, + { "Host": "localhost", "Port": 5003 }, + { "Host": "localhost", "Port": 5004 } + ], + "LoadBalancerOptions": { + "Type": "QueryBasedLoadBalancer" + } + } + ] +} diff --git a/Client.Wasm/Components/StudentCard.razor b/Client.Wasm/Components/StudentCard.razor index 661f1181..2892e0e6 100644 --- a/Client.Wasm/Components/StudentCard.razor +++ b/Client.Wasm/Components/StudentCard.razor @@ -4,10 +4,10 @@ - Номер №X "Название лабораторной" - Вариант №Х "Название варианта" - Выполнена Фамилией Именем 65ХХ - Ссылка на форк + Номер №3 "Интеграционное тестирование" + Вариант №46 "Программный проект" + Выполнена Митеревым Дмитрием 6513 + Ссылка на форк diff --git a/Client.Wasm/Properties/launchSettings.json b/Client.Wasm/Properties/launchSettings.json index 0d824ea7..60120ec3 100644 --- a/Client.Wasm/Properties/launchSettings.json +++ b/Client.Wasm/Properties/launchSettings.json @@ -12,7 +12,7 @@ "http": { "commandName": "Project", "dotnetRunMessages": true, - "launchBrowser": true, + "launchBrowser": false, "inspectUri": "{wsProtocol}://{url.hostname}:{url.port}/_framework/debug/ws-proxy?browser={browserInspectUri}", "applicationUrl": "http://localhost:5127", "environmentVariables": { @@ -22,7 +22,7 @@ "https": { "commandName": "Project", "dotnetRunMessages": true, - "launchBrowser": true, + "launchBrowser": false, "inspectUri": "{wsProtocol}://{url.hostname}:{url.port}/_framework/debug/ws-proxy?browser={browserInspectUri}", "applicationUrl": "https://localhost:7282;http://localhost:5127", "environmentVariables": { @@ -31,7 +31,7 @@ }, "IIS Express": { "commandName": "IISExpress", - "launchBrowser": true, + "launchBrowser": false, "inspectUri": "{wsProtocol}://{url.hostname}:{url.port}/_framework/debug/ws-proxy?browser={browserInspectUri}", "environmentVariables": { "ASPNETCORE_ENVIRONMENT": "Development" diff --git a/Client.Wasm/wwwroot/appsettings.json b/Client.Wasm/wwwroot/appsettings.json index d1fe7ab3..9f75e8ad 100644 --- a/Client.Wasm/wwwroot/appsettings.json +++ b/Client.Wasm/wwwroot/appsettings.json @@ -6,5 +6,5 @@ } }, "AllowedHosts": "*", - "BaseAddress": "" + "BaseAddress": "https://localhost:7190/generate" } diff --git a/CloudDevelopment.sln b/CloudDevelopment.sln index cb48241d..137f4b22 100644 --- a/CloudDevelopment.sln +++ b/CloudDevelopment.sln @@ -5,6 +5,20 @@ VisualStudioVersion = 17.14.36811.4 MinimumVisualStudioVersion = 10.0.40219.1 Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "Client.Wasm", "Client.Wasm\Client.Wasm.csproj", "{AE7EEA74-2FE0-136F-D797-854FD87E022A}" EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "ProjectGenerator.AppHost", "ProjectGenerator\ProjectGenerator.AppHost\ProjectGenerator.AppHost.csproj", "{2BD86B8F-8507-43F0-B17F-9607B7352733}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "ProjectGenerator.ServiceDefaults", "ProjectGenerator\ProjectGenerator.ServiceDefaults\ProjectGenerator.ServiceDefaults.csproj", "{8F9985A2-9D06-28F9-3428-8039644EF545}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "ProjectGenerator.Api", "ProjectGenerator.Api\ProjectGenerator.Api.csproj", "{AAEE18D8-2A8E-7273-1128-2FA0B1FA40F9}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "ProjectGenerator.Domain", "ProjectGenerator.Domain\ProjectGenerator.Domain.csproj", "{67E00678-695C-407F-B401-27C9EC3527B1}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "Api.Gateway", "Api.Gateway\Api.Gateway.csproj", "{C99E72F4-9BA7-7D56-C88E-FB28534EFCB6}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "ProjectGenerator.FileService", "ProjectGenerator.FileService\ProjectGenerator.FileService.csproj", "{A4B68077-2A98-B84D-9F7A-7D8819CAC35F}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "ProjectGenerator.AppHost.Tests", "ProjectGenerator\ProjectGenerator.AppHost.Tests\ProjectGenerator.AppHost.Tests.csproj", "{4442A23F-CBC5-4C77-A4F6-3D3A9493C8F1}" +EndProject Global GlobalSection(SolutionConfigurationPlatforms) = preSolution Debug|Any CPU = Debug|Any CPU @@ -15,6 +29,34 @@ Global {AE7EEA74-2FE0-136F-D797-854FD87E022A}.Debug|Any CPU.Build.0 = Debug|Any CPU {AE7EEA74-2FE0-136F-D797-854FD87E022A}.Release|Any CPU.ActiveCfg = Release|Any CPU {AE7EEA74-2FE0-136F-D797-854FD87E022A}.Release|Any CPU.Build.0 = Release|Any CPU + {2BD86B8F-8507-43F0-B17F-9607B7352733}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {2BD86B8F-8507-43F0-B17F-9607B7352733}.Debug|Any CPU.Build.0 = Debug|Any CPU + {2BD86B8F-8507-43F0-B17F-9607B7352733}.Release|Any CPU.ActiveCfg = Release|Any CPU + {2BD86B8F-8507-43F0-B17F-9607B7352733}.Release|Any CPU.Build.0 = Release|Any CPU + {8F9985A2-9D06-28F9-3428-8039644EF545}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {8F9985A2-9D06-28F9-3428-8039644EF545}.Debug|Any CPU.Build.0 = Debug|Any CPU + {8F9985A2-9D06-28F9-3428-8039644EF545}.Release|Any CPU.ActiveCfg = Release|Any CPU + {8F9985A2-9D06-28F9-3428-8039644EF545}.Release|Any CPU.Build.0 = Release|Any CPU + {AAEE18D8-2A8E-7273-1128-2FA0B1FA40F9}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {AAEE18D8-2A8E-7273-1128-2FA0B1FA40F9}.Debug|Any CPU.Build.0 = Debug|Any CPU + {AAEE18D8-2A8E-7273-1128-2FA0B1FA40F9}.Release|Any CPU.ActiveCfg = Release|Any CPU + {AAEE18D8-2A8E-7273-1128-2FA0B1FA40F9}.Release|Any CPU.Build.0 = Release|Any CPU + {67E00678-695C-407F-B401-27C9EC3527B1}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {67E00678-695C-407F-B401-27C9EC3527B1}.Debug|Any CPU.Build.0 = Debug|Any CPU + {67E00678-695C-407F-B401-27C9EC3527B1}.Release|Any CPU.ActiveCfg = Release|Any CPU + {67E00678-695C-407F-B401-27C9EC3527B1}.Release|Any CPU.Build.0 = Release|Any CPU + {C99E72F4-9BA7-7D56-C88E-FB28534EFCB6}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {C99E72F4-9BA7-7D56-C88E-FB28534EFCB6}.Debug|Any CPU.Build.0 = Debug|Any CPU + {C99E72F4-9BA7-7D56-C88E-FB28534EFCB6}.Release|Any CPU.ActiveCfg = Release|Any CPU + {C99E72F4-9BA7-7D56-C88E-FB28534EFCB6}.Release|Any CPU.Build.0 = Release|Any CPU + {A4B68077-2A98-B84D-9F7A-7D8819CAC35F}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {A4B68077-2A98-B84D-9F7A-7D8819CAC35F}.Debug|Any CPU.Build.0 = Debug|Any CPU + {A4B68077-2A98-B84D-9F7A-7D8819CAC35F}.Release|Any CPU.ActiveCfg = Release|Any CPU + {A4B68077-2A98-B84D-9F7A-7D8819CAC35F}.Release|Any CPU.Build.0 = Release|Any CPU + {4442A23F-CBC5-4C77-A4F6-3D3A9493C8F1}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {4442A23F-CBC5-4C77-A4F6-3D3A9493C8F1}.Debug|Any CPU.Build.0 = Debug|Any CPU + {4442A23F-CBC5-4C77-A4F6-3D3A9493C8F1}.Release|Any CPU.ActiveCfg = Release|Any CPU + {4442A23F-CBC5-4C77-A4F6-3D3A9493C8F1}.Release|Any CPU.Build.0 = Release|Any CPU EndGlobalSection GlobalSection(SolutionProperties) = preSolution HideSolutionNode = FALSE diff --git a/ProjectGenerator.Api/Program.cs b/ProjectGenerator.Api/Program.cs new file mode 100644 index 00000000..a0d8bb2f --- /dev/null +++ b/ProjectGenerator.Api/Program.cs @@ -0,0 +1,24 @@ +using Amazon.SQS; +using LocalStack.Client.Extensions; +using ProjectGenerator.Api.Services; + +var builder = WebApplication.CreateBuilder(args); + +builder.AddServiceDefaults(); +builder.AddRedisDistributedCache("cache"); + +builder.Services.AddLocalStack(builder.Configuration); +builder.Services.AddAwsService(); +builder.Services.AddScoped(); + +builder.Services.AddSingleton(); +builder.Services.AddScoped(); + +var app = builder.Build(); + +app.MapDefaultEndpoints(); + +app.MapGet("/api/generate", async (int id, ISoftwareProjectService service) => + await service.GetOrGenerate(id)); + +app.Run(); diff --git a/ProjectGenerator.Api/ProjectGenerator.Api.csproj b/ProjectGenerator.Api/ProjectGenerator.Api.csproj new file mode 100644 index 00000000..008f5f48 --- /dev/null +++ b/ProjectGenerator.Api/ProjectGenerator.Api.csproj @@ -0,0 +1,22 @@ + + + + net8.0 + enable + enable + + + + + + + + + + + + + + + + diff --git a/ProjectGenerator.Api/Properties/launchSettings.json b/ProjectGenerator.Api/Properties/launchSettings.json new file mode 100644 index 00000000..553903db --- /dev/null +++ b/ProjectGenerator.Api/Properties/launchSettings.json @@ -0,0 +1,38 @@ +{ + "$schema": "http://json.schemastore.org/launchsettings.json", + "iisSettings": { + "windowsAuthentication": false, + "anonymousAuthentication": true, + "iisExpress": { + "applicationUrl": "http://localhost:10098", + "sslPort": 44392 + } + }, + "profiles": { + "http": { + "commandName": "Project", + "dotnetRunMessages": true, + "launchBrowser": true, + "applicationUrl": "http://localhost:5283", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + }, + "https": { + "commandName": "Project", + "dotnetRunMessages": true, + "launchBrowser": true, + "applicationUrl": "https://localhost:7046;http://localhost:5283", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + }, + "IIS Express": { + "commandName": "IISExpress", + "launchBrowser": true, + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + } + } +} diff --git a/ProjectGenerator.Api/Services/IProjectProducer.cs b/ProjectGenerator.Api/Services/IProjectProducer.cs new file mode 100644 index 00000000..6e115f7d --- /dev/null +++ b/ProjectGenerator.Api/Services/IProjectProducer.cs @@ -0,0 +1,17 @@ +using ProjectGenerator.Domain.Models; + +namespace ProjectGenerator.Api.Services; + +/// +/// Интерфейс продюсера, отправляющего сгенерированные программные проекты +/// в брокер сообщений (SQS) для последующей обработки файловым сервисом +/// +public interface IProjectProducer +{ + /// + /// Сериализует и отправляет программный проект в очередь сообщений + /// + /// Сгенерированный программный проект для отправки + /// Задача, завершающаяся после отправки сообщения в очередь + public Task SendAsync(SoftwareProject project); +} diff --git a/ProjectGenerator.Api/Services/ISoftwareProjectGenerator.cs b/ProjectGenerator.Api/Services/ISoftwareProjectGenerator.cs new file mode 100644 index 00000000..d5845502 --- /dev/null +++ b/ProjectGenerator.Api/Services/ISoftwareProjectGenerator.cs @@ -0,0 +1,14 @@ +using ProjectGenerator.Domain.Models; + +namespace ProjectGenerator.Api.Services; + +/// +/// Интерфейс генератора программных проектов +/// +public interface ISoftwareProjectGenerator +{ + /// + /// Генерирует программный проект с указанным идентификатором + /// + public SoftwareProject Generate(int id); +} diff --git a/ProjectGenerator.Api/Services/ISoftwareProjectService.cs b/ProjectGenerator.Api/Services/ISoftwareProjectService.cs new file mode 100644 index 00000000..26644fbc --- /dev/null +++ b/ProjectGenerator.Api/Services/ISoftwareProjectService.cs @@ -0,0 +1,14 @@ +using ProjectGenerator.Domain.Models; + +namespace ProjectGenerator.Api.Services; + +/// +/// Интерфейс сервиса программных проектов +/// +public interface ISoftwareProjectService +{ + /// + /// Получает программный проект по идентификатору из кэша или генерирует новый + /// + public Task GetOrGenerate(int id); +} diff --git a/ProjectGenerator.Api/Services/SoftwareProjectGenerator.cs b/ProjectGenerator.Api/Services/SoftwareProjectGenerator.cs new file mode 100644 index 00000000..fd38e8ab --- /dev/null +++ b/ProjectGenerator.Api/Services/SoftwareProjectGenerator.cs @@ -0,0 +1,62 @@ +using Bogus; +using Bogus.DataSets; +using ProjectGenerator.Domain.Models; + +namespace ProjectGenerator.Api.Services; + +/// +/// Генератор программных проектов на основе Bogus +/// +public class SoftwareProjectGenerator : ISoftwareProjectGenerator +{ + private readonly Faker _faker = new Faker("ru") + .RuleFor(p => p.Id, _ => 0) + .RuleFor(p => p.ProjectName, f => + $"{f.Commerce.ProductName()} {f.Hacker.Adjective()} {f.Finance.AccountName()} {f.Lorem.Word()}") + .RuleFor(p => p.Customer, f => f.Company.CompanyName()) + .RuleFor(p => p.ProjectManager, f => + { + var gender = f.PickRandom(); + return + $"{f.Name.LastName(gender)} {f.Name.FirstName(gender)} " + + $"{GeneratePatronymic(f.Name.FirstName(Name.Gender.Male), gender == Name.Gender.Female)}"; + }) + .RuleFor(p => p.StartDate, f => + DateOnly.FromDateTime(f.Date.Past(2))) + .RuleFor(p => p.PlannedEndDate, (f, p) => + p.StartDate.AddDays(f.Random.Int(30, 365))) + .RuleFor(p => p.ActualEndDate, (f, p) => + f.Random.Bool(0.3f) + ? p.StartDate.AddDays(f.Random.Int(10, 400)) + : null) + .RuleFor(p => p.Budget, f => + Math.Round(f.Finance.Amount(100_000, 100_000_000), 2)) + .RuleFor(p => p.ActualCosts, (f, p) => + Math.Round(p.Budget * f.Random.Decimal(0.01m, 1.2m), 2)) + .RuleFor(p => p.CompletionPercentage, (f, p) => + p.ActualEndDate.HasValue ? 100 : f.Random.Int(0, 99)); + + /// + /// Генерация отчества на основе мужского имени + /// + /// Мужское имя + /// Признак женского пола + /// Отчество + private static string GeneratePatronymic(string maleName, bool isFemale) => maleName switch + { + _ when maleName.EndsWith("ий") => maleName[..^2] + (isFemale ? "ьевна" : "ьевич"), + _ when maleName.EndsWith('ь') => maleName[..^1] + (isFemale ? "евна" : "евич"), + _ when maleName.EndsWith('й') => maleName[..^1] + (isFemale ? "евна" : "евич"), + _ when maleName.EndsWith('а') || maleName.EndsWith('я') => maleName[..^1] + (isFemale ? "ична" : "ич"), + _ => maleName + (isFemale ? "овна" : "ович") + }; + + /// + public SoftwareProject Generate(int id) + { + var project = _faker.Generate(); + project.Id = id; + return project; + } + +} diff --git a/ProjectGenerator.Api/Services/SoftwareProjectService.cs b/ProjectGenerator.Api/Services/SoftwareProjectService.cs new file mode 100644 index 00000000..2445aec3 --- /dev/null +++ b/ProjectGenerator.Api/Services/SoftwareProjectService.cs @@ -0,0 +1,94 @@ +using System.Text.Json; +using Microsoft.Extensions.Caching.Distributed; +using ProjectGenerator.Domain.Models; + +namespace ProjectGenerator.Api.Services; + +/// +/// Сервис программных проектов, объединяющий кэширование (Redis) и публикацию +/// сгенерированных проектов в брокер сообщений (SQS) для файлового сервиса +/// +/// Генератор программных проектов на основе Bogus +/// Продюсер сообщений, отправляющий проект в очередь +/// Распределённый кэш Redis для хранения уже сгенерированных проектов +/// Конфигурация приложения (содержит TTL кэша) +/// Логгер для диагностики операций сервиса +public class SoftwareProjectService( + ISoftwareProjectGenerator generator, + IProjectProducer producer, + IDistributedCache cache, + IConfiguration configuration, + ILogger logger) : ISoftwareProjectService +{ + private const string CacheKeyPrefix = "software-project"; + private readonly TimeSpan _cacheTtl = TimeSpan.FromMinutes(configuration.GetValue("CacheTtlMinutes", 15)); + + /// + public async Task GetOrGenerate(int id) + { + var cacheKey = $"{CacheKeyPrefix}:{id}"; + + var cached = await GetFromCache(cacheKey); + if (cached is not null) + { + return cached; + } + + logger.LogInformation("Cache miss for id {Id}, generating new data", id); + + var project = generator.Generate(id); + + await producer.SendAsync(project); + await SetToCache(cacheKey, project); + + return project; + } + + /// + /// Получает программный проект из распределённого кэша по ключу + /// + /// Полный ключ кэша вида software-project:{id} + /// Десериализованный программный проект или null, если в кэше нет данных или произошла ошибка чтения + private async Task GetFromCache(string cacheKey) + { + try + { + var cached = await cache.GetStringAsync(cacheKey); + if (cached is null) + { + return null; + } + + logger.LogInformation("Cache hit for key {CacheKey}", cacheKey); + return JsonSerializer.Deserialize(cached); + } + catch (Exception ex) + { + logger.LogWarning(ex, "Failed to read from cache for key {CacheKey}", cacheKey); + return null; + } + } + + /// + /// Сохраняет программный проект в распределённый кэш с настроенным TTL + /// + /// Полный ключ кэша вида software-project:{id} + /// Программный проект для сериализации и сохранения + private async Task SetToCache(string cacheKey, SoftwareProject project) + { + try + { + var json = JsonSerializer.Serialize(project); + await cache.SetStringAsync(cacheKey, json, new DistributedCacheEntryOptions + { + AbsoluteExpirationRelativeToNow = _cacheTtl + }); + + logger.LogInformation("Cached data for key {CacheKey}", cacheKey); + } + catch (Exception ex) + { + logger.LogWarning(ex, "Failed to write to cache for key {CacheKey}", cacheKey); + } + } +} diff --git a/ProjectGenerator.Api/Services/SqsProjectProducer.cs b/ProjectGenerator.Api/Services/SqsProjectProducer.cs new file mode 100644 index 00000000..bba40764 --- /dev/null +++ b/ProjectGenerator.Api/Services/SqsProjectProducer.cs @@ -0,0 +1,45 @@ +using System.Net; +using System.Text.Json; +using Amazon.SQS; +using ProjectGenerator.Domain.Models; + +namespace ProjectGenerator.Api.Services; + +/// +/// Реализация продюсера на основе AWS SQS — сериализует программный проект в JSON +/// и отправляет в очередь, имя которой берётся из конфигурации CloudFormation-стэка +/// +/// SQS-клиент, сконфигурированный через LocalStack-расширения +/// Конфигурация приложения (содержит имя очереди, пробрасываемое из AppHost) +/// Логгер для диагностики операций отправки +public class SqsProjectProducer( + IAmazonSQS client, + IConfiguration configuration, + ILogger logger) : IProjectProducer +{ + private readonly string _queueName = configuration["AWS:Resources:SQSQueueName"] + ?? throw new KeyNotFoundException("SQS queue name was not found in configuration"); + + /// + public async Task SendAsync(SoftwareProject project) + { + try + { + var json = JsonSerializer.Serialize(project); + var response = await client.SendMessageAsync(_queueName, json); + + if (response.HttpStatusCode == HttpStatusCode.OK) + { + logger.LogInformation("Software project {Id} was sent to SQS queue {Queue}", project.Id, _queueName); + } + else + { + throw new InvalidOperationException($"SQS returned {response.HttpStatusCode}"); + } + } + catch (Exception ex) + { + logger.LogError(ex, "Unable to send software project {Id} through SQS queue {Queue}", project.Id, _queueName); + } + } +} diff --git a/ProjectGenerator.Api/appsettings.Development.json b/ProjectGenerator.Api/appsettings.Development.json new file mode 100644 index 00000000..0c208ae9 --- /dev/null +++ b/ProjectGenerator.Api/appsettings.Development.json @@ -0,0 +1,8 @@ +{ + "Logging": { + "LogLevel": { + "Default": "Information", + "Microsoft.AspNetCore": "Warning" + } + } +} diff --git a/ProjectGenerator.Api/appsettings.json b/ProjectGenerator.Api/appsettings.json new file mode 100644 index 00000000..2d053cce --- /dev/null +++ b/ProjectGenerator.Api/appsettings.json @@ -0,0 +1,10 @@ +{ + "Logging": { + "LogLevel": { + "Default": "Information", + "Microsoft.AspNetCore": "Warning" + } + }, + "AllowedHosts": "*", + "CacheTtlMinutes": 15 +} diff --git a/ProjectGenerator.Domain/Models/SoftwareProject.cs b/ProjectGenerator.Domain/Models/SoftwareProject.cs new file mode 100644 index 00000000..7e3b1659 --- /dev/null +++ b/ProjectGenerator.Domain/Models/SoftwareProject.cs @@ -0,0 +1,70 @@ +using System.Text.Json.Serialization; + +namespace ProjectGenerator.Domain.Models; + +/// +/// Программный проект — модель предметной области, передаваемая между сервисами генерации, +/// брокером сообщений и объектным хранилищем +/// +public sealed class SoftwareProject +{ + /// + /// Идентификатор в системе + /// + [JsonPropertyName("id")] + public int Id { get; set; } + + /// + /// Название проекта + /// + [JsonPropertyName("projectName")] + public required string ProjectName { get; init; } + + /// + /// Заказчик проекта + /// + [JsonPropertyName("customer")] + public required string Customer { get; init; } + + /// + /// Менеджер проекта + /// + [JsonPropertyName("projectManager")] + public required string ProjectManager { get; init; } + + /// + /// Дата начала + /// + [JsonPropertyName("startDate")] + public DateOnly StartDate { get; init; } + + /// + /// Плановая дата завершения + /// + [JsonPropertyName("plannedEndDate")] + public DateOnly PlannedEndDate { get; init; } + + /// + /// Фактическая дата завершения + /// + [JsonPropertyName("actualEndDate")] + public DateOnly? ActualEndDate { get; init; } + + /// + /// Бюджет + /// + [JsonPropertyName("budget")] + public decimal Budget { get; init; } + + /// + /// Фактические затраты + /// + [JsonPropertyName("actualCosts")] + public decimal ActualCosts { get; init; } + + /// + /// Процент выполнения + /// + [JsonPropertyName("completionPercentage")] + public int CompletionPercentage { get; init; } +} diff --git a/ProjectGenerator.Domain/ProjectGenerator.Domain.csproj b/ProjectGenerator.Domain/ProjectGenerator.Domain.csproj new file mode 100644 index 00000000..c60e6513 --- /dev/null +++ b/ProjectGenerator.Domain/ProjectGenerator.Domain.csproj @@ -0,0 +1,13 @@ + + + + net8.0 + enable + enable + + + + + + + diff --git a/ProjectGenerator.FileService/Controllers/S3StorageController.cs b/ProjectGenerator.FileService/Controllers/S3StorageController.cs new file mode 100644 index 00000000..06524bc2 --- /dev/null +++ b/ProjectGenerator.FileService/Controllers/S3StorageController.cs @@ -0,0 +1,62 @@ +using System.Text.Json.Nodes; +using Microsoft.AspNetCore.Mvc; +using ProjectGenerator.FileService.Storage; + +namespace ProjectGenerator.FileService.Controllers; + +/// +/// REST-контроллер для просмотра содержимого объектного хранилища: +/// получение списка ключей и скачивание отдельного файла по ключу +/// +/// Служба для работы с S3 +/// Логгер для трассировки вызовов контроллера +[ApiController] +[Route("api/s3")] +public class S3StorageController( + IS3Service s3Service, + ILogger logger) : ControllerBase +{ + /// + /// Возвращает список ключей всех объектов, сохранённых в бакете + /// + /// 200 со списком ключей, 500 при ошибке доступа к хранилищу + [HttpGet] + [ProducesResponseType(StatusCodes.Status200OK)] + [ProducesResponseType(StatusCodes.Status500InternalServerError)] + public async Task>> ListFiles() + { + try + { + var list = await s3Service.GetFileListAsync(); + logger.LogInformation("Returning {Count} keys from bucket", list.Count); + return Ok(list); + } + catch (Exception ex) + { + logger.LogError(ex, "Failed to list files"); + return StatusCode(StatusCodes.Status500InternalServerError, ex.Message); + } + } + + /// + /// Возвращает содержимое JSON-файла из бакета по указанному ключу + /// + /// Ключ объекта в бакете (например, software-project_42.json) + /// 200 с JSON-содержимым файла, 500 при ошибке скачивания + [HttpGet("{key}")] + [ProducesResponseType(StatusCodes.Status200OK)] + [ProducesResponseType(StatusCodes.Status500InternalServerError)] + public async Task> GetFile(string key) + { + try + { + var node = await s3Service.DownloadFileAsync(key); + return Ok(node); + } + catch (Exception ex) + { + logger.LogError(ex, "Failed to download {Key}", key); + return StatusCode(StatusCodes.Status500InternalServerError, ex.Message); + } + } +} diff --git a/ProjectGenerator.FileService/Messaging/SqsConsumerService.cs b/ProjectGenerator.FileService/Messaging/SqsConsumerService.cs new file mode 100644 index 00000000..3d204e71 --- /dev/null +++ b/ProjectGenerator.FileService/Messaging/SqsConsumerService.cs @@ -0,0 +1,66 @@ +using Amazon.SQS; +using Amazon.SQS.Model; +using ProjectGenerator.FileService.Storage; + +namespace ProjectGenerator.FileService.Messaging; + +/// +/// Фоновая служба, читающая сообщения из SQS-очереди батчами +/// и передающая каждое сообщение в S3-сервис для сохранения файла в бакете +/// +/// Клиент SQS (через LocalStack) +/// Фабрика скоупов DI для получения scoped IS3Service на каждое сообщение +/// Конфигурация приложения (содержит имя очереди из CloudFormation-стэка) +/// Логгер для диагностики приёма и обработки сообщений +public class SqsConsumerService( + IAmazonSQS sqsClient, + IServiceScopeFactory scopeFactory, + IConfiguration configuration, + ILogger logger) : BackgroundService +{ + private const int MaxMessagesPerBatch = 10; + private const int LongPollSeconds = 5; + + private readonly string _queueName = configuration["AWS:Resources:SQSQueueName"] + ?? throw new KeyNotFoundException("SQS queue name was not found in configuration"); + + /// + protected override async Task ExecuteAsync(CancellationToken stoppingToken) + { + logger.LogInformation("SQS consumer service started for queue {Queue}", _queueName); + + while (!stoppingToken.IsCancellationRequested) + { + var response = await sqsClient.ReceiveMessageAsync( + new ReceiveMessageRequest + { + QueueUrl = _queueName, + MaxNumberOfMessages = MaxMessagesPerBatch, + WaitTimeSeconds = LongPollSeconds + }, stoppingToken); + + if (response?.Messages is null || response.Messages.Count == 0) + { + continue; + } + + logger.LogInformation("Received {Count} messages from {Queue}", response.Messages.Count, _queueName); + + foreach (var message in response.Messages) + { + try + { + using var scope = scopeFactory.CreateScope(); + var s3Service = scope.ServiceProvider.GetRequiredService(); + await s3Service.UploadFileAsync(message.Body); + + await sqsClient.DeleteMessageAsync(_queueName, message.ReceiptHandle, stoppingToken); + } + catch (Exception ex) + { + logger.LogError(ex, "Error processing message {MessageId}", message.MessageId); + } + } + } + } +} diff --git a/ProjectGenerator.FileService/Program.cs b/ProjectGenerator.FileService/Program.cs new file mode 100644 index 00000000..77b967ba --- /dev/null +++ b/ProjectGenerator.FileService/Program.cs @@ -0,0 +1,45 @@ +using System.Reflection; +using Amazon.S3; +using Amazon.SQS; +using LocalStack.Client.Extensions; +using ProjectGenerator.FileService.Messaging; +using ProjectGenerator.FileService.Storage; + +var builder = WebApplication.CreateBuilder(args); + +builder.AddServiceDefaults(); +builder.Services.AddControllers(); +builder.Services.AddEndpointsApiExplorer(); +builder.Services.AddSwaggerGen(options => +{ + var assembly = Assembly.GetExecutingAssembly(); + var xmlPath = Path.Combine(AppContext.BaseDirectory, $"{assembly.GetName().Name}.xml"); + if (File.Exists(xmlPath)) + { + options.IncludeXmlComments(xmlPath); + } +}); + +builder.Services.AddLocalStack(builder.Configuration); +builder.Services.AddAwsService(); +builder.Services.AddAwsService(); +builder.Services.AddHostedService(); +builder.Services.AddScoped(); + +var app = builder.Build(); + +app.MapDefaultEndpoints(); + +using var scope = app.Services.CreateScope(); +var s3Service = scope.ServiceProvider.GetRequiredService(); +await s3Service.EnsureBucketExistsAsync(); + +if (app.Environment.IsDevelopment()) +{ + app.UseSwagger(); + app.UseSwaggerUI(); +} + +app.MapControllers(); + +app.Run(); diff --git a/ProjectGenerator.FileService/ProjectGenerator.FileService.csproj b/ProjectGenerator.FileService/ProjectGenerator.FileService.csproj new file mode 100644 index 00000000..ce209944 --- /dev/null +++ b/ProjectGenerator.FileService/ProjectGenerator.FileService.csproj @@ -0,0 +1,23 @@ + + + + net8.0 + enable + enable + true + + + + + + + + + + + + + + + + diff --git a/ProjectGenerator.FileService/Properties/launchSettings.json b/ProjectGenerator.FileService/Properties/launchSettings.json new file mode 100644 index 00000000..a61a8922 --- /dev/null +++ b/ProjectGenerator.FileService/Properties/launchSettings.json @@ -0,0 +1,38 @@ +{ + "$schema": "http://json.schemastore.org/launchsettings.json", + "iisSettings": { + "windowsAuthentication": false, + "anonymousAuthentication": true, + "iisExpress": { + "applicationUrl": "http://localhost:15724", + "sslPort": 44305 + } + }, + "profiles": { + "http": { + "commandName": "Project", + "dotnetRunMessages": true, + "launchBrowser": true, + "applicationUrl": "http://localhost:5084", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + }, + "https": { + "commandName": "Project", + "dotnetRunMessages": true, + "launchBrowser": true, + "applicationUrl": "https://localhost:7020;http://localhost:5084", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + }, + "IIS Express": { + "commandName": "IISExpress", + "launchBrowser": true, + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + } + } +} diff --git a/ProjectGenerator.FileService/Storage/IS3Service.cs b/ProjectGenerator.FileService/Storage/IS3Service.cs new file mode 100644 index 00000000..a241cfd6 --- /dev/null +++ b/ProjectGenerator.FileService/Storage/IS3Service.cs @@ -0,0 +1,35 @@ +using System.Text.Json.Nodes; + +namespace ProjectGenerator.FileService.Storage; + +/// +/// Интерфейс службы для манипуляции файлами в объектном хранилище S3 +/// +public interface IS3Service +{ + /// + /// Сериализует переданное JSON-представление программного проекта и загружает его + /// в бакет под ключом software-project_{id}.json + /// + /// JSON-строка с данными программного проекта (должна содержать поле id) + /// true — если объект успешно загружен; false — если получен не успешный код от S3 + public Task UploadFileAsync(string fileData); + + /// + /// Возвращает список ключей всех объектов, хранящихся в бакете + /// + /// Список ключей файлов + public Task> GetFileListAsync(); + + /// + /// Скачивает объект из бакета по ключу и парсит его как JSON + /// + /// Ключ объекта в бакете + /// Корневой узел JSON документа, считанного из S3 + public Task DownloadFileAsync(string key); + + /// + /// Создаёт целевой бакет, если он ещё не существует. Вызывается при старте приложения + /// + public Task EnsureBucketExistsAsync(); +} diff --git a/ProjectGenerator.FileService/Storage/S3Service.cs b/ProjectGenerator.FileService/Storage/S3Service.cs new file mode 100644 index 00000000..91cda400 --- /dev/null +++ b/ProjectGenerator.FileService/Storage/S3Service.cs @@ -0,0 +1,139 @@ +using System.Net; +using System.Text; +using System.Text.Json; +using System.Text.Json.Nodes; +using Amazon.S3; +using Amazon.S3.Model; + +namespace ProjectGenerator.FileService.Storage; + +/// +/// Реализация службы объектного хранилища поверх AWS S3 SDK, +/// сконфигурированного через LocalStack-расширения +/// +/// Клиент S3 (через LocalStack) +/// Конфигурация приложения (содержит имя бакета из CloudFormation-стэка) +/// Логгер для диагностики операций со хранилищем +public class S3Service( + IAmazonS3 client, + IConfiguration configuration, + ILogger logger) : IS3Service +{ + private readonly string _bucketName = configuration["AWS:Resources:S3BucketName"] + ?? throw new KeyNotFoundException("S3 bucket name was not found in configuration"); + + /// + public async Task> GetFileListAsync() + { + var list = new List(); + var request = new ListObjectsV2Request + { + BucketName = _bucketName, + Prefix = "", + Delimiter = "," + }; + var paginator = client.Paginators.ListObjectsV2(request); + + logger.LogInformation("Listing files in bucket {Bucket}", _bucketName); + await foreach (var response in paginator.Responses) + { + if (response?.S3Objects is null) + { + logger.LogWarning("Received null response from {Bucket}", _bucketName); + continue; + } + + foreach (var obj in response.S3Objects) + { + if (obj is not null) + { + list.Add(obj.Key); + } + } + } + + return list; + } + + /// + public async Task UploadFileAsync(string fileData) + { + var rootNode = JsonNode.Parse(fileData) + ?? throw new ArgumentException("Passed string is not a valid JSON"); + var id = rootNode["id"]?.GetValue() + ?? throw new ArgumentException("Passed JSON does not contain integer id"); + + using var stream = new MemoryStream(); + JsonSerializer.Serialize(stream, rootNode); + stream.Seek(0, SeekOrigin.Begin); + + var key = $"software-project_{id}.json"; + logger.LogInformation("Uploading software project {Id} as {Key} to {Bucket}", id, key, _bucketName); + + var request = new PutObjectRequest + { + BucketName = _bucketName, + Key = key, + InputStream = stream + }; + + var response = await client.PutObjectAsync(request); + + if (response.HttpStatusCode != HttpStatusCode.OK) + { + logger.LogError("Failed to upload software project {Id}: {Code}", id, response.HttpStatusCode); + return false; + } + + logger.LogInformation("Software project {Id} uploaded to {Bucket}", id, _bucketName); + return true; + } + + /// + public async Task DownloadFileAsync(string key) + { + logger.LogInformation("Downloading {Key} from {Bucket}", key, _bucketName); + + try + { + var request = new GetObjectRequest + { + BucketName = _bucketName, + Key = key + }; + using var response = await client.GetObjectAsync(request); + + if (response.HttpStatusCode != HttpStatusCode.OK) + { + logger.LogError("Failed to download {Key}: {Code}", key, response.HttpStatusCode); + throw new InvalidOperationException($"Error occurred downloading {key} - {response.HttpStatusCode}"); + } + + using var reader = new StreamReader(response.ResponseStream, Encoding.UTF8); + var content = await reader.ReadToEndAsync(); + return JsonNode.Parse(content) + ?? throw new InvalidOperationException("Downloaded document is not a valid JSON"); + } + catch (Exception ex) + { + logger.LogError(ex, "Exception during {Key} download", key); + throw; + } + } + + /// + public async Task EnsureBucketExistsAsync() + { + logger.LogInformation("Checking whether bucket {Bucket} exists", _bucketName); + try + { + await client.EnsureBucketExistsAsync(_bucketName); + logger.LogInformation("Bucket {Bucket} existence ensured", _bucketName); + } + catch (Exception ex) + { + logger.LogError(ex, "Unhandled exception during {Bucket} existence check", _bucketName); + throw; + } + } +} diff --git a/ProjectGenerator.FileService/appsettings.Development.json b/ProjectGenerator.FileService/appsettings.Development.json new file mode 100644 index 00000000..0c208ae9 --- /dev/null +++ b/ProjectGenerator.FileService/appsettings.Development.json @@ -0,0 +1,8 @@ +{ + "Logging": { + "LogLevel": { + "Default": "Information", + "Microsoft.AspNetCore": "Warning" + } + } +} diff --git a/ProjectGenerator.FileService/appsettings.json b/ProjectGenerator.FileService/appsettings.json new file mode 100644 index 00000000..10f68b8c --- /dev/null +++ b/ProjectGenerator.FileService/appsettings.json @@ -0,0 +1,9 @@ +{ + "Logging": { + "LogLevel": { + "Default": "Information", + "Microsoft.AspNetCore": "Warning" + } + }, + "AllowedHosts": "*" +} diff --git a/ProjectGenerator/ProjectGenerator.AppHost.Tests/IntegrationTests.cs b/ProjectGenerator/ProjectGenerator.AppHost.Tests/IntegrationTests.cs new file mode 100644 index 00000000..532de3e6 --- /dev/null +++ b/ProjectGenerator/ProjectGenerator.AppHost.Tests/IntegrationTests.cs @@ -0,0 +1,97 @@ +using System.Text.Json; +using Aspire.Hosting; +using Microsoft.Extensions.Logging; +using ProjectGenerator.Domain.Models; +using Xunit.Abstractions; + +namespace ProjectGenerator.AppHost.Tests; + +/// +/// Интеграционные тесты приложения, поднимаемого через AppHost +/// +public class IntegrationTests(ITestOutputHelper output) : IAsyncLifetime +{ + private DistributedApplication? _app; + private HttpClient? _gatewayClient; + private HttpClient? _sinkClient; + + public async Task InitializeAsync() + { + var cancellationToken = CancellationToken.None; + var builder = await DistributedApplicationTestingBuilder + .CreateAsync(cancellationToken); + + builder.Configuration["DcpPublisher:RandomizePorts"] = "false"; + builder.Services.AddLogging(logging => + { + logging.AddXUnit(output); + logging.SetMinimumLevel(LogLevel.Debug); + logging.AddFilter("Aspire.Hosting.Dcp", LogLevel.Debug); + logging.AddFilter("Aspire.Hosting", LogLevel.Debug); + }); + + _app = await builder.BuildAsync(cancellationToken); + await _app.StartAsync(cancellationToken); + _gatewayClient = _app!.CreateHttpClient("api-gateway", "http"); + _sinkClient = _app!.CreateHttpClient("projectgenerator-fileservice", "http"); + } + + /// + /// Проверяет, что объект, отданный API, попадает в S3 в том же виде + /// + [Fact] + public async Task Pipeline_Generates_PutsToS3_AndContentMatches() + { + var id = Random.Shared.Next(1, 100); + + using var gatewayResponse = await _gatewayClient!.GetAsync($"/generate?id={id}"); + Assert.Equal(HttpStatusCode.OK, gatewayResponse.StatusCode); + var apiProject = JsonSerializer.Deserialize( + await gatewayResponse.Content.ReadAsStringAsync()); + + await Task.Delay(5000); + + using var s3Response = await _sinkClient!.GetAsync($"/api/s3/software-project_{id}.json"); + Assert.Equal(HttpStatusCode.OK, s3Response.StatusCode); + var s3Project = JsonSerializer.Deserialize( + await s3Response.Content.ReadAsStringAsync()); + + Assert.NotNull(apiProject); + Assert.NotNull(s3Project); + Assert.Equal(id, s3Project!.Id); + Assert.Equivalent(apiProject, s3Project); + } + + /// + /// Два запроса с одним id должны вернуть одинаковый объект + /// + [Fact] + public async Task Cache_ReturnsIdenticalProject_OnRepeatedRequest() + { + var id = Random.Shared.Next(1, 100); + + using var first = await _gatewayClient!.GetAsync($"/generate?id={id}"); + using var second = await _gatewayClient!.GetAsync($"/generate?id={id}"); + + Assert.Equal(HttpStatusCode.OK, first.StatusCode); + Assert.Equal(HttpStatusCode.OK, second.StatusCode); + + var firstProject = JsonSerializer.Deserialize( + await first.Content.ReadAsStringAsync()); + var secondProject = JsonSerializer.Deserialize( + await second.Content.ReadAsStringAsync()); + + Assert.NotNull(firstProject); + Assert.NotNull(secondProject); + Assert.Equivalent(firstProject, secondProject); + } + + public async Task DisposeAsync() + { + if (_app is not null) + { + await _app.StopAsync(); + await _app.DisposeAsync(); + } + } +} diff --git a/ProjectGenerator/ProjectGenerator.AppHost.Tests/ProjectGenerator.AppHost.Tests.csproj b/ProjectGenerator/ProjectGenerator.AppHost.Tests/ProjectGenerator.AppHost.Tests.csproj new file mode 100644 index 00000000..f07885f9 --- /dev/null +++ b/ProjectGenerator/ProjectGenerator.AppHost.Tests/ProjectGenerator.AppHost.Tests.csproj @@ -0,0 +1,33 @@ + + + + net8.0 + enable + enable + false + true + + + + + + + + + + + + + + + + + + + + + + + + + diff --git a/ProjectGenerator/ProjectGenerator.AppHost/AppHost.cs b/ProjectGenerator/ProjectGenerator.AppHost/AppHost.cs new file mode 100644 index 00000000..e5777878 --- /dev/null +++ b/ProjectGenerator/ProjectGenerator.AppHost/AppHost.cs @@ -0,0 +1,51 @@ +using Amazon; +using Aspire.Hosting.LocalStack.Container; + +var builder = DistributedApplication.CreateBuilder(args); + +var cache = builder.AddRedis("cache") + .WithRedisInsight(); + +var awsConfig = builder.AddAWSSDKConfig() + .WithProfile("default") + .WithRegion(RegionEndpoint.EUCentral1); + +var localstack = builder.AddLocalStack( + "projectgenerator-localstack", + awsConfig: awsConfig, + configureContainer: container => + { + container.Lifetime = ContainerLifetime.Session; + container.DebugLevel = 1; + container.LogLevel = LocalStackLogLevel.Debug; + container.Port = 4566; + container.AdditionalEnvironmentVariables.Add("DEBUG", "1"); + }); + +var awsResources = builder + .AddAWSCloudFormationTemplate("resources", "CloudFormation/projectgenerator-template.yaml", "projectgenerator") + .WithReference(awsConfig); + +var apiGateway = builder.AddProject("api-gateway"); + +for (var i = 0; i < 5; i++) +{ + var generationApi = builder.AddProject($"generation-api-{i}", launchProfileName: null) + .WithHttpsEndpoint(5000 + i) + .WithReference(cache) + .WithReference(awsResources) + .WaitFor(cache) + .WaitFor(awsResources); + apiGateway.WaitFor(generationApi); +} + +builder.AddProject("client-wasm") + .WaitFor(apiGateway); + +builder.AddProject("projectgenerator-fileservice") + .WithReference(awsResources) + .WaitFor(awsResources); + +builder.UseLocalStack(localstack); + +builder.Build().Run(); diff --git a/ProjectGenerator/ProjectGenerator.AppHost/CloudFormation/projectgenerator-template.yaml b/ProjectGenerator/ProjectGenerator.AppHost/CloudFormation/projectgenerator-template.yaml new file mode 100644 index 00000000..b88dc360 --- /dev/null +++ b/ProjectGenerator/ProjectGenerator.AppHost/CloudFormation/projectgenerator-template.yaml @@ -0,0 +1,62 @@ +AWSTemplateFormatVersion: '2010-09-09' +Description: 'Cloud formation template for software project generator (SQS + Localstack S3)' + +Parameters: + BucketName: + Type: String + Description: Name for the S3 bucket + Default: 'projectgenerator-bucket' + + QueueName: + Type: String + Description: Name for the SQS queue + Default: 'projectgenerator-queue' + +Resources: + ProjectBucket: + Type: AWS::S3::Bucket + Properties: + BucketName: !Ref BucketName + VersioningConfiguration: + Status: Suspended + Tags: + - Key: Name + Value: !Ref BucketName + - Key: Environment + Value: Lab3 + PublicAccessBlockConfiguration: + BlockPublicAcls: true + BlockPublicPolicy: true + IgnorePublicAcls: true + RestrictPublicBuckets: true + + ProjectQueue: + Type: AWS::SQS::Queue + Properties: + QueueName: !Ref QueueName + VisibilityTimeout: 30 + MessageRetentionPeriod: 345600 + DelaySeconds: 0 + ReceiveMessageWaitTimeSeconds: 0 + Tags: + - Key: Name + Value: !Ref QueueName + - Key: Environment + Value: Lab3 + +Outputs: + S3BucketName: + Description: Name of the S3 bucket + Value: !Ref ProjectBucket + + S3BucketArn: + Description: ARN of the S3 bucket + Value: !GetAtt ProjectBucket.Arn + + SQSQueueName: + Description: Name of the SQS queue + Value: !GetAtt ProjectQueue.QueueName + + SQSQueueArn: + Description: ARN of the SQS queue + Value: !GetAtt ProjectQueue.Arn diff --git a/ProjectGenerator/ProjectGenerator.AppHost/ProjectGenerator.AppHost.csproj b/ProjectGenerator/ProjectGenerator.AppHost/ProjectGenerator.AppHost.csproj new file mode 100644 index 00000000..b893a7e5 --- /dev/null +++ b/ProjectGenerator/ProjectGenerator.AppHost/ProjectGenerator.AppHost.csproj @@ -0,0 +1,32 @@ + + + + + + Exe + net8.0 + enable + enable + 5f0fcf55-56c6-4723-953b-9e24de107d8f + + + + + + + + + + + + + + + + + + Always + + + + diff --git a/ProjectGenerator/ProjectGenerator.AppHost/Properties/launchSettings.json b/ProjectGenerator/ProjectGenerator.AppHost/Properties/launchSettings.json new file mode 100644 index 00000000..475d465e --- /dev/null +++ b/ProjectGenerator/ProjectGenerator.AppHost/Properties/launchSettings.json @@ -0,0 +1,29 @@ +{ + "$schema": "https://json.schemastore.org/launchsettings.json", + "profiles": { + "https": { + "commandName": "Project", + "dotnetRunMessages": true, + "launchBrowser": true, + "applicationUrl": "https://localhost:17246;http://localhost:15108", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development", + "DOTNET_ENVIRONMENT": "Development", + "ASPIRE_DASHBOARD_OTLP_ENDPOINT_URL": "https://localhost:21233", + "ASPIRE_RESOURCE_SERVICE_ENDPOINT_URL": "https://localhost:22087" + } + }, + "http": { + "commandName": "Project", + "dotnetRunMessages": true, + "launchBrowser": true, + "applicationUrl": "http://localhost:15108", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development", + "DOTNET_ENVIRONMENT": "Development", + "ASPIRE_DASHBOARD_OTLP_ENDPOINT_URL": "http://localhost:19053", + "ASPIRE_RESOURCE_SERVICE_ENDPOINT_URL": "http://localhost:20103" + } + } + } +} diff --git a/ProjectGenerator/ProjectGenerator.AppHost/appsettings.Development.json b/ProjectGenerator/ProjectGenerator.AppHost/appsettings.Development.json new file mode 100644 index 00000000..0c208ae9 --- /dev/null +++ b/ProjectGenerator/ProjectGenerator.AppHost/appsettings.Development.json @@ -0,0 +1,8 @@ +{ + "Logging": { + "LogLevel": { + "Default": "Information", + "Microsoft.AspNetCore": "Warning" + } + } +} diff --git a/ProjectGenerator/ProjectGenerator.AppHost/appsettings.json b/ProjectGenerator/ProjectGenerator.AppHost/appsettings.json new file mode 100644 index 00000000..a6b256bb --- /dev/null +++ b/ProjectGenerator/ProjectGenerator.AppHost/appsettings.json @@ -0,0 +1,12 @@ +{ + "Logging": { + "LogLevel": { + "Default": "Information", + "Microsoft.AspNetCore": "Warning", + "Aspire.Hosting.Dcp": "Warning" + } + }, + "LocalStack": { + "UseLocalStack": true + } +} diff --git a/ProjectGenerator/ProjectGenerator.ServiceDefaults/Extensions.cs b/ProjectGenerator/ProjectGenerator.ServiceDefaults/Extensions.cs new file mode 100644 index 00000000..b72c8753 --- /dev/null +++ b/ProjectGenerator/ProjectGenerator.ServiceDefaults/Extensions.cs @@ -0,0 +1,127 @@ +using Microsoft.AspNetCore.Builder; +using Microsoft.AspNetCore.Diagnostics.HealthChecks; +using Microsoft.Extensions.DependencyInjection; +using Microsoft.Extensions.Diagnostics.HealthChecks; +using Microsoft.Extensions.Logging; +using Microsoft.Extensions.ServiceDiscovery; +using OpenTelemetry; +using OpenTelemetry.Metrics; +using OpenTelemetry.Trace; + +namespace Microsoft.Extensions.Hosting; + +// Adds common Aspire services: service discovery, resilience, health checks, and OpenTelemetry. +// This project should be referenced by each service project in your solution. +// To learn more about using this project, see https://aka.ms/dotnet/aspire/service-defaults +public static class Extensions +{ + private const string HealthEndpointPath = "/health"; + private const string AlivenessEndpointPath = "/alive"; + + public static TBuilder AddServiceDefaults(this TBuilder builder) where TBuilder : IHostApplicationBuilder + { + builder.ConfigureOpenTelemetry(); + + builder.AddDefaultHealthChecks(); + + builder.Services.AddServiceDiscovery(); + + builder.Services.ConfigureHttpClientDefaults(http => + { + // Turn on resilience by default + http.AddStandardResilienceHandler(); + + // Turn on service discovery by default + http.AddServiceDiscovery(); + }); + + // Uncomment the following to restrict the allowed schemes for service discovery. + // builder.Services.Configure(options => + // { + // options.AllowedSchemes = ["https"]; + // }); + + return builder; + } + + public static TBuilder ConfigureOpenTelemetry(this TBuilder builder) where TBuilder : IHostApplicationBuilder + { + builder.Logging.AddOpenTelemetry(logging => + { + logging.IncludeFormattedMessage = true; + logging.IncludeScopes = true; + }); + + builder.Services.AddOpenTelemetry() + .WithMetrics(metrics => + { + metrics.AddAspNetCoreInstrumentation() + .AddHttpClientInstrumentation() + .AddRuntimeInstrumentation(); + }) + .WithTracing(tracing => + { + tracing.AddSource(builder.Environment.ApplicationName) + .AddAspNetCoreInstrumentation(tracing => + // Exclude health check requests from tracing + tracing.Filter = context => + !context.Request.Path.StartsWithSegments(HealthEndpointPath) + && !context.Request.Path.StartsWithSegments(AlivenessEndpointPath) + ) + // Uncomment the following line to enable gRPC instrumentation (requires the OpenTelemetry.Instrumentation.GrpcNetClient package) + //.AddGrpcClientInstrumentation() + .AddHttpClientInstrumentation(); + }); + + builder.AddOpenTelemetryExporters(); + + return builder; + } + + private static TBuilder AddOpenTelemetryExporters(this TBuilder builder) where TBuilder : IHostApplicationBuilder + { + var useOtlpExporter = !string.IsNullOrWhiteSpace(builder.Configuration["OTEL_EXPORTER_OTLP_ENDPOINT"]); + + if (useOtlpExporter) + { + builder.Services.AddOpenTelemetry().UseOtlpExporter(); + } + + // Uncomment the following lines to enable the Azure Monitor exporter (requires the Azure.Monitor.OpenTelemetry.AspNetCore package) + //if (!string.IsNullOrEmpty(builder.Configuration["APPLICATIONINSIGHTS_CONNECTION_STRING"])) + //{ + // builder.Services.AddOpenTelemetry() + // .UseAzureMonitor(); + //} + + return builder; + } + + public static TBuilder AddDefaultHealthChecks(this TBuilder builder) where TBuilder : IHostApplicationBuilder + { + builder.Services.AddHealthChecks() + // Add a default liveness check to ensure app is responsive + .AddCheck("self", () => HealthCheckResult.Healthy(), ["live"]); + + return builder; + } + + public static WebApplication MapDefaultEndpoints(this WebApplication app) + { + // Adding health checks endpoints to applications in non-development environments has security implications. + // See https://aka.ms/dotnet/aspire/healthchecks for details before enabling these endpoints in non-development environments. + if (app.Environment.IsDevelopment()) + { + // All health checks must pass for app to be considered ready to accept traffic after starting + app.MapHealthChecks(HealthEndpointPath); + + // Only health checks tagged with the "live" tag must pass for app to be considered alive + app.MapHealthChecks(AlivenessEndpointPath, new HealthCheckOptions + { + Predicate = r => r.Tags.Contains("live") + }); + } + + return app; + } +} diff --git a/ProjectGenerator/ProjectGenerator.ServiceDefaults/ProjectGenerator.ServiceDefaults.csproj b/ProjectGenerator/ProjectGenerator.ServiceDefaults/ProjectGenerator.ServiceDefaults.csproj new file mode 100644 index 00000000..1b6e209a --- /dev/null +++ b/ProjectGenerator/ProjectGenerator.ServiceDefaults/ProjectGenerator.ServiceDefaults.csproj @@ -0,0 +1,22 @@ + + + + net8.0 + enable + enable + true + + + + + + + + + + + + + + + diff --git a/README.md b/README.md index dcaa5eb7..7493b796 100644 --- a/README.md +++ b/README.md @@ -1,128 +1,64 @@ -# Современные технологии разработки программного обеспечения -[Таблица с успеваемостью](https://docs.google.com/spreadsheets/d/1an43o-iqlq4V_kDtkr_y7DC221hY9qdhGPrpII27sH8/edit?usp=sharing) - -## Задание -### Цель -Реализация проекта микросервисного бекенда. - -### Задачи -* Реализация межсервисной коммуникации, -* Изучение работы с брокерами сообщений, -* Изучение архитектурных паттернов, -* Изучение работы со средствами оркестрации на примере .NET Aspire, -* Повторение основ работы с системами контроля версий, -* Интеграционное тестирование. - -### Лабораторные работы -
-1. «Кэширование» - Реализация сервиса генерации контрактов, кэширование его ответов -
- -В рамках первой лабораторной работы необходимо: -* Реализовать сервис генерации контрактов на основе Bogus, -* Реализовать кеширование при помощи IDistributedCache и Redis, -* Реализовать структурное логирование сервиса генерации, -* Настроить оркестрацию Aspire. - -
-
-2. «Балансировка нагрузки» - Реализация апи гейтвея, настройка его работы -
- -В рамках второй лабораторной работы необходимо: -* Настроить оркестрацию на запуск нескольких реплик сервиса генерации, -* Реализовать апи гейтвей на основе Ocelot, -* Имплементировать алгоритм балансировки нагрузки согласно варианту. - -
-
-
-3. «Интеграционное тестирование» - Реализация файлового сервиса и объектного хранилища, интеграционное тестирование бекенда -
- -В рамках третьей лабораторной работы необходимо: -* Добавить в оркестрацию объектное хранилище, -* Реализовать файловый сервис, сериализующий сгенерированные данные в файлы и сохраняющий их в объектном хранилище, -* Реализовать отправку генерируемых данных в файловый сервис посредством брокера, -* Реализовать интеграционные тесты, проверяющие корректность работы всех сервисов бекенда вместе. - -
-
-
-4. (Опционально) «Переход на облачную инфраструктуру» - Перенос бекенда в Yandex Cloud -
- -В рамках четвертой лабораторной работы необходимо перенестиервисы на облако все ранее разработанные сервисы: -* Клиент - в хостинг через отдельный бакет Object Storage, -* Сервис генерации - в Cloud Function, -* Апи гейтвей - в Serverless Integration как API Gateway, -* Брокер сообщений - в Message Queue, -* Файловый сервис - в Cloud Function, -* Объектное хранилище - в отдельный бакет Object Storage, - -
-
- -## Задание. Общая часть -**Обязательно**: -* Реализация серверной части на [.NET 8](https://learn.microsoft.com/ru-ru/dotnet/core/whats-new/dotnet-8/overview). -* Оркестрация проектов при помощи [.NET Aspire](https://learn.microsoft.com/ru-ru/dotnet/aspire/get-started/aspire-overview). -* Реализация сервиса генерации данных при помощи [Bogus](https://github.com/bchavez/Bogus). -* Реализация тестов с использованием [xUnit](https://xunit.net/?tabs=cs). -* Создание минимальной документации к проекту: страница на GitHub с информацией о задании, скриншоты приложения и прочая информация. - -**Факультативно**: -* Перенос бекенда на облачную инфраструктуру Yandex Cloud - -Внимательно прочитайте [дискуссии](https://github.com/itsecd/cloud-development/discussions/1) о том, как работает автоматическое распределение на ревью. -Сразу корректно называйте свои pr, чтобы они попали на ревью нужному преподавателю. - -По итогу работы в семестре должна получиться следующая информационная система: -
-C4 диаграмма -Современные_технологии_разработки_ПО_drawio -
- -## Варианты заданий -Номер варианта задания присваивается в начале семестра. Изменить его нельзя. Каждый вариант имеет уникальную комбинацию из предметной области, базы данных и технологии для общения сервиса генерации данных и сервера апи. - -[Список вариантов](https://docs.google.com/document/d/1WGmLYwffTTaAj4TgFCk5bUyW3XKbFMiBm-DHZrfFWr4/edit?usp=sharing) -[Список предметных областей и алгоритмов балансировки](https://docs.google.com/document/d/1PLn2lKe4swIdJDZhwBYzxqFSu0AbY2MFY1SUPkIKOM4/edit?usp=sharing) - -## Схема сдачи - -На каждую из лабораторных работ необходимо сделать отдельный [Pull Request (PR)](https://docs.github.com/en/pull-requests). - -Общая схема: -1. Сделать форк данного репозитория -2. Выполнить задание -3. Сделать PR в данный репозиторий -4. Исправить замечания после code review -5. Получить approve - -## Критерии оценивания - -Конкурентный принцип. -Так как задания в первой лабораторной будут повторяться между студентами, то выделяются следующие показатели для оценки: -1. Скорость разработки -2. Качество разработки -3. Полнота выполнения задания - -Быстрее делаете PR - у вас преимущество. -Быстрее получаете Approve - у вас преимущество. -Выполните нечто немного выходящее за рамки проекта - у вас преимущество. -Не укладываетесь в дедлайн - получаете минимально возможный балл. - -### Шкала оценивания - -- **3 балла** за качество кода, из них: - - 2 балла - базовая оценка - - 1 балл (но не более) можно получить за выполнение любого из следующих пунктов: - - Реализация факультативного функционала - - Выполнение работы раньше других: первые 5 человек из каждой группы, которые сделали PR и получили approve, получают дополнительный балл - -## Вопросы и обратная связь по курсу - -Чтобы задать вопрос по лабораторной, воспользуйтесь [соответствующим разделом дискуссий](https://github.com/itsecd/cloud-development/discussions/categories/questions) или заведите [ишью](https://github.com/itsecd/cloud-development/issues/new). -Если у вас появились идеи/пожелания/прочие полезные мысли по преподаваемой дисциплине, их можно оставить [здесь](https://github.com/itsecd/cloud-development/discussions/categories/ideas). +# Лабораторная работа №3 — Интеграционное тестирование (SQS + Localstack) +## Описание + +В рамках третьей лабораторной работы: + +- В оркестрацию (.NET Aspire AppHost) добавлено объектное хранилище (S3 в Localstack) и брокер сообщений (SQS в Localstack), создаваемые из CloudFormation-шаблона. +- Реализован файловый сервис `ProjectGenerator.FileService`, который читает сообщения из SQS, сериализует программные проекты в JSON и сохраняет их в бакет S3. +- В сервисе генерации `ProjectGenerator.Api` реализован продюсер, отправляющий сгенерированный программный проект в SQS-очередь. +- Реализованы интеграционные тесты + +Вариант: **SQS + Localstack** (брокер — AWS SQS, объектное хранилище — S3 внутри Localstack). + +## Сервисы + +### ProjectGenerator.Api (продюсер) + +- `IProjectProducer` / `SqsProjectProducer` — сериализует `SoftwareProject` в JSON и шлёт в SQS. +- `SoftwareProjectService.GetOrGenerate`: при кэш-промахе генерирует объект, отправляет в SQS, кладёт в Redis и возвращает клиенту. + +### ProjectGenerator.FileService (консьюмер + S3) + +- `SqsConsumerService : BackgroundService` — long-poll по SQS батчами до 10 сообщений; для каждого сообщения создаёт скоуп DI и вызывает `IS3Service.UploadFileAsync`. +- `IS3Service` / `S3Service` — кладёт файл в S3 под ключом `software-project_{id}.json`, поддерживает листинг и скачивание. +- `S3StorageController` — `GET /api/s3` (список ключей) и `GET /api/s3/{key}` (содержимое файла), Swagger UI в Development-режиме. + +## API + +| Метод | URL | Описание | +|---|---|---| +| GET | `/generate?id={id}` (через Gateway) | Возвращает сгенерированный программный проект; кладёт в Redis и шлёт в SQS | +| GET | `/api/s3` (FileService) | Список ключей файлов в S3 | +| GET | `/api/s3/{key}` (FileService) | Содержимое JSON-файла из S3 | + +## Интеграционные тесты + +Проект `ProjectGenerator.AppHost.Tests` (xUnit). Используется `IAsyncLifetime`: AppHost поднимается в `InitializeAsync`, останавливается в `DisposeAsync` — каждый тест работает с поднятым окружением. + +## Предметная область — Программный проект + +| № | Характеристика | Тип данных | +|---|---|---| +| 1 | Идентификатор в системе | int | +| 2 | Название проекта | string | +| 3 | Заказчик проекта | string | +| 4 | Менеджер проекта | string | +| 5 | Дата начала | DateOnly | +| 6 | Плановая дата завершения | DateOnly | +| 7 | Фактическая дата завершения | DateOnly? | +| 8 | Бюджет | decimal | +| 9 | Фактические затраты | decimal | +| 10 | Процент выполнения | int | + +--- + +## Предыдущие лабораторные + +### №2 — Балансировка нагрузки + +API Gateway (Ocelot) с кастомным балансировщиком на основе параметра запроса (`индекс_реплики = id % количество_реплик`), 5 реплик `ProjectGenerator.Api` на портах 5000–5004. + +### №1 — Кэширование + +Сервис генерации программных проектов с кэшированием ответов через Redis (`IDistributedCache`), TTL — 15 минут.